Что это за такой странный синтаксис, если звездочка это указатель то почему переменная где то ошивается за скобкой?

Это стандартный для языка C синтаксис приведения типов. Конструкция:
(тип)значение
преобразует указанное значение к указанному типу. И чаще всего это не преобразование формата значения, а изменение интерпретации значения.

В приведенном примере нетипизированный указатель (формальный параметр ud имеет тип void*) интерпретируется как указатель на значение типа lxp_userdata.

В C++ вместо (тип)значение принято использовать конструкции вида:
преобразование_cast<тип>значение
Например, reinterpret_cast<lxp_userdata*>ud