Прототип кота-баюна это сфинкс?

НЕТ.сфинкс с мордой человека,телом льва и крыльями птицы.причем тут кот баюн,это просто огромный кот говорящий из мифологии и литературы

Не исключено.
Сюжеты перетекают из мифологии одной этнической группы в мифологию другой с допотопных времён. Перетекают, трансформируются и возвращаются...
Не исключено, что оба этих персонажа — следствие адаптации третьего, послужившего для них прототипом. Например — собирательного образа ануннаков из шумеро-аркадской картины мира...

Едва ли,тогда уж скорее Сирены - они тоже завораживали пением.