Почему не различаются? Просто необходимо необходимо быть внимательным - если у новорождённых животных действительно сложно определить пол (точно также, как и грудничков человека), то в определённый период появляются вполне различаемые признаки пола - владельцы «знают в лицо» своих котов и кошек :)
А у многих животных, так вообще, никак не перепутать самца с самкой
Хотя, часто бывает путаница во мнениях даже среди «спецов» -
https://otvet.mail.ru/question/60817197