конечно, дословно "в каждой семье есть черная овца". можно еще, что в каждой семье есть свой скелет в шкафу - это по всем справочникам идет как синонимичное выражение.
А можно попробовать выражение "Белая ворона". Ведь не грубо, но и смысл сохраняется. А то действительно с "уродом" как-то не так получается, допустим в моей семье таковых нет, и не надо.