В чем практическая польза FOREIGN KEY в таблицах MySQL?

Главным образом, для проверки ссылочной целостности. И это не только в MySQL, а в любой СУБД, где поддерживается эта возможность. В некоторых СУБД внешние ключи могут влиять на работу оптимизатора запросов (например в Oracle).