почему слова "вестибюль" и "вестибюлярный" имеют одинаковый корень?

Потому, что это однокоренные слова. В анатомии есть понятие наружное ухо, среднее ухо, или преддверие внутреннего уха. А преддверие и есть вестибюль. Улитка (часть вестибулярного аппарата) располагается именно в вестибюле, отсюда и вестибулярный аппарат. Ну а внутреннее ухо это уже участок мозга, ответственный за слух.