1. Покажите - ФОТО ПОЖАЛУЙСТА.
Если дренаж на дне горшочка а сам горшочек без наличия отверстий то предположу что потому и грунт не высыхает, потому как застаивается в нем вода. Еще вариант, если в холодном помещении стоит то аналогично грунт не просыхает между поливами!
2. Давайте грунту просыхать довольно основательно, допускается просыхание грунта полностью между поливами, она хорошо приспособлена к засухам, но плохо к переувлажнениям.
Потому, я бы Вам рекомендовал вынуть растение из горшочка и посмотрел в каком состоянии корни растения....
И Пересадил бы в свежий грунт.
Пишут что Оливы засушить трудно, она высокую влажность воздуха любит, а не болото в почве.
https://www.greeninfo.ru/indoor_plants/ornamentals_plants.html/Forum/-/tID/25921 - Наталия Семенова ответила на чем то похожую как у Вас проблему с листопадом.
"Цитата из форума о оливках" Полив зависит ТОЛЬКО от того, как быстро будет просыхать грунт! Будет сохнуть неделю, значит полив раз в неделю, просохнет через три дня, значит поливаем через три дня, будет сохнуть месяц, значит терпеливо ждем месяц!
Политвать обильно, пока вода не появится в поддоне, можно поливать порциями: налили чуть, дали впитаться, если в поддон ничего не выступило, еще порцию подливаем. Как только вода появилась в поддоне, значит достаточно, через 10-15 минут ОБЯЗАТЕЛЬНО лишнюю воду сливаем из поддона.
http://www.flowersweb.info/forum/forum49/topic108504/messages/ - Оливковое дерево теряет листья. Помогите форум.
https://floralworld.ru/forum/index.php?topic=30235.0 - Олива - Olea, обсуждаем условия ухода. форум.
https://forum.bestflowers.ru/t/olivkovoe-derevo.23112/page-10 - форум по оливкам.
http://forum.homecitrus.ru/topic/55-maslina-oliva/ - Маслина (олива) форум.
https://www.greeninfo.ru/indoor_plants/olea/oliva-ukhod-v-komnatnykh-usloviyakh_art.html - Олива: уход в комнатных условиях
http://zakustom.com/blog/43937691151/Trudnosti-zimovki-olivkovyih-derevev - ТРУДНОСТИ ЗИМОВКИ ОЛИВКОВЫХ ДЕРЕВЬЕВ.
https://agronomu.com/bok/4292-kak-uhazhivat-za-olivkovym-derevom-v-domashnih-usloviyah.html - Как ухаживать за оливковым деревом в домашних условиях
http://kvetok.ru/rastenie/maslina-ili-olivkovoe-derevo - МАСЛИНА (OLEA) ИЛИ ОЛИВКОВОЕ ДЕРЕВО ДОМА (С ФОТО)
Сложно дать какие то рекомендации не видя фото растения : (