Частица не с наречиями или прилагательными

Всегда при выборе слитно или раздельно с частицей НЕ приходит на ум правило - *Если можно подобрать синоним, то пишется слитно, слово с приставкой НЕ приобретает противоположное значение*. У Розенталя приводится в пример: Небогатый - это бедный, а не богатый - это среднего достатка. То есть, если человек среднего достатка я не могу написать, что он небогатый? Это правило запутывает немного и это при письме получается. По мне так при общении вообще не думаешь слитно или раздельно, частица НЕ просто делает свое дело, отрицает. Теперь, судя по всему, всегда корректно писать слитно частицу НЕ с наречиями или прилагательными, если нет противопоставления.

Есть какие мысли по этому поводу?спасибо