Нужно ли адаптировать сайт меньше 320 размер экрана?

никогда бы и не предположил, что «800x600 4:3 SVGA» там много, аж 5%

там дело не в окупаемости, а в ранжировании поисковиками сайтов... и 1 из пунктов первой 20-ки как раз и стоит кроссбраузерность и адаптивность...
а силы там нужны всего лишь для того, чтобы не ступить изначально и ширину вместо конретных пикселей сразу прописывать в %%.
т.е. резюме: если надо сайт двигать - двигай, если пофуй на сайт - забей...

а по поводу "незначительной части аудитории" поведаю случай из практики:
Работал я ранее с сайтом по продаже раций. И вот появился клиент со стареньким нетбуком (и сам клиент был старенький) и сделал такой заказ, выполнить который в этой стране мечтает каждый предприниматель (мало того, "мечтает", руками-ногами цепляется за такую возможность, зубами вырывает и "по костям идет" за такой гос.контракт, забегая вперед, скажу). Так вот этот клиент оказался главным инженером ***нского государственного аэропорта. В этой реальной истории сделка не была совершена по причине того, что на складе фирмы было всего 14 раций, а нужно было 263шт. Но если бы эта сделка совершилась, "всё население (офиса) могло 2 года жить на Мальдивских островах", да и задел на будущее просто суперперспективный.

Жалко даже было клиента (это того, кому я сайт делал и продвигал)... Так пролететь фанерой мимо гос.заказа...

Так что, борода... Твои доводы хороши и имеют место быть только в программировании... Ты оторван от реалий и ушел в комп с головой... бывает... Математически всё пральна... тока вот живая жысь - она другая...