Ограничить как:
- использовать палитру из заведомо заданных "универсальных" 512 цветов;
- или же палитру из 512 цветов, оптимизированную для конкретного изображения?
Разница при этом возникает существенная, вот три изображения - исходное, индексированное одной из универсальных 256 цветных палитр и палитра из 256 цветов оптимизированная для исходного изображения:



В дополнение, 512-цветное изображение, полученное декомпозицией той же картинки на каналы R, G и B, уменьшением числа оттенков в каждом до 8-ми и рекомпозицией их в RGB:

Способов выбрать *оптимальную* палитру из более, чем 256 цветов в Фотошопе не существует. Привести картинку к 512 цветам можно различными способами ограничив количество тонов в каждом канале до 8 (3 бита), а для 1024 придётся в одном канале их делать 16 (4 бита, желательно - R, зелёном, так как человеческий глаз лучше всего отличает оттенки в нём). Подобная методика используется при выводе на некоторые LCD и OLED матрицы, в которых реальное число оттенков задаётся, например, как RGB 565 (5, 6 и 5 битами) то есть всего 65536 цветов.
Например, я хочу 512 цветом или 1024 цвета. А через индексацию можно только 256 максимум.