Какой оптимальный битрейт h264 для кодирования из Blu-ray с наименьшей потерей качества?

20 Mbps точно визуальной разницы заметно не будет .

При очень хорошем исходнике и двухпроходном исходнике можно опуститься до 15 Mbps и даже до 10-12 на малодинамичных сценах, но для гарантии нужно 20 и выше как отметил выше BoR

В зависимости от того, ГДЕ ТЫ БУДЕШЬ ВОСПРОИЗВОДИТЬ СВОЙ РИП Blu-rayа (!!!) Если планшет/смартфон, то 6 с головой хватит. Если это монитор 40 то ( как уже посоветовали выше) не менее 15.
ТЫ сам сожешь посмотреть. По кадру вытяни из каждого рипа и сравни. (выбирай кадры с шумом и резкими деталями, чтобы видно было, кажды должны быть идентичны (в тот же момент времени) с 2 рипов, чтобы увидеть разницу)

Ставь тот, что по умолчанию пресета

15 Мб/с с головой хватит.