Какой контейнер, mkv или mp4, лучше для h.264 и одной звуковой дорожки AC-3? Или без разницы?

mkv конечно же, в mp4 хоть и есть поддержка AC-3 звука, но не факт, что звук в таком видео везде нормально будет работать.

Для личного использования или раздач по протоколу торрент - MKV, как более универсальный. Если подразумевается последующее редактирование, воспроизведение на бытовых устройствах или закачка на публичные платформы типа YouTube и прочие, то - MP4 который является ОБЩЕПРИНЯТЫМ стандартом.

P.S. На КАЧЕСТВО картинки и звука использованный контейнер никак не влияет.