самый "лучший" на сегодня - это кодек Н. 265, он при сравнимом качестве почти в два раза ужимает в снавнении с кодеком Н. 264.
А mkv - это не формат, а контейнер, в который можно запихнуть почти любой кодек.
Вот, просвещайся:
https://ru.wikipedia.org/wiki/Matroska