какой из зтих форматов лучше MKV, AVI, H.264, M2TS, FLV, MP4, MOV, MPG, RM/RMVB, WMV, TS/TP,

Для чего? Для дальнейшего редактирования или сохранения конечного результата?

Создание видео в DV удобно для дальнейшего редактирования, но не для хранения уже отредактированного видео. Это несомненно лучшее решение. Формат DV представляет собой потоковое видео, упакованное в контейнер AVI. Многие считают его форматом несжатого видео. Действительно видеофайлы DV занимают на диске много места. Однако это в 10 раз меньше, чем несжатое видео. И самое главное! Видео формата DV содержит информацию обо всех кадрах, поэтому легко поддаётся редактированию.
Видео сжатое кодеком Н264 может храниться не только в МР4, но и например в AVI
А вот после монтажа, то есть для сохранения уже отредактированного видео, с сохранением качества используйте кодек Н264 (х264) в формат МР4 с битрейтом 2000 или выше. Хотя H.264 требует больше ресурсов процессора для воспроизведения видео, чем закодированное, старыми MPEG -4 ( Xvid и DivX) эффективность сжатия Н264 намного лучше! Это означает, что с H.264/AVC, вы можете получить значительно лучшее качество при одинаковом размере файла. Вы можете получить такое же качество при значительно меньшем размере файла (по сравнению с MPEG -4. XviD, DivX) X264 - один из самых лучших кодеков, вот им и будем пользоваться для сжатия.

Несколько прояснит некоторым, что такое видео, кодеки и контейнеры - https://www.youtube.com/watch?v=uPHAK2RsUt0