В каком формате видеофайл имеет самый маленький размер Мб

размер файла зависит от очень многих параметров.. .

от кодека
от размера картинки (ширина х высота)
от настроек параметров упаковки в самом кодеке
от самого видео, которое упаковывается.. .
от необходимого в конечном итоге качества видео

так что нужно пробовать перекодировать и сравнивать результат

в любом случае перепакованное видео ВСЕГДА будет с худшим качеством, чем оригинал.. .