Xvid - бесплатный на 100%, поэтому и кодирует лучше и декодируется также. но если главное качество при небольшом размере, тогда нерин h.264 - лучше нет, но вот не все девайнсы (5-7% двд плееров есть, остальные нет) его едят.
Так самый лучший, или который сжимает лучше? В последнее время не заморачиваюсь, всё жму с помощью встроенного в винды windows movie maker. На выходе файл vmw. Единственное - не знаю, можно потом этот файл чем-нибудь редактировать, или нет. До этого дружил и DivX 5.2 (6-й не нравился, не помню причину) . Они плохо передают чёрный цвет. Передавали. Сейчас не знаю, уже это не моя проблема.