Чем отличаються способы записи DVD в Nero такие как ( ISO / Boot / UDF)

В файловой системе. В UDF можно записать файл большего размера.

в iso записываются диски до 2 ГБ, в UDF больше 2, в буте и сам не знаю

UDF и ISO - РАЗНЫЕ ФАЙЛОВЫЕ СИСТЕМЫ (различаются допустимыми значениями на всякие параметры записи) .
А Boot - с англ. "загрузка" - соответственно добавляет возможность прожечь загрузочный диск.

ISO - стандартный... .
UDF - большие файлы... .
Boot - запись с boot-сектором свыше 256....для "крутых" загрузочных дисков, которые создаешь вручную.... но впринципе если потом готовый диск перегнать в ISO он тож работать будет