Ютуб сжимает видео в битрейте. Именно это и портит качество картинки, особенно если производилась запись игр .
К примеру full hd(1920x1080)видео в 60 fps, которое вы записывали с битрейтом хоть в 100500 мб, ютуб все-равно сожмет до битрейта 12 мбит/cек. Подробнее здесь на вкладке Битрейт
https://support.google.com/youtube/answer/1722171?hl=ruЕсть одна хитрость, но придется жертвовать временем. Можете записать видео в full hd, а потом рендерите в 4K, разрешение не изменится, но видео будет уже с пометкой 4K и ютуб даст ему битрейт в 53-68 мбит)