Кодек для записи в Badicam

Играм совершенно без разницы каким кодеком будешь кодировать видео.
Выше качество у программного кодирования, т. е. при использовании процессора "H.264 (CPU)" (на самом деле кодек называется X264), но для высокого качества при одновременной работе игры нужен один из самых топовых в мире процессоров, что-бы он справлялся с такой огромной нагрузкой (а кодирование - очень ресурсоемкая задача, а 2700X врядли справится с такой задачей при одновременной обработке запросов от современных игр).
При использовании кодека AMD VCE\VCN - кодек будет использовать встроенный кодирующий блок в видеокарту AMD, который может быть немного хуже по качеству, но намного более производителен. При этом нагрузка с процессора снимается практически полностью, но создается нагрузка на видеокарту.
P.s.
Рекомендую для записи программу OBS, она бесплатная (в отличии от платного Bandicam) и очень гибкая в настройке (в отличии от скудных возможностей Bandicam).