Что такое кодировщик в ОБС?

Кодировщик отвечает за параметры записи. Настраивая параметры кодировщика можно получать запись более хорошего, или плохого качества. С помощью кодировщика, настроенного на максимальное качество можно получить запись, качество которой будет хорошим даже при низком битрейте, однако это затребует больше ресурсов компьютера во время записи.

х264 - это программный процессорный кодировщик, с ним можно получить хорошее качество потока, но процессор нужен очень производительный, иначе другие варианты могут оказаться даже лучше по качеству. Например, кодировщик nvenc, который есть в видеокартах нвидии, является аппаратным, а не программным кодировщиком, так что он будет выполнять работу буквально не влияя на производительность компьютера во время записи, тогда как x264 будет требовать очень много ресурсов процессора. При этом в последних поколениях видеокарт нвидии этот nvenc обеспечивает вровень качества сопоставимый с x264 в режиме Slow, при этом не влияя на производительность. Так что если есть nvenc, то записывай только через него, если его нет, но есть другой аппаратный кодировщик, например, от интел или амд, то лучше использовать их, конечно, если у тебя не ryzen 9 5950x, который смог бы вытянуть запись в режиме slow, slower и выше.