При записи в OBS на выходе получается каша

Пробни mp4 формат и где вывод - качество записи у тебя что?

столько сколько здесь спрашивают про ОБС ни про какую другую программу столько не спрашивают, вывод - плохая программа
хорошая тихо молча делает своё дело
когда то кучу экранных записывалок перебрал, адекватно сработала только одна, и при записи не тормозила и сама запись гладкой получилась, пробуйте
https://lrepacks.net/repaki-multimedia-programm/764-mirillis-action-4140-repack-amp-portable.html