Расширь обратно, потянув за бок кадра. Делов-то.
А вообще, тут похоже на проблему, которая называется Aspect Ratio, где должно быть Square Pixels (1,0000). Иначе из-за таких манипуляций будет мыльная картинка на выходе.
Лучше OBS Studio юзай: если монитор - FULL HD, там можно исходную четкость изображения на монике в YouTube перенести. Еще и 60p пишет.
https://obsproject.com/download