Нужно ставить то-же разрешение (либо с тем-же соотношением сторон), что и в игре (или откуда там захватываешь).
Базовое - устанавливаешь ровно как на источнике (в игре 1920х1080? Ставишь 1920х1080).
Выходное - устанавливаешь точно такое-же, либо с тем-же соотношением сторон (1920х1080 - это 16к9, ставишь его, либо тоже 16к9, например 1280х720 - это тоже 16к9).
