C++ WINAPI какой функцией можно изменить разрешение экрана(разрешение именно экрана, а не программы)?

ChangeDisplaySettings/ChangeDisplaySettingsEx
https://docs.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-changedisplaysettingsa
https://docs.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-changedisplaysettingsexa

АХТУНГ! Мониторов в системе может быть несколько, в т.ч. один "собранный" из нескольких. Всегда помните об этом. Если что смотрите
https://docs.microsoft.com/en-us/windows/win32/api/winuser/nf-winuser-enumdisplaymonitors

Должно быть что-то вроде :
DEVMODE dm;
memset(&dm,0,sizeof(DEVMODE));
dm.dmSize=sizeof(DEVMODE);
dm.dmPelsWidth=1024;
dm.dmPelsHeight=768;
dm.dmFields=DM_BITSPERPEL|DM_PELSWIDTH|DM_PELSHEIGHT|DM_DISPLAYFREQUENCY;
ChangeDisplaySettings(&dm,CDS_UPDATEREGISTRY);

ЗЫЖ Обратите внимание на приписку по поводу 32битного цвета в современных версиях Windows.