Можно ли шпаклевать откосы окна чистым гипсом, или держать не будет?

Тут от слоя зависит, думаю см будет держаться, важно хорошо очистить поверхность и прогрунтовать

Смотря какой степени прочности гипс. Я бы лучше рекомендовала гипсовую безусадочную шпаклевку, так как, с ней легче работать. Но можно и гипсом. Перед нанесением гипса, рекомендую увлажнить поверхность (я предполагаю, что это бетон или цемент) на которую будет нанесен гипс. По высохшему гипсу надо будет пройтись укрепляющей пропиткой. На http://gkpartner.com есть разные смеси для отделки. И другие нужные для отделки материалы.