Возможно ли не сверлить стену (над окном очень узкий участок, бетон, боюсь отколется если перфоратором) и повесить гардину ?

можно. просверлить потолок

Сначала сверлите без долбежки аккуратненько и все будет нормально. Не сверлить к сожалению нельзя. Сверло возьмите сначала небольшое, например шестерку

Сверлите рядом - где прочная стена, только потом необходимо изготовить несложный кронштейн-переход под отверстие гардины....

Предлагаю купить потолочный карниз.