Как правильно неотгулЕнный или неотгулЯнный отпуск?

не использованный.

Это зависит от того, чем вы собирались заниматься в отпуске - гулЕть или гулЯть.

(НЕ) отгулЯнный.
Страдательное причастие прошедшего времени образуется от основы инфинитива глагола при помощи суффикса -НН- ( в данном случае) :
ОТГУЛЯ--ть ---ОТГУЛЯ + НН +ый

По-моему, ни того ни другого слова в русском нет, во всяком случае, в официально-деловом стиле. Грамотней ззвучит "неиспользованный"..