К пяти часам это ко скольки? К 17:00?

Да, к 17

Если сказать просто 5 часов, то это — утро. Если сказать 5 часов вечера, то это 17 часов. т. к в сутках 24 час .правильно говорить 5 часов утра а 17; 00 это вечер.

Или к 5, или к 17. От контекста.

Утра, или вечера?

зовисит от времени если закат то 17 00