Надо было отвечать на такое поведение?

На работе мужской коллектив, я самый младший.
День сегодня был очень жаркий. Сидит коллега, я к нему подхожу и по приколу спрашиваю «холодно?»
Он говорит «иди в жопу». Я удивлённо смотрю на него, он говорит «юмора ты не понимаешь».
Я спустя пару минут спрашиваю «а что это за юмор такой?»
Он говорит что не серьезно мне это сказал, и я все буквально воспринимаю.
Как бы вы отреагировали? Нужно было разбираться с ним, и выяснять отношения?