На работе сотрудник подъёбывает. Как с ним поступить ?

Мне 23 года, ему 25 лет. Оба парни. У обоих примерно одинаковое телосложение. Он работает в компании 3 года, я работаю 2 месяца. С недавнего времени в мою сторону начались колкости, подъебки. Они проскальзывают, мне очень не приятно. Назвал дураком при девушке - коллеге. Я ему ответил, что так может говорить только глупый и не воспитанный человек, но он моим словам значения не придал. В коллективе много девушек, к тому же молодых. Мне кажется он их всех ревнует по отношению ко мне, так как я с ними всё таки общаюсь. Мое мнение: его ЭТО задевает, что я так свободно с ними разговариваю, так сказать лезу на его "Территорию". Последнее время перестал здороваться, проходит мимо меня, здоровается с другими парнями, а меня мол типа как не видит.
Меня напрягает такая ситуация, напряженная обстановка. Я сам по характеру не конфликтный человек.

Неужели на его хамство также отвечать словами? Или после очередного подобного высказывания в мой адрес начать бить его по морде? Сразу скажу, если я проиграю этот бой это крупное поражение для меня, меня никто в коллективе не поддержит. Близких и теплых отношений там у меня ни с кем нет.
ВНИМАНИЕ: Недавно был также был случай: я пришел в комнату для приема пищи, где кушают сотрудники, я расположился и сказал соседней девушке, чтобы попридержала место. Она вроде как согласилась. Через несколько минут возвращаюсь, этот хрен сидит, я ему говорю: "Встань" . А он типа тут место свободное было! Кто не успел тот опоздал, типа я на него еще голос повышаю.

Как мне быть? Как действовать