Стоит ли начинать драку?

У меня есть девушка, и недавно ее приметил отморозок со двора. Ей лично ничего не говорил, но при мне начал про нее разговаривать, мол облапает, попробует ее.
Я ему тогда ответил в грубой форме, он только посмеялся в ответ, сейчас сижу и думаю, что нужно было идти в драку. Проблема в том, что я на полторы головы ниже, и на плечо уже него. Что посоветуете? Думаю, что при следующей встрече это повторится, просто не вижу смысла дальше ему словестно отвечать, если он только угарает с этого, драки я не боюсь, просто осознаю, что скорее всего не вывезу, так что делать? Мало ли, что у этого животного на уме, чувствую так просто он не отстанет, слова на него не влияют, получается, выхода не остаётся? Я просто хочу быть спокойным за свою девочку