Правильно ли я поступил в конфликте?

Представьте, ситуация: оживленная улица, 3 часа ночи, толпища людей. Вы идете с подругой, другом и сестрой подруги. Гуляете себе спокойно, как вдруг на перекрёстке 4 мужчины сказали, мол, знакомые лица у девушек. Девушки не поняли сей высказывания, на что эти мужчины сказали, цитирую: «я понял, почему знакомые, мы шлюх часто вызываем.» Я, считая это оскорблением в адрес девушек, окликнул этих фразой: «вы не ох*ели? За языками следите своими.» Дальше один из мужиков начал прямо вести конфликт к драке, но друг его товарищ сказал, мол: «это шутка, молодец, что заступился, но это шутка и не более» Я сказал, что данную шутку ни я, не девушки не оценили. Они ушли. Меня второй день терзает совесть за то, что я дальше не стал разбираться с ними. Может стоило набить рожу одному из самых «красноречивых»? Не поступил ли я себя как слабак и трус? Скажите пожалуйста. Девушка сказала, что на таких просто внимания обращать не стоит. Может стоило довести дело до извинений?