Мои бабушка с дедушкой считают меня трусливым. Как быть?

Мои бабушка с дедушкой дружат с моим бывшим одноклассником (который со мной учился в школе) потому что он к ним положительно очень относится, и во многом их поддерживает. А про меня он плохого мнения из-за того, что я нигде не работаю, а он работает. И вот на прошлой неделе он меня встретил у своего подъезда, когда я шел домой. Я ему сказал что разговаривать не желаю (он знает об этом). А он стал провоцировать драку, стал говорить что мол ударит. Но я просто ушел от него. Ушел не потому что я его боюсь, а потому что я не готов потом отвечать за свой поступок если бы, ударив его, причинил бы ему вред здоровью. Он хоть и здоровый, можно сказать даже мужик уже, но все равно всяко же бывает, а законы пугают. Я не готов потом платить штраф. Только законы меня останавливают драться с ним. К тому же бабушка с дедушкой мои в тот момент смотрели из окна, и они бы стали свидетелями, если бы я его ударил и с ним бы что-то случилось. Из-за глупого какого-то платить штраф, или ещё того хуже сидеть в тюрьме мне не хочется.