Не могу ударить человека

Я довольно крепкий молодой человек, но уже который год мучаюсь с проблемой, указанной выше: не могу постоять ни за себя, ни за близких. Как только дело приближается к драке, а я уже довольно разозлился, замахнувшись, останавливаюсь. Сразу начинаю понимать, что человеку будет больно, а причинить боль я хоть и хочу, но не могу. Не получается. Может, это как-то появилось из-за проблемы в детстве?
Когда я был еще в начальной школе, у нас случилась обычная детская драка. Мы что-то не поделили с моим бывшим одноклассником, и я, мягко говоря, слегка приударил его, что он упал и ударился головой об каменный пол. Плюсом к этому шел бонус в виде расквашенного носа. Я не помню момент удара (столько лет прошло), но помню, что после этого шел довольно большой провал в памяти. После того, как проигравшего унесли в мед. пункт, я сел на скамейку и расплакался, пообещав себе, что больше не стану причинять никому боли. Прошу не смеяться, но я действительно подумал, что все очень плохо из-за моей неспособности быть терпеливым.
С тех пор я не поднимал руку. И сколько бы не пытался сломать детское обещание - все идет в Тартарары. Пытался на бокс ходить, вольную борьбу, но меня не приставляли к напарникам. Да и вряд ли бы я смог их одолеть.

Пожалуйста, помогите мне хотя бы советом. С этим тяжело жить. Кинуть что-нибудь в кого-то я могу, пускай и не контролируя этого, но намеренно ударить - нет.
Заранее благодарю за ответ, и все же не прошу называть тряпкой и слабаком, если это возможно. Я и сам себя таким ощущаю порой.