как правильно сделать

А нафиг тебе такой старикан? Это большая разница в возрасте

Ну так сказала и сделала так, от жалости ничего больше не вырастет

Погладь его по щеке. Пройдет. А у него борода седая? Ладно, шучу. Просто попробуй хоть как-то восстановить теплоту в отношениях. Не выйдет - дай шанс другой, а себе найди кого-нибудь помоложе.

Чем раздражает или есть что-то даже серьезней?

Если начал раздражать, то вскоре появится гнев, который убьёт все чувства, а далее жить вместе станет невыносимо. Тем более, если рядом нет родных и друзей, то и делать нечего рядом с абсолютно чужим человеком. А плачете вы не оттого, что жалко с ним расставаться. Слёзы от бессилия и усталости от нервотрёпки. Уходите от него. Он - не Ваш человек. Когда без его присутствия Вы энергетически наполнитесь, тогда забудете его как страшный сон. И привязанность пройдёт. Желаю Вам встретить хорошего мужчину, с которым будет настоящая любовь и взаимопонимание. :) Удачи :)