Здравствуйте , помогите советом

Переехала к парню в другой город, перед приездом все обсудили, как будем вести семейный бюджет и все бытовые вопросы, по приезду оказалось все наоборот. Плюс парень стал вести себя грубо, а я постоянно пыталась объяснить, что не привыкла к такому общению, что у меня другое воспитание и просила вести себя нормально, не помогло. В итоге решила расстаться с ним, и тут вдруг он сказал, что любит меня сильно, что будет меняться и правда так и произошло, но проблема в том, что мне уже это не нужно. Не знаю как уехать обратно, так как я это первые его серьезные отношения, боюсь что будет сильно страдать, хотя себя очень жаль, но его жаль больше. Два раза поднимала разговор о переезде, не отпускает, чувствую придется сбегать пока он на работе, но это слишком. Посоветуйте, что делать, может кто-то был в похожей ситуации