Почему не хочу иметь/принимать людей за друзей?

Когда я начинаю общаться с человеком, даже если с ним мне хорошо и мы расходимся к примеру после прогулки, то все. Я не хочу чтобы эти люди звали меня, приходили ко мне домой в гости, с ночевкой, гулять с ними. Ну то есть у меня не получается выстраивать с ними какую-то связь. Но дело в том, что я их считаю знакомыми, а они уже зовут меня другом или лучшим другом. У меня не вызывает не радости, ничего. Хотя иногда раздражает и я говорю, что мы не друзья и тд, но они обижаются. Поэтому предпочитаю промолчать или просто согласиться. Что со мной не так?