Как мне относиться к изгою, которого не принимает общество?

К нам в группу перевёлся один парень, все распространяет о нем слухи, что он грубый злой и все в таком роде. У меня из за этих слухов сложилось о нем не очень хорошее впечатление, сегодня он уже учился с нами, был спокойным, молчаливый, а когда мы пришли в другую аудиторию и я села с ним, то две девочки начали шутить что то типа "ну как тебе твой новый краш?" похихикивали, другие девочки сказали "блиииин" и я напугалась такова давления и смеха и я отсела, хотя тот парень ничего такова не сказал, просто покрутил головой в ответ на шутки. Когда я отсаживалась девочки на том ряду сказали" не бросай нас хахах" и мне стало стыдно, что я отсела от него, как будто он что то не так сделал, мне стало грустно что я такая слабая личность и поддалась насмешкам и думаю что ему было обидно что я отсела и поставила его в неловкое положение. Пацан сам по себе спокойный, нормальный, в учёбы далеко не последний, даже первый я бы сказала, но тот факт что я поддалась этому давлению меня не отпускает. Сама я к нему отношусь хорошо (он возможно ко мне уже нет) я не люблю верить слухам, но тут что то пошло не так. Я хочу знать, как мне относиться к этому? Изменить все и перестать каждый раз отсаживаться? Очень уж сильно мучает совесть что я плохо поступила по отношению к нему, совсем не зная почему у нему так относяться
P. S. : одна из девочек которая смеялась, сама недавно перевелась и другая девочка из группы подговаривала каждого из нас не общаться с ней т. К. Якобы та которая перевелась заняла её бюджетное место.