Поясните ситуацию в женском коллективе в первый рабочий день?

Работодателю не нравится работник,т.к.мало улыбается,занят только работой,придраться не к чему,но он не нравится тем,что не душевная,не болтлива.они начинают ехидно подглядывать друг на друга,насмехаться,говорить в спину гадости.при этом,когда я сказала,если раздражаю,говорите,сразу,что я не подхожу,они говорят подходишь...Может,работодатель может только выживать работника,но не говорит прямо,что он им по коллективу не подходит?может,мне надо уйти самой?