Что я делаю не так? Вопрос про ситуацию с коллегами на работе.

Перебираюсь на работе из смены в смену, но коллектив смены из которой уходишь воспринимает это болезненно. Руководитель смены начинает молчать, игнорировать, ты сразу стал ему вдруг не интересен, хотя обслуживал все его хотелки всё время от и до и был верен как пёс, похоже как предательство это расценивает. Ребята с которыми работал общаются, но просят не уходить, видимо тоже понимая неудобства на горизонте, которые им светят из-за этого перемещения. Я же не собственность этого руководителя, не бездушный шкаф, у меня есть свои цели, планы, и хочется работать там где мне нужно и удобно. И что самое интересное, я своим жестом с переходом похоже разозлил и как-то негативно настроил к себе руководителя и ребят, но в тоже время я вижу как другие ребята делают что им нужно и как им нужно, перемещаются куда угодно, да и просто могут чуть ли ни на х.й послать, а потом как ни в чём не бывало спокойно общаются и с этими ребятами и с руководителем, смеются, веселятся на курилках и перерывах, и как-то нет негатива друг к другу, спокойно отказывают если надо отказать другу другу и не обижаются. Почему именно я и мои отказы и нет так критично воспринимаются? В чём моя ошибка?