Фраза от молодого человека: «Позволяешь себе». Почему обидно?

Поссорились с молодым человеком, домой вернулась его мама. Наши с ней взаимодействия обычно начинаются с того, что он у нее спрашивает как день, она рассказывает, а дальше я спрашиваю подробности. В этот раз он с ней не разговаривал (со мной тоже) так как был в плохом настроении, соответственно я тоже молчала. После этого он начал писать мне сообщения (что бы она этого не слышала) формата: «если продолжишь себя так вести можешь идти домой». Мы много раз обговаривали что ссора не должна быть закрытой, поэтому я не ушла. После мы выходим из квартиры, вся сцена длилась минут 15, и он говорит мне: «Как ты позволяешь себе себя вести, еще и при моей матери». Она не пользуется у него авторитетом и у них достаточно странные взаимоотношения. Мне кажется меня больше задела фраза «что ты себе позволяешь» так как звучит она не первый раз. Хочу понять почему именно от нее стало неприятно и насколько адекватно использование ее в таких контекстах в целом?