Это не культурно такие замечания делать ?

Один знакомый по работе ,когда, например, едем в машине и мне кто то звонит по телефону и потом когда кладу трубку то он улыбается (усмехается) и говорит ;"С кем это вы так культурно говорили "..на что я удивлённо говорю что я типа со всеми культурно ..И так часто подмечает и говорит мне об этом после того как поговорю с кем то..