Почему грузин, а не грузинов. Есть какое то правило?

Есть.

Как отмечают составители книги «Русская грамматика» под редакцией академика РАН Наталии Шведовой, для большей части существительных мужского рода, в начальной форме оканчивающихся на твердый согласный (мухомор, компьютер, носок), характерно окончание -ов в форме родительного падежа множественного числа: мухоморов, компьютеров, носков и так далее.

Из этого правила филологи выделяют обширный ряд исключений - подобных существительных, но имеющих в форме родительного падежа множественного числа нулевое окончание: один чулок - много чулок, один грузин - пятеро грузин.

К числу таких слов относятся:

названия людей по национальности и по принадлежности к воинским соединениям, преимущественно употребляющихся в формах множественного числа в собирательном значении: мадьяры - мадьяр, туркмены - туркмен, гардемарины - гардемаринов и гардемарин, партизаны - партизан, солдаты - солдат;
названия парных предметов: ботинки - ботинок, глаза - глаз, манжеты - манжет, погоны - погон, чулки - чулок, эполеты - эполет, сапоги - сапог;
названия мер и единиц измерения: 220 вольт, 1000 ватт, 5 ампер, 500 гигабайт.

Стоит отметить, что названия плодов, фруктов и овощей, представляющие собой существительные мужского рода, в начальной форме оканчивающиеся на твердый согласный (апельсин, баклажан, помидор, мандарин), в форме родительного падежа множественного числа имеют окончание -ов: пять апельсинов, килограмм баклажанов, корзина мандаринов, салат из помидоров.

Таким образом, правильно: килограмм помидоров, груда носков, пара чулок, отряд храбрых грузин.

Противоречите сами себе. По-вашему, тогда следует говорить "груда носок", а не "носков". Вот если, например, "носки" - отбиты от фарфоровых чайников и лежат грудой на помойке, тогда да - "груда носков". Или правило не работает, и тогда - "пара чулков" можно говорить...