Какой зернистостью шкурить гантели СССР

Начни с P80-P120 для снятия ржавчины/неровностей, потом P220-400 для гладкости. Если глубокие царапины — сначала P60.

5, потом 3 и 1. А лучше болгаркой, быстрее будет.

Начни с 5-ки, потом 3-ка, потом 1-ка и финишируй 0-кой

от крупной к мелкой.

чаще работай с ними и ручками отчистишь

Какая цель такой «реставрации» и каково нынешнее состояние?
Возможно, что «овчинка выделки не стоит» - усилия и затраты на приведение инвентаря к состоянию нового, могут не окупиться, потому что очень много подобного на сайтах-барахолках…

Если же, «просто в принципе хочется повозиться с железяками», тогда смотрите опыт других таких же самоделкиных, восстанавливающих внешний вид гантелей
https://dzen.ru/video/watch/63d0f932e72f361b15ac3045

Учтите, что если ржавчина слишком сильная, или чугун очень ноздреватый, то придётся применять грубую механическую зачистку «болгаркой», с тросовой насадкой (обязательно применять защитные очки - от окалины и осколков). Но в таком случае, возможно стирание с поверхности заводских штампов и обозначений веса, что больше всего ценится у коллекционеров.
А шлифовать можно долго - вам уже подсказали номера зернистости наждачной бумаги. До зеркального блеска.
Но, нужно ли это?
Если да, изучите информацию о шлифовальном материале: чем различаются наждачная, шлифовальная и полировальная бумаги
https://ru.wikipedia.org/wiki/%D0%A8%D0%BB%D0%B8%D1%84%D0%BE%D0%B2%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%88%D0%BA%D1%83%D1%80%D0%BA%D0%B0

Пилите гири, они золотые. Если повезёт можно купить квартиру за золотую гирю из ссср