А нужно ли поздравлять с 23 февраля мужчин, которые не служили в армии?

смотря почему не служили

Это как тебе будет угодно. Законом не запрещено.

День Защитника Отечества — один из официальных государственных праздников России. Значение торжественной даты в наше время немного утратилось. Теперь 23 февраля считают праздником всех мужчин, но так было не всегда.
Я бы на вашем месте не вспоминал дела давно минувших дней и поздравил бы всех

Хоть в России это имеет патриотически оттенок, но его можно перефразировать как день мужчин, ведь Международный мужской день в 19 ноября не празднуется.
Даже если человек не служил - военнослужащий в запасе, да, категории у всех разные, есть и те, кого вообще не призовут в любом случае, но вы действительно хотите обделить инвалидов?
Каждое действие имеет равное противодействие, если перестанут поздравлять с 23 февраля мужчин, многие задумаются о поздравлении женщин 8 марта и принадлежность конкретных женщин к этому празднику.
Это то будущее, к которому стремишься?

Навальный по еврейской древней традиции от армии откосил,но сам присвоил себе звание согласно купленному диплому и жаждал поздравлений

Председатель Реввоенсовета Лев Троцкий решил учредить праздник Красной армии и провести 23 февраля первый парад на Красной площади.
Точно хотите вечно праздновать назначенный основателем Красной Армии Троцким праздник?

8 марта их день, вот и поздравляй...

т.к. это нынче не профессиональный праздник -" день Армии и Флота ",
сможете поздравлять любого ...даже "нетрадиционника "..
........
по аналогии нужно отменить день полиции , день чекиста , день вертухая и пр.
и сделать общий " день правопорядка "