Это связано с тем, какую обувь носят женщины/мужчины.
Офисный дресс-код велит мужчине даже летом ходить в брюках (брюки могут быть летними, из хлопка, льна, легкой ткани, но не шорты) . На работу или в университет в шортах как-то не комильфо. Т. е. даже летом большинство мужчин либо в брюках либо в джинсах. С джинсами носят кеды или кроссовки - а кроссовки не носят на голую ногу, это неудобно, странно выглядит и ноги без тонкого хб носка у мужчин часто потеют.
Брюки также обычно носят с закрытой обувью - с летними туфлями (туфли могут быть все сплошь в мелких прорезях, но это туфли, а не шлепанцы и не аналог женских босоножек) . Соответственно опять носок.
Справедливости ради, стоит отметить, что в последнее время на молодых парнях летом нередко можно заметить вот такие сандалии:
их носят без носка.