Почему модем сильно нагревается?

Потому же, почему и продукты в микроволновке. Только у последней мощность побольше и частоты другие, но общий принцип примерно тот же. Питание приёмопередатчика + СВЧ, а если учесть отсутствие охлаждения, то режим перегрева вполне предсказуем (но не нормален) . Процессор в ПК тоже неплохо греется и на нём кофе можно не только подогреть, но и сварить при определённых условиях.
Чтобы нагрев не сильно сказывался на работе устройства, можно использовать его через удлиннитель, разместив при этом сам модем на полу или у окна.