Как правильно зашить в короб (гипсокартон) трубу батареи?

так что бы можно было подлесть и снять батарею

Делаете каркас из профиля (металлического или деревянного) нарезаете гипсокартон кусками нужного размера, прикручиваете саморезами к каркасу.
При необходимости - шпаклюете, красите (оклеиваете обоями).