Если на атомарном уровне, то атомы на горячем конце имеет большую кинетичскую энергию (быстрее совершают колебательные движения) . Сталкиваясь с соседними атомами, они передают часть своей энергии этим соседним атомам, те своим соедям и т. д. Через какое-то время энергия атомов по всей длине стержня выровнется и он будет равномерно теплым. Если один из концов постоянно нагревается, то передача энергии атомами и значит тепла происходит постоянно.
В металлах высокая теплопроводность обусловлена наличием обобществлённых электронов, или электронного газа. По этой же причине они являются проводниками электрического тока. А в полупроводниках тепло передают квазичастицы - фононы.