почему разные популяции одного и того же вида отличаются по частоте встречаемости различных вариантов генов

Потому что эти популяции живут в разных условиях. В одном месте выгодно иметь одни варианты гена, а в другом месте - другие.
Например, в средней полосе, где нет малярии, у всех жителей гены гемоглобина - нормальные. Зато в средиземноморском регионе распространены гены талассемии, а в Африке - серповидно-клеточной анемии. Почему? Потому что их гетерозиготные носители не могут болеть малярией, и это выгодно.