А как измерили массу Земли?

Никак. Её ВЫЧИСЛИЛИ.
Сначала узнали размеры Земли. Это ещё древние греки смогли сделать. Потом определили ускорение свободного падения (Галилей). Потом паявился закон всемирного тяготения Ньютона. Тогда всё примерно стало ясно, и появился способ вычислить массу Земли, которая при данных своих размерах создаёт вот такое ускорение. Неизвестно былтолько чему равна гравитационная постоянная. После того, как Кэвендиш её измерил, экспериментируя со свинцовыми шарами, осталось только подставить найденное значение в готорую формулу.