если самолет летит на высоте 10км, то с какого максимального расстояния я смогу его заметить?

Cмотря с помощью чего.
Если визуально - то можно его не заметить даже если он будет в зените.
А с помощью загоризонтной РЛС (типа "Дуга") - хоть за несколько тысяч километров.

Если же это вопрос про прямую видимость, то дальность прямой видимости обуславливается тремя факторами:
1. Кривизна земли.
2. Прозрачность среды.
3. Наличие препятствий в месте наблюдения, например горы.

В идеальных условиях расстояние видимости до обьекта на высоте 10000 метров будет 412км. (если Вы находитесь на высоте уровня моря) .
Формула рассчёта: http://cityradio.narod.ru/kv/antennes/daln1.gif

Так же необходимо помнить об атмосферной рефракции, которая позволяет буквально заглянуть за горизонт.

Ответ на второй вопрос зависит от высоты взгляда. Т. е. роста человека, это чисто геометрическая задачка. Рассчитать примерное расстояние до видимого горизонта можно, воспользовавшись теоремой Пифагора.
На плоской равнине или в степи, где высота наблюдения сравнима с человеческим ростом, расстояние до видимого горизонта будет 4-5 км.

Вот формула расчета прямой видимости между антеннами.
D(km)=4,12x(h1^0.5+h2^0.5).
h - высоты антенн в метрах
В данном случае можно упростить = рост пополам * 4,12 км

В приближении, что Земля идеально круглая, эта формула даёт очень хорошие результаты вплоть до высот расположения наблюдателя порядка 100 км над уровнем поверхности. Погрешность на таких высотах по сравнению с точной формулой составляет всего около 1%.

Расстояние до горизонта