Я решал бы так.
Пусть прямая задана точками А; В
A(1;2),B(6;4)
Уравнение прямой
(x-x(A))/(x(B)-x(A))=(y-y(A)/((y(B)-y(A))
1) y=0.4*x+1.6
Пусть С точка на прямой АВ (проверить подстановкой в 1),
d -расстояние до равноудаленных от С точек.
C(-4;0)
d=5
Записываем уравнение окружности радиусом 5 с центром в С.
(x-x(C))^2+(y-y(C)^2=R^2=d^2
2) (x+4)^2+y^2=25
Решаем совместно 1 и 2 и получаем координаты нужных точек.
M(-8.64;-1.86)
N(0.64;1.86)
Как-то так.
В трехмерной системе аналогично.
Удачи.

Прямая выражена в виде двух известных точек. Напишите пример, пожалуйста.