По какой формуле найти расстояние между отрезками (прямыми) в пространстве, зная координаты их концов

Как ты вообще себе представляешь это расстояние? Тебе надо найти минимальный отрезок, который соединяет две точки отрезков. Эти две точки-то сразу не определить, не то, что формулу конечную.
Составь два уравнения этих прямых (на которых отрезки) посмотри, где отрезки, может есть лёгкий вариант решения. Может у одного отрезка есть один конец, который наиболее приближен. Задай функцию от этого конца до другого отрезка, и ищи минимум.

Возьмем AB, AB=|b-a|=|a-b| Вся формула