Как складывать векторы внутри модуля

Если только через модули двух данных векторов, то такой формулы нет.

Потому что векторы складываются по правилу треугольника (или параллелограмма), а третью сторону треугольника невозможно найти, зная только две другие его стороны. Нужно ещё знать угол между ними: от него будет зависеть, какой модуль будет у результирующего вектора.

Если известен угол, то модуль можно найти, используя теорему косинусов.
Например, если построить на векторах a и b параллелограмм, то их сумма - диагональ этого параллелограмма. Её длина равна: |a + b| = √(|a|² + |b|² + 2|a|*|b|*cos ∠ (a, b)).

Если векторы даны через координаты, то можно посчитать координаты суммы векторов как суммы их одноимённых координат и вычислить модуль по теореме Пифагора.

Если известно скалярное произведение векторов (a, b), то есть такая формула:
|a + b| = √(|a|² + |b|² + 2(a, b)).