Вольфрам,
{1, 7, -25} * {{-3, 5, -3}, {-5, 2, 5}, {2, 5, -5}}^-1
Говорит {5, -4, -2}.
Проверка.
Вольфрам, 5*{-3, 5, -3} + -4*{-5, 2, 5} + -2*{2, 5, -5}
Говорит {1, 7, -25}
Теория.
https://ru.wikipedia.org/wiki/Матрица_перехода и свойство (AB)^T = B^T * A^T, которе тебе полезно, ибо у тебя вектор нетрадиционно для математиков (но традиционно для инженеров) представлен вектор-строкой, а не вектор-столбцом.