Единственность решения - это теорема Кронекера-Капелли. Самый простой способ применить эту теорему и показать, что решение единственно, найти определитель матрицы системы. Если он не равен нулю, то решение единственно. А дальше переходите к решению методом обратной матрицы:
http://math1.ru/education/sys_lin_eq/invmatrix.html (пример №2), методом Крамера:
http://math1.ru/education/sys_lin_eq/kramer.html (пример №2) и методом Гаусса (пример №2).
3x+y+z=5
-3x+5y+6z=7