Высшая математика....

Можно сделать через определители, можно методом Гаусса, а можно например решить эту систему непосредственно.
Используем третий способ.
Выразим из третьего уравнения y
y = -1 - 2x - az.
Подставим полученное в первое и второе уравнения
3x - 2 * (-1 - 2x - az) + z = b,
5x - 8 * (-1 - 2x - az) + 9z = 3.

3x + 2 + 4x + 2az + z = b,
5x + 8 + 16x + 8az + 9z = 3.

7x + 2az + z = b - 2,
21x + 8az + 9z = -5.
Домножим первое уравнение на 3.
21x + 6az + 3z = 3b - 6,
21x + 8az + 9z = -5.
Вычтем из второго уравнения первое
2az + 6z = 1 - 3b
z * (2a + 6) = 1 - 3b
Получаем три случая:
1) 2a + 6 <> 0 => a <> -3
Тогда z = (1 - 3b)/(2a + 6)
Решение будет единственным
2) 2a + 6 = 0, 1 - 3b = 0 => a = -3, b = 1/3
Получаем уравнение 0 = 0, решений будет бесконечно много
3) 2a + 6 = 0, 1 - 3b <> 0 => a = -3, b <> 1/3
Тогда получаем уравнение 0 = числу, не равному 0, значит решений в этом случае система не имеет.
Ответ:
1) а не равно -3
2) а равно -3, b не равно 1/3
3) а равно -3, b равно 1/3.