имеет ли система решение

Система может иметь решение.

Тут надо по теореме Кронекера - Капелли сравнивать ранги основной и расширенной матрицы.

Получается что система имеет бесконечно много решений.

Найти их можно например методом Гаусса:
1 4 -6 -12 1
2 1 -5 - 3 9
-1 -11 13 33 6
-3 2 4 - 6 -17

1 4 -6 -12 1
0 - 7 7 21 7
0 - 7 7 21 7
0 14 -14 -42 -14

1 4 -6 -12 1
0 1 -1 - 3 -1
0 0 0 0 0
0 0 0 0 0

1 4 -6 -12 1
0 1 -1 - 3 -1
0 0 1 0 c
0 0 0 1 d

1 4 0 0 1 + 6*c + 12*d
0 1 0 0 -1 + c + 3*d
0 0 1 0 c
0 0 0 1 d

1 0 0 0 5 + 2*c
0 1 0 0 -1 + c + 3*d
0 0 1 0 c
0 0 0 1 d

Решение a = 5 + 2*c, b = -1 + c + 3*d, c, d - произвольные постоянные.