В этой задаче применяется следствие из теоремы Кронекера-Капелли. Гляньте для образца примеры тут:
https://amkbook.net/mathbook/kronecker-capelli-theorem-slae-compatibility Вам нужно найти ранги матрицы системы и расширенной матрицы системы. Это можно сделать по-разному, однако чаще всего применяют приведение расширенной матрицы системы к ступенчатому виду.