Как в маткаде решить систему уравнений и сделать проверку:?

Ну, смотря какую систему...
Если система линейная, можно решать матричным методом или по правилу Крамера.
В общем случае - при помощи блока given/find.
Проверяется подстановкой найденного решения в исходные уравнения.