Почему нельзя делить матрицы ?

Она одна и мы в ней)

А почему нельзя? Деление на матрицу эквивалентно умножению на обратную матрицу.
Обратные матрицы существуют для всех квадратных с ненулевым определителем (тут аналогия с делением на ноль). Даже для прямоугольных матриц существует обратная в смысле Мура-Пенроуза.

Чтоб не задавать дурацких вопросов, решают задачки: образуют ли такие-то такие-то матрицы группу по умножению. Коммутативна ли она. И т. п.

Ты лучше просто решай матричные уравнения видов AX = B и XA = B. Меньше вопросов будет, что под делением понимать.

потому что умножение матриц некомутативно.

А векторы разделить не пробовал?

Потому что не для каждой матрицы есть обратная. Поэтому деление на матрицу определяется как умножение на обратную (неявно предполагается что она есть).