Где именно матрицы находят свое наибольшее полезное применение?

Если говорить про программирование, то это нейронные сети.
Матрица NxM описывает набор весовых коэффициентов связи между нейронным слоем с N нейронами и нейронным слоем с M нейронами.

В физике матрицы описывают любые преобразования системы координат с одной неподвижной точкой. Например, матрицы поворотов. В физике твердого тела матрицами описывают деформации. В электродинамике матрицей описывают электромагнитное поле. И т.д. огромное количество применений матриц в физике.

В экономике матрицами описывают взаимные корреляции разных биржевых активов в портфельной теории Марковица.