что означают фигурные и квадратные скобки в математике? например, в системе уравнений или в координатах точки.

Ну, например, квадратные скобки могут означать целую часть числа, а фигурные - дробную. Ещё, если есть вложенные скобки, то чтобы не путаться, внутренние делают круглыми, внешние - квадратными, а если ещё есть третий уровень вложенности - то фигурные.

В системе уравнений если какие-то уравнения охвачены фигурной скобкой, то все уравнения должны выполняться одновременно (эквивалентно логической операции И) . Если же уравнения охвачены квадратной скобкой, то должно выполняться как минимум одно из них (эквивалентно логической операции ИЛИ) .

Фигурными скобками обычно ограничивают список элементов множества.

При записи интервала квадратная скобка, направленная вовнутрь, означает, что граница интервала включается в него, а круглая скобка или квадратная, направленная вовне, — что граница не включается в интервал.

И т. д.