Помогите выделить полный квадрат в квадратичной форме 5(x1)^2+2(x1x2)+4(x1x3)+(x2)^2+4(x2x3)+4(x3)^2

Я так понимаю, вам нужен полный квадрат, чтобы потом сделать замену и привести ее к каноническому виду. Проще это сделать соответствующим преобразованием ее матрицы. Подробнее читайте в книгах по алгебре.