как определить углы треугольника АВС с вершинами А(1;-1;3), В(1;1;1) и С(0;0;5)

Учитывая тему "Векторы на плоскости и в пространстве" лучше сделать так

AB(1-1;1-(-1);1-3) и AB(0;2;-2)
AС (0-1;0-(-1);5-3) и AС (-1;1;2)
скалярное произведение (AB,AC)=(0*(-1)+2*1+(-2)*2)=-2
|AB|=корень (0^2+2^2+(-2)^2)=корень (8)
|AС|=корень ((-1)^2+1^2+2^2)=корень (6)
сosA=(AB,AC)/(|AB|*|AC|)= -2/(корень (8)*корень (6))=-корень (3)/6

BA(0;-2;2) и BС (-1;-1;4)
скалярное произведение (BA,BC)=10
|BA|=корень (8), |BC|=корень (18)
сosB=(BA,BC)/(|BA|*|BC|)= 10/(корень (8)*корень (18))=5/6

CA(1;-1;-2) и СB(1;1;-4)
скалярное произведение (CA,CB)=8
|CA|=корень (6), |CB|=корень (18)
сosC=(CA,CB)/(|CA|*|CB|)= 8/(корень (6)*корень (18))=4*корень (3)/9