Даны векторы A = {1,-2,1} B = {2,-4,3} C = {3,-6,-2} При каком значении "a" векторы A и B + aC ортогональны

Ортоганальность векторов означает, что их скалярное произведение равно 0. Вот и запишите это:
(A, B + a C) = 0.
Написанное равенство - это уравнение отн-но a. Можно его причесать, воспользовавшись свойствами скалярного произведения:
(A, B) + a (A, C) = 0.
Тогда значение a выражается элементарно:
a = - (A, B) / (A, C).
Усе, осталось посчитать два скалярных произведения.
Удачи с этим.