Скалярные и векторные величины

По-видимому, авторы задачи имели в виду ответ
n^2-n.

В действительности, однозначно ответить нельзя. Может быть либо n^2-n либо меньше.
Например, 4 точки не лежащие в вершинах параллелограмма задают 12 векторов; а вершины параллелограмма --- только 8.

Если вектора АВ и ВА =-АВ разные, что логично, тогда их количество равно n(n-1), причем, независимо от того как расположены эти точки: хоть случайно, хоть в вершинах выпуклого n-угольника (в т.ч. и правильного).