По какой формуле можно рассчитать количество диагоналей призмы?

смотря что называть диагональю

если она связывает противоположные основания, то их n(n-1) штук
где n - число вершин основания