Как быстро вычислять среднее арифметическое при большом количестве чисел

как и при малом количестве чисел. все сложить и поделить

Воспользуйся прогаммкой.
Например в экселе запиши числа в столбик (или строку), и воспользуйся формулой найти среднее значение для этого столбца (или строки).
https://statanaliz.info/excel/formuly/19-raschet-srednej-arifmeticheskoj-v-excel

природу не обманешь. как не крути, среднее зависит от всезх членов, так что на каждый надо посмотреть. Прибавить его к сумме - быстрая операция. Оптимизировать тут нечего

если очень большое - можно прореживать, брать каждое десятое или сотое, но и результат будет приближенным.

Когда вы хотите ускорить какое-то вычисление, то нужно знать какие-то характеристики данных.

Например, если у вас идет поток целых чисел, например показания какого-то прибора, то можно использовать метод гистограмм.
Отводите массив X для гранения гистрограммы. Когда к вам поступает число у, то выполняете инкремент элемента массива. На языке C это записывается так: X[y]++.
Понятно, что пример условный, но подобным способом можно ускорить суммирования и обойти проблему переполнения, которая возникает при накоплении огромных сумм.

"...при большом количестве чисел..."
Если у вас есть Office 2007 и/или более молодой и увас общее кол-во чисел не превышает 1 000 000 тогда функция =СРЗНАЧ () это то что вам надо