Компьютер - конечный автомат. Ничего бесконечного в нем нет по определению.
Из того, что тебе нужно:
- Есть библиотеки, которые считают с ЗАДАННОЙ точностью мантиссы. Например ExtendedNumerics.BigDecimal.
- Твое число - это сумма единиц, деленных на факториалы. Его можно выразить через обыкновенную дробь в любой конкрентый момент конечного времени. Напиши свой класс по работе с обыкновенными дробями на основе класса BigInteger библиотеки System.Numerics и считай на здоровье до достижения необходимой точности. Минус метода - чем больше будут дроби, тем длиннее будет поиск НОК для сложения дробей. Плюс - не будет накапливаться системная ошибка сложения, как в первом случае. Получив в конце концов некоторую охренительную дробь сможешь при помощи первой библиотеки вычислить значение с плавающей точкой.