Как понять "точку в бесконечности"? Например, в определении потенциала

Любую точку, удаленную на бесконечное расстояние. На самом деле бесконечного расстояния, конечно, нет, но если считать разницу потенциалов между двумя точками, то она при удалении одной точки от другой стремится к определенному пределу, который достигается если это расстояние считать бесконечным. Поэтому за уровень отчета потенциала берут его уровень в бесконечно удаленной точке, где считают потенциал равным нулю.
Ну, например, есть у нас воронка на поверхности воды. Относительно чего считать ее глубину? Глубина воронки постепенно уменьшается при удалении от ее центра, поэтому самым правильным будет считать глубину воронки относительно бесконечно удаленной от нее точки поверхности. .