Порционная загрузка данных с удаленного сервера

Question

Порционная загрузка данных с удаленного сервера

[ ] [ ] Мастер (1023), на голосовании 4 дня назад

Есть метод GetMyData(DateTime DateBegin, DateTime DateEnd, CancellationToken cancellationToken).
Этот метод получает данные с удаленного сервера. Ответ обычно около 800-900мс, если брать промежуток в неделю.

При подгрузке данных по неделе с промежутком в 3-4 недели ответ приходит очень долго(~30 000 мс). А может быть и такое, что данные надо подгрузить за 5 лет.

При параллельной загрузке, количество HttpClient объектов становиться слишком много и они забивают все порты, выдавая Exception.

Answer 1

Надо где-то ограничение количества портов на входящий ip сделать.

Answer 2

Судя по тому, как растет время, твое бутылочное горлышко - это не сеть, а нечто другое.
Я бы рекомендовал перестать работать с этим всем счастьем на низком уровне и пересесть на какую-то RDBMS.
И данные за 5 лет нахрен никому не нужны, я гарантирую это. Ни один человек неспособен проанализировать такое количество данных. Такие данные сводятся в статистические отчеты на сервере, и уже эти отчеты пересылаются по сети.