Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиКалендарьОблакоЗаметкиВсе проекты

Порционная загрузка данных с удаленного сервера

[ ] [ ] Мастер (1178), на голосовании 3 недели назад
Есть метод GetMyData(DateTime DateBegin, DateTime DateEnd, CancellationToken cancellationToken).
Этот метод получает данные с удаленного сервера. Ответ обычно около 800-900мс, если брать промежуток в неделю.

При подгрузке данных по неделе с промежутком в 3-4 недели ответ приходит очень долго(~30 000 мс). А может быть и такое, что данные надо подгрузить за 5 лет.

При параллельной загрузке, количество HttpClient объектов становиться слишком много и они забивают все порты, выдавая Exception.
Голосование за лучший ответ
Sergey V. Voronin Искусственный Интеллект (292093) 1 месяц назад
Надо где-то ограничение количества портов на входящий ip сделать.
Jurijus Zaksas Искусственный Интеллект (445688) 1 месяц назад
Судя по тому, как растет время, твое бутылочное горлышко - это не сеть, а нечто другое.
Я бы рекомендовал перестать работать с этим всем счастьем на низком уровне и пересесть на какую-то RDBMS.
И данные за 5 лет нахрен никому не нужны, я гарантирую это. Ни один человек неспособен проанализировать такое количество данных. Такие данные сводятся в статистические отчеты на сервере, и уже эти отчеты пересылаются по сети.
Похожие вопросы