Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиКалендарьОблакоЗаметкиВсе проекты

Может у кого идея есть? По поводу парсинга

Сосиска в тесте Мыслитель (5645), на голосовании 4 года назад
Вообщем у меня настроен так чтоб ip обновлялся каждый раз когда происходит таймоут, но дело в том что ссылка по которой обновляется ip адрес прокси сервера, она долго грузится. 6-8 сек.
Сайт, с которого я скачиваю товары, он блокирует ip после нескольких обращений и не получается часто использовать 1 и тот же ip. Как обойти это, может у кого идеи есть?

Бесплатные прокси сервера не подходят, по той причине что они в блоке давно. Я чекал. А платные, не важно какие, после нескольких запросов с 1 и тот же ip попадает в блок и доступен только через определённое время.

Может какой нибудь прокси сервис порекомендуете недорогой, где при каждом запроосе, выдавался б уникальный ip адрес. https://api.com/обновить_ip_адрес - чтоб ссылка работала быстро без задержек, а то я жду каждый раз по 6-8 сек
Голосование за лучший ответ
День Месяца Мудрец (12971) 4 года назад
Похоже на какуюто куиту. По любому нужно использовать другой метод
Высший разум (1271064) 4 года назад
Решал подобную проблему подключением tor и сменой личности при блокировке. Если tor не заблокирован, то можно попробовать.
Ещё, как вариант, в фоне (отдельный поток/и) набирать список прокси и менять их каждый запрос, чтобы 2 запроса с одного адреса не шли подряд - это создаст задержку и, возможно, реже будет банить.
Редис Александрович Оракул (81145) 4 года назад
Тебя банять не потому что ты прокси используешь, а потому что ты отправляешь 100 тыс запросов в секунду. Поставь паузу в 5 секунд между обращением к серверу и никто тебя не забанит.
levon tumasyan Знаток (250) 4 года назад
*ответ*
Самые хорошие прокси, которые мне когда-либо попадались, я покупал не proxy6. net. они не дорогие и качественные. кстати у меня промокод завалилась на скидку держи)
LDCccaosBC
Марина Абрамова Ученик (103) 3 года назад
Бан вы ловите потому что отправляете много запросов и парсингом занимаетесь самостоятельно. Тут никакие прокси не помогут. Попробуйте лучше а-парсер для этих дел, универсальный инструмент, мы собираем данные с сайтов или сами сайты через него, а также у него сот около сотни разных парсеров и собрать может все, что угодно.
Вот https://a-parser.com/
Это мой совет, потому что мы тоже изначально для бизнеса парсили за счет скриптов разных, а после пары банов, поняли, что надо что-то искать получше =)
Денис Кулагин Ученик (112) 3 года назад
я покупал здесь proxy6.net, для удаленного доступа ну тут у каждого свои цели. Купон при покупке вводите rWonJczYSh, 10% скидон дали мелочь, а приятно
Похожие вопросы