Парсинг большого колличество страниц с помощью php multicurl

Question

Парсинг большого колличество страниц с помощью php multicurl

Валентин Кущенко Ученик (120), на голосовании 9 лет назад

С помощью Multi_Curl происходит парсинг миллионов страниц. php скрипт запускает из себя еще по 10 скриптов которые уже парсят, все было нормально, но с некоторого времени load average начал резко подниматься од 5000-6000 и тд, нет доступа к сайту, трудновато работать по SSH, в чем может быть причина, так же netstat выдает до 5000 TIME_WAIT соединений.

Answer 1

мультикурл фигня потому что, забивается канал элементарно, создавай потоки через фреймы и контролируй нагрузку на канал.... например 1 поток один фрейм в одном фрейме идет парсинг, нада 2 потока создавай копию скрипта или пили скрипт и делай его чтоб можно было его множить но учти понадобиться семафор контролирущий потоки... я все это написал теперь я могу создавать столько потоков сколько пожелаю, каждый поток несет в себе нагрузку как на интернет так и на процессор... а мультихерня на такое не способна...