Пытаюсь парсить товары с магазина ДНС, но получаю всё время array(0) PHP

Question

Пытаюсь парсить товары с магазина ДНС, но получаю всё время array(0) PHP

Совсем Додик Ученик (29), закрыт 1 год назад

Сайты которые не особо такие известные и простые парсятся легко, а днс и ситилинк не хотят(на ситилинке уже бан по ip получил:) ).
В общем, пишу код(который снизу напишу) и при запросе не могу получить хотя бы ссылку на товар. Путь указываю правильно и классы тоже, и теги, но постоянно при выводе пишет array(0) { }
Есть же наверное какие-то способы обойти эту защиту? Использую библиотеку phpQuery по совету ютубера:)
На скрине я пытаюсь хотя бы ссылки на товары вытянуть, но их он не отдаёт. Ситилинк отдавал ссылки, но не отдавал название и цену, а днс вообще всё зажопил

Answer 1

это не защита, все эти данные уже с помощью js фетчатся через отдельные апи запросы.
открой вкладку network в dev tools, обнови страницу и увидишь это.

если тебе нужна именно таблица цен на все товары по определенному поисковому запросу, то пробуй работать с их апи так же, как это делают они.

если тебе нужна цена только определенного товара, то обратись по ссылке на этот товар, там цена встречается минимум 2 раза в сыром виде (т.е. к примеру не 16 999 ₽ в каком-то dom элементе, а 16999 в каком-то js коде и json объекте + еще какие-то данные)

ссылки же на сами товары есть, просто селектор неправильно указан - "a" с конца убери, т.к. .catalog-product__name уже является этим <a>

вот какие данные есть без их апи (включая ссылку на товар)

Answer 2

чтобы это селать через Curl, тебе надо cookie завести, их передать, тебе надо броузер передать в заголовке, тебе надо задать переменную перехода, с какой страницы перешёл на эту.

У тебя этого НЕТ, любой нормальный сайт знает, что ты РОБОТ сразу...

Answer 3

1 парсить вобще это не законно
2 если все же надо то готовься обходить капчу/ блеклист/ антитроттлинг/ антиддос/ редирект ы/ фнтиXSS ит п
3 получаешь через курл - смотри что в боди написано и вобще вернулась ли страница с кодом 200 или другим кто будет проверять
4 сразу говорю в одну строчку это не пишется
5 чтобы авторизоваться надо хранить куки ввести логин пароль, отправить серверу получить SSESION_ID сохранить и использовать в следующем запросе