Парсинг страницы. Кириллица в ссылке и 404. PHP

Question

Парсинг страницы. Кириллица в ссылке и 404. PHP

Lord312 Гуру (3550), закрыт 8 лет назад

В общем, есть сайт с движком вики.
Функцией file_get_contents получаю содержимое страницы по ссылке и работаю с ним.
Всё великолепно работает с латиницей, а при наличии в ссылке кириллических символов начинаются проблемы.

Пробовал по всякому, iconv, urlencode, urldecode, меня кодировку скрипта, сервера - ничего не помогает. Сайт отдаёт 404. При том, что в браузере такая же ссылка спокойно открывается

Вряд ли это какая-то защита, возможно, движок немного изменили и теперь что-то там не так работает, так как 2 года назад то же самое делал - работало на ура

Пробовал и curl, всё совершенно аналогично. Латиница норм, кирллица - 404 и страница не загружается

Answer 1

Не может такого быть, чтобы "ничего не получалось" - вы однозначно что-то не то делаете.
Хотя бы посмотрите обмен заголовками между клиентом и сервером в случае КИРИЛЛИЧЕСКОЙ страницы, которая нормально открывается без 404-й. И уже от этого можно отталкиваться в построении скрипта.

Answer 2

Sergey V. Voronin Искусственный Интеллект (267446) 8 лет назад

ну брать строку и все не-аскии-символы переводить в %код. Хоть вручную в цикле.

Lord312Гуру (3550) 8 лет назад

Да я же говорю - не помогает. Сайт 404 отдаёт, хоть шифруй, хоть не шифруй, хоть utf8, хоть cp1251 - та же фигня. Браузер как-то загружает же. А с латиницей никаких проблем

Sergey V. Voronin Искусственный Интеллект (267446) ну переконверти какую-нибудь ссылку, посмотрим.