Top.Mail.Ru
Ответы
Аватар пользователя
Аватар пользователя
Аватар пользователя
Аватар пользователя
Информационные технологии
+2

Каким софтом сграбить БД с сайта?

Дано. Сайт. Если на сайте сделать ссылку на конкретную страницу (с номером), он выводит подробную запись с данными конкретно для этого номера. Надо каждую такую страницу сохранить, распарсить и итог записать как строчку в таблице в базе данных.
У меня есть список конкретных номеров. Какими средствами можно решить такую задачу?
Пока думаю писать скрипты для командной строки. Скачивать страницы с помощью curl, парсить средствами sed и awk. Однако чтобы выкусывать строчки между тегами нужно чем-то ещё.
На выходе хочу получить текстовый файл в формате csv или sql.
В принципе можно и xml, если есть такие средства.
Кто что посоветует?

Дополнен

Я так понимаю, читают только первую часть?
Мне нахер не надо качать ВСЕ страницы сайта.
Мне надо с сайта забрать ДАННЫЕ. По одной строчке с каждой страницы.

Дополнен

Вопрос не про то, как скачать, а про то, как спарсить.

По дате
По рейтингу
Аватар пользователя
Новичок
5лет

парсер на пхп такая фтука называется

Аватар пользователя
Оракул
5лет

Настройки-сохранить страницу как...

Аватар пользователя
Искусственный Интеллект
5лет

типа

HTTrack Website Copier - позволяет скачивать сайт как целиком, так и по частям. Многофункциональный оффлайн-браузер. Вот лишь некоторые возможности: создание фильтров для скачивания файлов, задание глубины работы по ссылке, определение максимального количества подключений к серверу, работа через прокси, запуск из командной строки, обновление раннее скаченных файлов и продолжение прерванного задания, и многое другое.