Парсинг сайта на java. Как парсить с запросом?
Начал изучать java. В качестве саморазвития решил поднять тему парсинга
Я понял как можно запарсить обычную страничку на сайте, но не могу понять как запарсить с запросом. К примеру, открываем просто сайт Avito и на главной странице видим объекты для продажи. Сверху есть поле поиска + что-то на подобии combobox'ов для определения тех объектов, которые мы ищем + кнопка "Найти". Вот как реализовать заполнение строки поиска и нажатие на эту кнопку? Или там нужно применить что-то иное? (тем не менее сейчас пока писал текст вопроса заинтересовала тема, в принципе, возможно ли инициализировать нажатие кнопки на странице?)
Заранее спасибо тем, кто попытается помочь)))
Когда передаешь url для http соединения можно формировать строку url исходя из названия категории товара. Например, url страницы где будут отображаться все товары из категории "настольные компьютеры" будет выглядеть так: ht tps://m.avito.ru/rossiya/nastolnye_kompyutery
Либо вообще можно сделать строку ht tps://m.avito.ru/rossiya/ + добавлять строку-вводимый запрос и формировать соединение с этим url, который и будет отправлять на страницу поиска если бы мы ввели эту строку запрос в поисковом поле
для начала можно попробовать простую, но удобную штуку для автоматизации управления браузером Selenium
нужно установить webdriver (для chrome/firefox), а в java проект добавить зависимость
документации и примеров валом
по поводу кнпоки: обычно у кнопок есть фиксированный id у элементов на странице, нужно всего лишь почитать html исходник