Страницы

Поиск по вопросам

среда, 27 марта 2019 г.

Парсинг сайта на Java после всех манипуляций с javascript

Можно ли каким-нибудь образом спарсить всю страницу так, чтобы все элементы создаваемые/изменяемые javascript'ом были видны после загрузки страницы? И была возможность запускать эти скрипты с параметрами. Объясню, допустим есть на сайте текстовое поле с id="itemname" и кнопка с id="submit". Я к примеру пишу
Element field = getElementById("itemname"); Element button =getElementById("submit "); field.setText("Кофта"); button.press();
И он мне выводит javascript генерированный документ. То есть это тоже самое как я например зашёл в интернет магазин, в поле поиск (С id itemname) написал "Кофта" и нажал кнопку (С id submit)
Создавать WebView и по координатам кликать мне кажется не правильное решение. Ещё где-то видел библиотеку (Не помню как она называется, вроде начинается на 'S'), но мне кажется - это не то, что нужно мне.
Либо авторизация в всплывающем окне то же по такому же принципу без протокола :javascript
Если кто-то не понял, например. Я пишу программу на Java, которая будет уведомлять меня в трее Windows что на мой ruSO пришел новый ответ. Новый ответ должен парситься из значка вверху сайта (Если нету пустой, если есть то добавляется новый класс к DOMу значка --не знаю как сделано на этом сайте, все примерно--). Но чтобы узнать есть ли у меня сообщения, программа должна скормить серверу мой логин и пароль через JS, а после, в отрендеренной странице, найти те самые значки.


Ответ

То что я искал называется Headless browser, то есть браузер без визуализации. Для java есть htmlunit. Ссылка на список "Безглавых браузеров" на enSo

Комментариев нет:

Отправить комментарий