Как получить содержимое страницы, которая грузится через AJAX?

#php #ajax #angularjs #http #парсер

                    
Получить содержимое страницы на PHP.
Раньше я делал это достаточно легко через file_get_contents( $url ). Но на одном
сайте список товаров грузится ajax-om, точнее ангуляром.
    То есть если открыть такую страницу в браузере, у вас будет крутиться лоадер
и через некоторе время появятся товары.

Функция file_get_contents( $url ) получает сырой код, то есть типа



 {{tovari.name}}





Как получить обработанное( загруженное ) содержимое страницы?
    

Ответы

Ответ 1

Попробуйте подключиться через curl к нужной странице, должно сработать, например:

$curl = curl_init(); 
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_HEADER, false);
curl_setopt($curl, CURLOPT_FAILONERROR, 1); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($curl, CURLOPT_POST, false);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);                              
          
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

$data = curl_exec($curl)
curl_close($curl);


Ответ 2

Вам может помочь phantomjs.
Через метод evaluate вы получите контекст загруженной страницы, а дальше можете либо
качать всю страницу, либо весь арсенал JS селекторов у вас в руках. Пример взят с офф.
сайта:



var webPage = require('webpage');
var page = webPage.create();

page.open('http://m.bing.com', function(status) {

  var title = page.evaluate(function() {
    return document.title;
  });

  console.log(title);
  phantom.exit();

});


Ответ 3

С помощью библиотеки CURL это возможно. Недавно сайт парсил где все на ajax и с библиотекой
jQuery. Так если парсишь с помощью curl и потом выводим в браузер, то будет все криво,
потому-что клиент в данный момент CURL(сервер), а не Вы. Кроссдоменный запрос не прокатит
поэтому нужно взять к примеру библиотеку Simple HTMLDOM

$curl = curl_init();
 curl_setopt($curl, CURLOPT_FAILONERROR, 1);
 curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // allow redirects
 curl_setopt($curl, CURLOPT_TIMEOUT, 10); // times out after 4s
 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // return into a variable
 curl_setopt($curl, CURLOPT_URL, "https://ya.ru/");
 curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1;
ru; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 GTB6");
 curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
 curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
$data = curl_exec($curl);


Выводить $data не нужно. Всё, ваш клиент (сервер) получил страницу. Теперь скачиваем
http://simplehtmldom.sourceforge.net/ И есть инструкция например здесь http://zubuntu.ru/php-simple-html-dom-parser/
То есть нам нужно продолжить так:

$html=str_get_html($data);
$result=$html->find(div.spisok span); //получаем массив 


Дальше его перебираем. 

foreach ($result as $one){
   echo $one; //можем уже выводить то, что нашли
}


По такому принципу ищем данные, перебираем их. Важно точно определить "координаты"
данных.


Ответ 4

Ну тут же все тоже самое загружаете инструмент разработчика , в любом браузере .
В хроме и ему подобных (опера , яндекс , рамблер итд) он встроеный в мозиле firebug 
смотрите что грузится у вас после загрузки страницы , берете этот url подставляете
свои параметры и тем же file_get_contents качаете контент


Ответ 5

В хроме я использую расширение https://chrome.google.com/webstore/detail/quick-source-viewer/cfmcghennfbpmhemnnfjhkdmnbidpanb?utm_source=chrome-app-launcher-info-dialog

После загрузки страницы и отработки скриптов можно посмотреть результат со всеми
изменениями.