Парсинг. На запрос от сайта отдает ответ, а через cURL нет

#php #curl

Сильно увлекаюсь темой парсингом динамических сайтов. Наткнулся на интересный ресурс.
Решил его пропарсить. В Chrome на вкладке Network посмотрел куда идет запрос, там оказывается
он идет через GET. Я скопировал ссылку запроса - перешел на нее - в итоге ответ 403
- мне данные не выдает.

Тогда я скопировал этот запрос: Copy -> Copy as cURL (bash) с куками и тд (все как
в браузере)
И импортировал этот запрос в Postman, попытался выполнить - но в ответ получаю все
ту же 403.

Стало еще интереснее. Хотелось бы разгадать этот ребус. Возможно там создается какая-то
метка... или еще что-то.

Буду благодарен за любую помощь!
Очень бы хотелось получить больше опыта в парсинге подобных ресурсов.

Ссылка на динамическую страницу которую пытаюсь парсить: ссылка

Ссылка куда идет запрос с Network: ссылка
    

Ответы

Ответ 1

Я провел експеримент и определил минимальный набор данных чтоб запрос проходил:


Cookie
Referer
User-agent


Вот этот код работает у меня.