Как спарсить gismeteo ?

[Urs_ak]

Задачка для студента - как спарсить gismeteo через curl ? :)

 

$ curl https://www.gismeteo.ru/weather-moscow-4368/now/
curl: (92) HTTP/2 stream 1 was not closed cleanly: PROTOCOL_ERROR (err 1)

 

$ curl https://www.gismeteo.ru/weather-moscow-4368/now/ --http1.1
curl: (52) Empty reply from server
 

 

[alibek]

Подбирать useragent, куки и т.п. Периодически отслеживая изменения на серверной стороне и обновляя парсер.

Или за небольшую оплату использовать API (https://www.gismeteo.ru/api/)  .

[yandrey]

Взять прямо из браузера строку curl, инструменты разработчика > сеть > копировать как cURL, скорее всего, там достаточно accept заголовков

 

В 12.05.2022 в 13:31, alibek сказал:

обновляя парсер.

задача на минуту, там в коде страницы с прошлого года есть json с данными

[Urs_ak]

В 12.05.2022 в 11:07, yandrey сказал:

Взять прямо из браузера строку curl, инструменты разработчика > сеть > копировать как cURL, скорее всего, там достаточно accept заголовков

А, точно-точно. Я видел такое давно в инструментах разработчика, но мне тогда не надо было