[Andrei]

http://vigruzki.rkn.gov.ru/docs/information.pdf

Тут вроде написано

...Для автоматизированного получения выгрузки в новом формате будет модифицирован веб-сервис– для метода sendRequest будет введен новый необязательный параметр versionNum.

Если этот параметр не указан, либо указано значение versionNum=1, то будет возвращаться выгрузка

в текущем формате, которая будет содержать данные только по реестрам 1 -3. При указании

versionNum =2 будет возвращаться выгрузка в новом формате, со держащая данные по всем реестрам. В течение некоторого времени (1 - 2 месяца) будет поддерживаться предоставление выгрузки как в старом, так и в новом формате

...

[snvoronkov]

Пробовал отдать в xml структуре запроса,

в sendRequest[0] начинает возвращаться false.

Может быть имеется ввиду обращаться к /OperatorRequest?wsdl&versionNum=1 ?

http://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf

 

sendRequest
Метод предназначен для направления запроса на получение выгрузки из реестра

Входные параметры
Наименование параметра      Описание                               Формат           Обязательность
requestFile                Содержимое файла запроса                base64Binary     +
signatureFile              Электронная подпись файла запроса       base64Binary     +

 

Я понял, что вот СЮДА надо будет добавить еще один параметр.

[MATPOC]

Может быть имеется ввиду обращаться к /OperatorRequest?wsdl&versionNum=1 ?

Ошибку выдаёт

 

Matroc как ты сделал??

 

Я использую перловый скрипт, предложенный в этой ветке. Просто добавил ещё один параметр к запросу:

 

my $versionNum = "2.0";
$service->sendRequest($xmlreq, $xmlreqsig, $versionNum");

 

Но пока приходят ответы в старом формате. И сегодня обнаружил, что РКН ввёл некую защиту от DDoS'а - отдаёт код только через час после предыдущего запроса.

Изменено 31 июля, 2014 пользователем MATPOC

[YuryD]

Я использую перловый скрипт, предложенный в этой ветке. Просто добавил ещё один параметр к запросу:

 

 $service->sendRequest($xmlreq, $xmlreqsig, "versionNum=2");

 

Но пока приходят ответы в старом формате. И сегодня обнаружил, что РКН ввёл некую защиту от DDoS'а - отдаёт код только через час после предыдущего запроса.

 

Про час - не подтверждаю. По крону запрос, через полчаса - ответ, всё проходит.

[Tem]

А как допилить питоновский скрипт забора реестра ?

[MATPOC]

И сегодня обнаружил, что РКН ввёл некую защиту от DDoS'а - отдаёт код только через час после предыдущего запроса.

 

Про час - не подтверждаю. По крону запрос, через полчаса - ответ, всё проходит.

 

Я говорил о частых запросах реестра. А не о стандартной схеме посылка запроса-получение выгрузки.

[StSphinx]

Вдруг кому будет интересна моя поделка для получения данных реестра.

https://github.com/apofiget/some_stuff

Написано на Erlang. Фич реквесты принимаются :)

[Ansy]

А как допилить питоновский скрипт забора реестра ?

+1, ибо пользуем!

[ZeM2008]

Есть скрипт https://www.evernote.com/shard/s185/sh/ceb0b021-47e7-4c61-ab43-bc6db27fe919/c535b6e5047ec69d304519fe81c2c9ac/res/aa9ea6c4-1284-4dce-a74e-42963a7925a3/rzs.zip от ув. tawer отписал ему может допилит под новые веяния.

Изменено 21 июля, 2014 пользователем ZeM2008

[Andrei]

Есть скрипт https://www.evernote.com/shard/s185/sh/ceb0b021-47e7-4c61-ab43-bc6db27fe919/c535b6e5047ec69d304519fe81c2c9ac/res/aa9ea6c4-1284-4dce-a74e-42963a7925a3/rzs.zip от ув. tawer отписал ему может допилит под новые веяния.

Если это по мотивам https://www.evernote.com/shard/s185/sh/ceb0b021-47e7-4c61-ab43-bc6db27fe919/c535b6e5047ec69d304519fe81c2c9ac?noteKey=c535b6e5047ec69d304519fe81c2c9ac&noteGuid=ceb0b021-47e7-4c61-ab43-bc6db27fe919 то поиском найти ключевое слово sendRequest и кусок кода "вокруг этого слова" :) поправить до вида:

    $sign = read_file ($sign_path, -2);
   $versionNum = '2';

   try // попытаться произвести запрос на получение РЗС.
   {
       // подключиться к веб-службе РЗС по протоколу SOAP..
       $rzs = new SoapClient ($wsdl_url);
       // произвести запрос
       $response = $rzs -> sendRequest
       (
            array
            (
               'requestFile'   => $request,    // запрос
               'signatureFile' => $sign,       // подпись
               'versionNum' => $versionNum,    // версия реестра
            )
       );
       // сохранить уникальный код запроса в отдельную переменную
       $request_code = $response -> code;
   }

[varney]

Используем питоновский скрипт Pavla Yegorova

Как понимаю еще новой версии нема. Через ручную выгрузку ответ тот же.

Для получения выгрузки в ручном режиме будет модифицирована веб-форма подачи запроса на выгрузку – будет добавлено указание версии выгрузки. По умолчанию будет устанавливаться версия 2

Изменено 21 июля, 2014 пользователем varney

[Sergey Gilfanov]

Это напрямую к web-у не относится, но изучая 'исходники' письма на gmail, увидел строчки:

Received: from forward10l.mail.yandex.net (forward10l.mail.yandex.net. [2a02:6b8:0:1819::a])

by mx.google.com with ESMTPS id dj3si4821026lac.55.2014.07.22.23.28.15

for <inkelyad@gmail.com>

(version=TLSv1.2 cipher=ECDHE-RSA-AES128-GCM-SHA256 bits=128/128);

Tue, 22 Jul 2014 23:28:15 -0700 (PDT)

Те ipv6. У вас все эти скрипты и системы блокирования этот самый ipv6 понимают? А то ведь внедрят так, что никто не заметит.

[MATPOC]

В "суде" жгут. Добавили урл вида:

 

.......game.info?play1309

 

Естественно, мой парсер, который отделяет домен от остального пути по первому встретившемуся слэшу, этот урл вообще не понял... И SCE приняла этот урл как родной, но браузеры приводят такой урл к стандартному виду, как следствие, SCE этот урл не блокирует.

 

Ну что за ё, каждый чих надо проверять и прикручивать индивидуальные обработчики.

Изменено 23 июля, 2014 пользователем MATPOC

[Graffic]

Используем питоновский скрипт Pavla Yegorova

Как понимаю еще новой версии нема. Через ручную выгрузку ответ тот же.

Для получения выгрузки в ручном режиме будет модифицирована веб-форма подачи запроса на выгрузку – будет добавлено указание версии выгрузки. По умолчанию будет устанавливаться версия 2

 

В zapretinfo.py нужно поменять api url (пока тестовый)

API_URL = "http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl"

 

И добавить

result=client.service.sendRequest(xml,sert,'2.0')

[Tem]

Спасибо

Чет пока поля subnets не вижу

<content id="950" includeTime="2014-04-30T16:50:11" urgencyType="1" entryType="3">

<decision date="2014-04-09" number="vk.com" org="��������������"/>

<url><![CDATA[http://vk.com?id=777]]></url>

<domain><![CDATA[vk.com]]></domain>

<ip>95.213.4.203</ip>

<ip>87.240.131.120</ip>

<ip>87.240.143.241</ip>

<ip>87.240.131.99</ip>

<ip>95.213.4.205</ip>

<ip>87.240.131.118</ip>

<ip>87.240.131.97</ip>

<ip>95.213.4.204</ip>

<ip>87.240.131.117</ip>

</content>

 

[Ansy]

Чет пока поля subnets не вижу

Дык вот же ж...

<domain><![CDATA[skype.com]]></domain><ipSubnet>9.2.1.0/24</ipSubnet>

[stas_k]

 

Дык вот же ж...

 

<domain><![CDATA[skype.com]]></domain><ipSubnet>9.2.1.0/24</ipSubnet>

Эээ? скайп? в реестре?

[Tem]

Чет пока поля subnets не вижу

Дык вот же ж...

<domain><![CDATA[skype.com]]></domain><ipSubnet>9.2.1.0/24</ipSubnet>

В упор не вижу у себя в реестре, забираю с тестового сервера v2

[MATPOC]

Чет пока поля subnets не вижу

Дык вот же ж...

<domain><![CDATA[skype.com]]></domain><ipSubnet>9.2.1.0/24</ipSubnet>

Толсто. whois...

[Ansy]

Так, поправочка наверное в логику zapretinfo.py

По второму варианту ПОКА приходит далеко НЕ ВЕСЬ РЕЕСТР, а лишь малая его часть (и вместо подписи в архиве тоже реестр -- но этот явный глюк наверняка скоро поправят).

Следовательно, тупо ИСПРАВИТЬ скрипт нельзя, надо форкнуть дополнительную тестовую версию, с другими именами файлов (причем изменения внести и в ваш главный обработчик реестра, и в сопутствующий файлик zapret_checker.py (в заголовках, после from zapretinfo).

 

А то, пока вторую версию тестируем -- без основного рабочего реестра останемся...

 

Чет пока поля subnets не вижу

Дык вот же ж...

<domain><![CDATA[skype.com]]></domain><ipSubnet>9.2.1.0/24</ipSubnet>

В упор не вижу у себя в реестре, забираю с тестового сервера v2

В КАКОМ ИМЕННО реестре?

Если ПОСЛЕ ОБРАБОТКИ, то мож и нету (потому что поле по-другому называется).

Я смотрю в полученном архиве, прямо в XML-файле -- там есть.

А это точно тестовая РАБОЧАЯ вырезка? Мож просто для примера записи включили, неактуальные? Потому что насчет skype.com сомнения однако...

[Tem]

Все, разобрался, смотрел последние несколько записей, а они без этого поля. Врезка точно левая, ибо там такой бред написан , что просто жесть )

[varney]

Огромное спасибо всем ответившим и в особенности Graffic & Ansy.

закинули в крон две версии, пока у них все не устаканится и закон не вступит в полную силу.

[Tem]

Ну все, видать допилили шаблон:

<?xml version="1.0" encoding="windows-1251"?>
<reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2014-02-02T12:00:00+04:00" updateTimeUrgently="2014-02-01T11:00:00" formatVersion="2.0">
 <content id="1101" includeTime="2013-12-01T10:00:05" entryType="1">
   <decision date="2013-12-01" number="9" org="Роспотребнадзор"/>
   <url><![CDATA[http://site1.com/index.php]]></url>
   <domain><![CDATA[site1.com]]></domain>
   <ip>1.1.1.1</ip>
 </content>
 <content id="1202" includeTime="2013-12-01T10:00:05" entryType="2">
   <decision date="2013-12-01" number="9" org="Мосгорсуд"/>
   <url><![CDATA[http://site2.com/page1.php]]></url>
   <url><![CDATA[http://site2.com/page2.php]]></url>
   <url><![CDATA[http://site2.com/page3.php]]></url>
   <domain><![CDATA[site2.com]]></domain>
   <ip>1.1.1.1</ip>
   <ip>1.1.1.2</ip>
 </content>
 <content id="1303" includeTime="2014-02-01T15:17:51" urgencyType="1" entryType="3">
   <decision date="2014-02-01" number="номер документа" org="Генпрокуратура"/>
   <url><![CDATA[http://site3.com/page1.html]]></url>
   <domain><![CDATA[site3.com]]></domain>
   <ip>1.2.3.4</ip>
 </content>
 <content id="1404" includeTime="2014-02-01T16:19:32" entryType="4">
   <decision date="2014-02-01" number="номер документа" org="Роскомнадзор"/>
   <domain><![CDATA[site4.com]]></domain>
   <domain><![CDATA[site5.com]]></domain>
   <ip>1.2.3.4</ip>
   <ipSubnet>8.1.1.0/24</ipSubnet>
 </content>
 <content id="1505" includeTime="2014-02-01T17:08:23" entryType="4">
   <decision date="2014-02-01" number="номер документа" org="Роскомнадзор"/>
   <ipSubnet>8.2.1.0/16</ipSubnet>
 </content>
</reg:register>

[ros-maksim]

Ну все, видать допилили шаблон:

<?xml version="1.0" encoding="windows-1251"?>
<reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2014-02-02T12:00:00+04:00" updateTimeUrgently="2014-02-01T11:00:00" formatVersion="2.0">
 <content id="1101" includeTime="2013-12-01T10:00:05" entryType="1">
   <decision date="2013-12-01" number="9" org="Роспотребнадзор"/>
   <url><![CDATA[http://site1.com/index.php]]></url>
   <domain><![CDATA[site1.com]]></domain>
   <ip>1.1.1.1</ip>
 </content>
.. 
..
</reg:register>

Такой же скачал сегодня реестр... 1 версия скачивается нормальная...

Изменено 29 июля, 2014 пользователем ros-maksim

[apathy]

Всем доброго времени суток. Кто нибудь поправил скрипт от уважаемого tawer https://www.evernote.com/shard/s185/sh/ceb0b021-47e7-4c61-ab43-bc6db27fe919/c535b6e5047ec69d304519fe81c2c9ac?noteKey=c535b6e5047ec69d304519fe81c2c9ac&noteGuid=ceb0b021-47e7-4c61-ab43-bc6db27fe919 , то что было предложено в данной ветке Andrei не работает или подскажите где косяк.