[Sergey Gilfanov]

Допилил питоновый скрипт:

https://github.com/yegorov-p/python-zapret-info

Как-то так. Замечания/пожелания лучше на yegorov.p@гмаил отправлять, я форум очень редко читаю

Гитхаб же? Почему бы его инструментами не пользоваться?

[MaLblsH]

Пока тоже 2.0 не могу получить - приходит в старом формате.

Запрашиваю через PHP SoapClient.

 

При этом если использовать тестовый сервис (http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl), то возвращает в новом формате.

 

И если смотреть метод с тестового, то он идентичен:

<xsd:element name="sendRequest">
<xsd:annotation>
<xsd:documentation>запрос на выгрузку реестра</xsd:documentation>
</xsd:annotation>
<xsd:complexType>
<xsd:sequence>
<xsd:element name="requestFile" type="xsd:base64Binary"/>
<xsd:element name="signatureFile" type="xsd:base64Binary"/>
<xsd:element name="dumpFormatVersion" type="xsd:string" minOccurs="0"/>
</xsd:sequence>
</xsd:complexType>
</xsd:element>

 

Если выставлять dumpFormatVersion="1.0", то тестовая система возвращает по-старому.

 

У меня подозрение, что они что-то не успели и пока отдают старую версию всегда.

[yegorov-p]

<xsd:element name="sendRequest">

<xsd:annotation>

<xsd:documentation>запрос на выгрузку реестра</xsd:documentation>

</xsd:annotation>

<xsd:complexType>

<xsd:sequence>

<xsd:element name="requestFile" type="xsd:base64Binary"/>

<xsd:element name="signatureFile" type="xsd:base64Binary"/>

<xsd:element name="dumpFormatVersion" type="xsd:string" minOccurs="0"/>

</xsd:sequence>

</xsd:complexType>

</xsd:element>

 

Как видите никакого versionNum тут нет и в помине.

Это так. Но в выгружаемых дампах у меня уже структура по новому стандарту:

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-07-31T13:05:00+04:00" updateTimeUrgently="2014-07-29T16:52:00+04:00" formatVersion="2.0" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru">

 

Допилил питоновый скрипт:

https://github.com/yegorov-p/python-zapret-info

Как-то так. Замечания/пожелания лучше на yegorov.p@гмаил отправлять, я форум очень редко читаю

Гитхаб же? Почему бы его инструментами не пользоваться?

Можно и так =)

Изменено 31 июля, 2014 пользователем yegorov-p

[Wingman]

Я вот что-то никак не вставлю этот необязательный параметр dumpFormatVersion в свой SOAP запрос, пользую PHP SoapClient. Мне думается, что это баг SoapClient. У кого аналогичный есть трабл?

 

Да, та же хрень :) Тоже подумалось, что это баг PHP, т.к. если сделать дамп $client->__getLastRequest(), то видно, что php даже не пытается вставить в формируемый xml этот параметр.

 

Зато работает с перловым SOAP::Lite, если передать ему третьим параметром 'versionNum=2'.

Сейчас перепиливаю всё своё на перле, один хрен давно собирался переделывать...

 

Кстати, раз уж переписываю - как считаете, коллеги, нужно ли проверять на предмет _изменений_ записи (content), которые уже были ранее скачаны, распарсены и обработаны? Или любые изменения у них - только путём добавления новых записей происходят?

[yegorov-p]

Кстати, раз уж переписываю - как считаете, коллеги, нужно ли проверять на предмет _изменений_ записи (content), которые уже были ранее скачаны, распарсены и обработаны? Или любые изменения у них - только путём добавления новых записей происходят?

Да. Бывает изменение айпишников в пределах существующей записи реестра.

[Wingman]

Да. Бывает изменение айпишников в пределах существующей записи реестра.

Понятно. Уроды ;(

[yegorov-p]

Почему уроды-то? Вам-то по сути какая разница? Получаете дамп, распарсиваете его, делаете что там нужно, всё. Вы ж не вручную адреса выпиливаете? =)

[ayf]

Почему уроды-то? Вам-то по сути какая разница? Получаете дамп, распарсиваете его, делаете что там нужно, всё. Вы ж не вручную адреса выпиливаете? =)

 

Гм. Я вручную делаю АЦЛ. Но его проще прибить и залить новый, чем сверять.

[Wingman]

Почему уроды-то? Вам-то по сути какая разница? Получаете дамп, распарсиваете его, делаете что там нужно, всё. Вы ж не вручную адреса выпиливаете? =)

Получил дамп; те записи, ID которых уже есть в базе - пропустил.

А так, получается, нужно проверять все <content> на предмет того, есть ли изменения в дампе по сравнению со своей базой

 

Предвидя следующее предложение: каждый раз всё имеющееся сносить и выдирать с нуля из дампа - тоже хреновый вариант, т.к. для многих урлов требуется ручное допиливание. Например, русские урлы в реестре приезжают как бог на душу положит, а всех их нужно приводить к какому-то единому формату.

[leonk]

Это так. Но в выгружаемых дампах у меня уже структура по новому стандарту:

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-07-31T13:05:00+04:00" updateTimeUrgently="2014-07-29T16:52:00+04:00" formatVersion="2.0" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru">

 

Значит SOAPServer отрабатывает и "versionNum" тоже. Но я б на всякий случай сделал как написано в протоколе.

 

Предвидя следующее предложение: каждый раз всё имеющееся сносить и выдирать с нуля из дампа - тоже хреновый вариант, т.к. для многих урлов требуется ручное допиливание. Например, русские урлы в реестре приезжают как бог на душу положит, а всех их нужно приводить к какому-то единому формату.

 

Я каждый раз перезаливаю в базу. Делал так изначально. А по поводу русских и несоответствия кодировок документу - в урну.

[Andrei]

Сегодня 1 авг.

Получил выгрузку в автоматическом режиме, указав versionNum = '2'

В заголовке выгрузки по-прежнему ничего про версию выгрузки нет:

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"...

[saaremaa]

Сегодня 1 авг.

Получил выгрузку в автоматическом режиме, указав versionNum = '2'

 

Мы получаем уже новую версию, но не находим <ipSubnet> тега в ней.

<reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2014-08-01T08:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" formatVersion="2.0">
<content id="347"

[leonk]

Сегодня 1 авг.

Получил выгрузку в автоматическом режиме, указав versionNum = '2'

 

Мы получаем уже новую версию, но не находим <ipSubnet> тега в ней.

<reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2014-08-01T08:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" formatVersion="2.0">
<content id="347"

 

ipSubnet повится только когда появятся записи с entryType=4, то есть по закону о блогах. Так как невидимая рука еще не решила какой блог блокировать первым ( может еще не придумала как вразумительно обосновать 3 тысячи загрузок)

 

Странно, у меня теперь dumpFormatVersion появляется в SOAP-запросе. Вчера не было. Видимо что-то допилили.

[leonk]

Я был неприятно удивлен параметром ipSubnet. Все это не спроста, мне думается так:

Так как блокировка по ip, url, domen оказалась не очень то действенной (потому что прокси, торы, vpn и т.д.), а еще к тому же web-ресурсы, такие как livejournal, twitter и прочие, блокируют по source ip - что опять таки обходится озвученными в скобках приемами, то они решили блочить все ip-адреса хост-провайдера или web-ресурса, тем самым они уронят ниже плинтуса российские рекламные доходы ресурсов, и тем ничего другого не останется как выпиливать ресурсы у себя, под Корень, для любых source ip. Из Зимбабве тоже!

Если прошлые цензурные законы, боролись против страничек и их наполнителей, то теперь будут давить на владельцев железа и ресурсов, ведь те зарабатывают деньги. Экономические рычаги, согласитесь, гораздо действеннее.

[stas_k]

они решили блочить все ip-адреса хост-провайдера или web-ресурса, тем самым они уронят ниже плинтуса российские рекламные доходы ресурсов, и тем ничего другого не останется как выпиливать ресурсы у себя, под Корень, для любых source ip. Из Зимбабве тоже!

Если прошлые цензурные законы, боролись против страничек и их наполнителей, то теперь будут давить на владельцев железа и ресурсов, ведь те зарабатывают деньги. Экономические рычаги, согласитесь, гораздо действеннее.

 

Не понял логики.

[apm]

leonk

 

Ничего не изменилось, вам раньше могли передать 256 адресов, теперь дадут /24

[MaLblsH]

Сегодня 1 авг.

Получил выгрузку в автоматическом режиме, указав versionNum = '2'

В заголовке выгрузки по-прежнему ничего про версию выгрузки нет:

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"...

 

И всё таки - где в документации Вы увидели параметр versionNum = '2' ??

[Alex_Sor]

Изменилось, теперь может придти /24 без указания URL, т.е. блокируем весь трафик на указанную подсеть.

[leonk]

leonk

 

Ничего не изменилось, вам раньше могли передать 256 адресов, теперь дадут /24

 

До сегодняшнего дня я ip даже не рассматривал, блочил URL. А в случае с entryNum=4, URL вообще нет.

[leonk]

Не понял логики.

 

Пример, мне нужно что бы navalny.ru перестал существовать. А хостинг провайдер допустим закрыл по source ip. Но он открывается через опера-турбо. Тогда я добавляю сеть хостинга в блокировку. Все. Профит. Хостинг провайдер запрещает доступ всему миру к navalny.ru, потому что других русских клиентов на этой площадке иначе не будет.

 

То есть navalny.ru должен будет переехать туда где нет российских денег. Но в современном связном мире вряд ли таких много найдется.

[saaremaa]

IMHO. Применение <ipSubnet> как следствие поможет сократить число правил. А что до Навального - хотели бы закрыть давно бы закрыли.

 

Борьба с "опера-турбо" и различными другими технологиями еще впереди.IMHO.

[AdmSasha]

До сегодняшнего дня я ip даже не рассматривал, блочил URL. А в случае с entryNum=4, URL вообще нет.

А https тоже по URL ?)

[leonk]

А https тоже по URL ?)

Ничего не буду говорить.

[Andrei]

Сегодня 1 авг.

Получил выгрузку в автоматическом режиме, указав versionNum = '2'

В заголовке выгрузки по-прежнему ничего про версию выгрузки нет:

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"...

 

И всё таки - где в документации Вы увидели параметр versionNum = '2' ??

Некорректно написал - сорри. В заголовке выгрузки должно быть указано formatVersion="2.0"

Вот тут http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=999498 человек поделился новым форматом выгрузки. Там есть formatVersion="2.0". У меня почему-то нет, хотя запрос выглядит так, как я указывал в http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=994624

[MaLblsH]

Сегодня 1 авг.

Получил выгрузку в автоматическом режиме, указав versionNum = '2'

В заголовке выгрузки по-прежнему ничего про версию выгрузки нет:

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"...

 

И всё таки - где в документации Вы увидели параметр versionNum = '2' ??

Некорректно написал - сорри. В заголовке выгрузки должно быть указано formatVersion="2.0"

Вот тут http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=999498 человек поделился новым форматом выгрузки. Там есть formatVersion="2.0". У меня почему-то нет, хотя запрос выглядит так, как я указывал в http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=994624

 

 

   try // попытаться произвести запрос на получение РЗС
   {
       // подключиться к веб-службе РЗС по протоколу SOAP
       $rzs = new SoapClient ($wsdl_url);
       // произвести запрос
       $response = $rzs -> sendRequest
       (
            array
            (
               'requestFile'   => $request,    // запрос
               'signatureFile' => $sign,       // подпись
               'dumpFormatVersion' => '2.0',   // версия выгрузки
            )
       );
       // сохранить уникальный код запроса в отдельную переменную
       $request_code = $response -> code;
   }

 

Вот таким запросом я получаю дамп formatVersion="2.0".