Перейти к содержимому
Калькуляторы

Опубликована Процедура блокировки некошерной инфо

Всем доброго времени суток. Кто нибудь поправил скрипт от уважаемого tawer https://www.evernote...43-bc6db27fe919 , то что было предложено в данной ветке Andrei не работает или подскажите где косяк.

По тестовой ссылке отдаётся без параметра versionNum , поэтому возьмите работающий с первой версией скрипт и поправьте урл выгрузки на

"http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl"

 

UPDATE. Пардон, уточню - если спрашивать без параметра versionNum, то отдаётся тестовый реестр первой версии, если добавить к запросу строку "2.0", отдаётся тестовый реестр второй версии.

Изменено пользователем MATPOC

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Камрады, то ли лыжи не едут, то ли я...

 

Тягаю с тестового ( http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl ), указываю для sendRequest параметр 'versionNum' => '2', однако

<?xml version="1.0" encoding="windows-1251"?>
<reg:register updateTime="2014-02-02T12:00:00+04:00" updateTimeUrgently="2014-02-01T11:00:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru">
<content id="1101" includeTime="2013-12-01T10:00:05">
       <decision date="2013-12-01" number="9" org="Роспотребнадзор"/>
       <url><![CDATA[http://site1.com/index.php]]></url>
       <domain><![CDATA[site1.com]]></domain>
       <ip>1.1.1.1</ip>
   </content>
   <content id="1202" includeTime="2013-12-01T10:00:05">
       <decision date="2013-12-01" number="9" org="Мосгорсуд"/>
       <url><![CDATA[http://site2.com/page1.php]]></url>
       <url><![CDATA[http://site2.com/page2.php]]></url>
       <url><![CDATA[http://site2.com/page3.php]]></url>
       <domain><![CDATA[site2.com]]></domain>
       <ip>1.1.1.1</ip>
       <ip>1.1.1.2</ip>
   </content>
   <content id="1303" includeTime="2014-02-01T15:17:51" urgencyType="1">
       <decision date="2014-02-01" number="номер документа" org="Генпрокуратура"/>
       <url><![CDATA[http://site3.com/page1.html]]></url>
       <domain><![CDATA[site3.com]]></domain>
       <ip>1.2.3.4</ip>
   </content>
</reg:register>

Ни подсетей, ни formatVersion, хотя судя по вашим постам, вчера у всех отдавалось нормально..

 

Скажите, version2 доступна на этом API http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl ?

Параметр versionNum указывается для метода sendRequest же, не getResult?

Сейчас у вас дамп v.2 отдаётся? ( А то мало ли, может быть, они у себя что-то пилят )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

вроде норма, только что выдало как и ранее указывал в

http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=998379

 

...
API_URL = "http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl"
...
result=client.service.sendRequest(xml,sert,'2.0')
...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, подскажите, а при выгрузке в ручном режиме что надо менять? Или ничего не надо?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Приветствую, коллеги!

 

Вопрос по логике блокировке, а особенно по введению подсетей (ipSubnet). Получил тестовый список:

<?xml version="1.0" encoding="windows-1251"?>
<reg:register updateTime="2014-02-02T12:00:00+04:00" updateTimeUrgently="2014-02-01T11:00:00" formatVersion="2.0" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru">     
   <content id="1101" includeTime="2013-12-01T10:00:05" entryType="1">
       <decision date="2013-12-01" number="9" org="Роспотребнадзор"/>
       <url><![CDATA[http://site1.com/index.php]]></url>
       <domain><![CDATA[site1.com]]></domain>
       <ip>1.1.1.1</ip>
   </content>
   <content id="1202" includeTime="2013-12-01T10:00:05" entryType="2">
       <decision date="2013-12-01" number="9" org="Мосгорсуд"/>
       <url><![CDATA[http://site2.com/page1.php]]></url>
       <url><![CDATA[http://site2.com/page2.php]]></url>
       <url><![CDATA[http://site2.com/page3.php]]></url>
       <domain><![CDATA[site2.com]]></domain>
       <ip>1.1.1.1</ip>
       <ip>1.1.1.2</ip>
   </content>
   <content id="1303" includeTime="2014-02-01T15:17:51" urgencyType="1" entryType="3">
       <decision date="2014-02-01" number="номер документа" org="Генпрокуратура"/>
       <url><![CDATA[http://site3.com/page1.html]]></url>
       <domain><![CDATA[site3.com]]></domain>
       <ip>1.2.3.4</ip>
   </content>
   <content id="1404" includeTime="2014-02-01T16:19:32" entryType="4">
       <decision date="2014-02-01" number="номер документа" org="Роскомнадзор"/>
       <domain><![CDATA[site4.com]]></domain>
       <domain><![CDATA[site5.com]]></domain>
       <ip>1.2.3.4</ip>
       <ipSubnet>8.1.1.0/24</ipSubnet>
   </content>
<content id="1505" includeTime="2014-02-01T17:08:23" entryType="4">
       <decision date="2014-02-01" number="номер документа" org="Роскомнадзор"/>
       <ipSubnet>8.2.1.0/16</ipSubnet>
   </content>
</reg:register>

 

С первыми 4-мя записями всё понятно (хотя для меня было удивлением узнать, что одна запись может содержать несколько URL и IP, по которым нужно так же осуществлять блокировку).

А вот 5 запись имеет только ipSubnet. Получается, что нужно всю подсеть блокировать ?

 

Из информационного сообщения не совсем ясно:

1. Для каждой записи в выгрузке вводится обязательный атрибут entryType с типом
  реестровой записи в виде числового кода. Возможные значения:
          Код     Значение
          1       Реестр ЕАИС
          2       Реестр НАП
          3       Реестр 398-ФЗ
          4       Реестр 97-ФЗ, организаторы распространения информации
2. Вводится дополнительный тег ipSubnet для указания ip-подсети. Он располагается внутри
  тега content и имеет следующий вид (после символа «/» указывается количество бит,
  приходящихся на адрес сети):
         <ipSubnet>192.168.10.0/24</ipSubnet>
3. На уровне xsd-схемы теги url, domain, ip, ipSubnet становятся необязательными. Тем не
  менее, для записей типа entryType=1,2,3 сохраняется прежняя логика – в каждой записи
  всегда есть одно доменное имя, один или несколько указателей страниц сайтов и один
  или несколько сетевых адресов. Для записей типа entryType=4 обязательно будет
  присутствовать хотя бы один сетевой адрес либо хотя бы одна подсеть. Домены и
  указатели страниц сайтов для таких записей могут отсутствовать.

 

Получается, что записи entryType=4 могут иметь только IP или подсеть. Неужели нужно подсеть будет блокировать ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да. А почему вопрос возник?

 

Как мне показалось, странновато целую подсеть блокировать.

 

А если есть и IP и ipSubnet нужно блокировать и то и то ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как сказано в инструкции, так и блокировать.

Если указаны IP и подсеть, значит блокировать и то, и то.

Если вдруг по какой-то причине (по ошибке) в реестре окажется 0.0.0.0/0, значит придется все заблокировать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как сказано в инструкции, так и блокировать.

Если указаны IP и подсеть, значит блокировать и то, и то.

Если вдруг по какой-то причине (по ошибке) в реестре окажется 0.0.0.0/0, значит придется все заблокировать.

 

Спасибо за ответ.

Значит придётся допиливать ещё одну защиту от дурака.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В автоматическом режиме в выгрузке в заголовке отсутствует тэг formatVersion="2.0":

<?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-07-31T04:05:00+04:00" updateTimeUrgently="2014-07-29T16:52:00+04:00"  xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content ....

У всех пока так же? formatVersion="2.0" будет с 1 авг?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я так понимаю, что все предыдущие обсуждения с Роскомнадзором о неэффективности блокировки по IP адресам привели только к усугублению ситуации.

Поскольку теги domain, url являются необязательными, то вполне вероятно появление записей только с IP адресом или подсетью,

соответственно блокировку в этом случае надо осуществлять именно по ним.

Другими словами оператор обязан иметь технические возможности и осуществлять блокировку по всем трем критериям:

- наиболее специфично, отдельные страницы - по url

- целиком host по domain

- и наименее специфично по IP адресу/подсети

 

Жизнь продолжает становится все жестче х.я...

Изменено пользователем pers123

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть вопрос, как они будут сети определять? Брать AS хостера и загонять в список все, что в этой AS есть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интересно, в случае <ipSubnet>8.2.1.0/16</ipSubnet> блокировать весь трафик, на указанную подсеть или только http/https?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

MATPOCДолжно быть так ?

my @sendresult = $service->sendRequest(

$xmlreq,

$xmlreqsig,

"versionNum=2.0"

);

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

MATPOCДолжно быть так ?

my @sendresult = $service->sendRequest(

$xmlreq,

$xmlreqsig,

"versionNum=2.0"

);

 

my $versionNum = "2.0";
.....
my @sendresult = $service->sendRequest(
   	$xmlreq,
   	$xmlreqsig,
   	$versionNum
);

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть вопрос, как они будут сети определять? Брать AS хостера и загонять в список все, что в этой AS есть?

Никто не знает, каким образом Роскомнадзор выбирает IP адреса в соответствии с domainname, почему какие-то адреса попадают в реестр,

а какие-то, которые тоже спокойно резолвятся в DNS не попадают...

В этой же ветке была дискуссия по поводу того, резолвить ли имена в адреса самостоятельно или использоать только адреса реестра...

Та же история и с подсетями.

Изменено пользователем pers123

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я что то не соображу, как проверить что всё прошло удачно.

 

versionNum вписал, но дамп вроде б точно такой же.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Некто А.Неклюдов из роскомцензуры мне написал на эту тему:

 

Первое сообщение (http://vigruzki.rkn.gov.ru/docs/information.pdf) было предварительным, официальным документом по получению выгрузки является Памятка оператору связи (http://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf). Просим Вас внимательно изучить этот документ и выполнять получение выгрузки в соответствии с ним. В Приложении 2 есть описание методов веб-сервиса, для метода sendRequest описан параметр dumpFormatVersion, который должен принимать значение "1.0" или "2.0".

 

Я вот что-то никак не вставлю этот необязательный параметр dumpFormatVersion в свой SOAP запрос, пользую PHP SoapClient. Мне думается, что это баг SoapClient. У кого аналогичный есть трабл?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Допилил питоновый скрипт:

https://github.com/yegorov-p/python-zapret-info

 

Как-то так. Замечания/пожелания лучше на yegorov.p@гмаил отправлять, я форум очень редко читаю

Изменено пользователем yegorov-p

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

versionNum=2.0 работать не будет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хм, у меня он прямо вот сейчас работает.

 

Хм, у меня он прямо вот сейчас работает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И в ответах росцензуры есть атрибуты entryType, dumpFormatVersion и прочие новые появившиеся в 4.0?

 

в wsdl явно сказано:

 

<xsd:element name="requestFile" type="xsd:base64Binary"/>

<xsd:element name="signatureFile" type="xsd:base64Binary"/>

<xsd:element name="dumpFormatVersion" type="xsd:string" minOccurs="0"/>

 

Еще Прочитайте мое предыдущее сообщение

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

<xsd:element name="sendRequest">

<xsd:annotation>

<xsd:documentation>запрос на выгрузку реестра</xsd:documentation>

</xsd:annotation>

<xsd:complexType>

<xsd:sequence>

<xsd:element name="requestFile" type="xsd:base64Binary"/>

<xsd:element name="signatureFile" type="xsd:base64Binary"/>

<xsd:element name="dumpFormatVersion" type="xsd:string" minOccurs="0"/>

</xsd:sequence>

</xsd:complexType>

</xsd:element>

 

Как видите никакого versionNum тут нет и в помине.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.