Sergey Gilfanov Опубликовано 31 июля, 2014 · Жалоба Допилил питоновый скрипт: https://github.com/yegorov-p/python-zapret-info Как-то так. Замечания/пожелания лучше на yegorov.p@гмаил отправлять, я форум очень редко читаю Гитхаб же? Почему бы его инструментами не пользоваться? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MaLblsH Опубликовано 31 июля, 2014 · Жалоба Пока тоже 2.0 не могу получить - приходит в старом формате. Запрашиваю через PHP SoapClient. При этом если использовать тестовый сервис (http://vigruzki.rkn.gov.ru/services/OperatorRequestTest/?wsdl), то возвращает в новом формате. И если смотреть метод с тестового, то он идентичен: <xsd:element name="sendRequest"> <xsd:annotation> <xsd:documentation>запрос на выгрузку реестра</xsd:documentation> </xsd:annotation> <xsd:complexType> <xsd:sequence> <xsd:element name="requestFile" type="xsd:base64Binary"/> <xsd:element name="signatureFile" type="xsd:base64Binary"/> <xsd:element name="dumpFormatVersion" type="xsd:string" minOccurs="0"/> </xsd:sequence> </xsd:complexType> </xsd:element> Если выставлять dumpFormatVersion="1.0", то тестовая система возвращает по-старому. У меня подозрение, что они что-то не успели и пока отдают старую версию всегда. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 31 июля, 2014 (изменено) · Жалоба <xsd:element name="sendRequest"> <xsd:annotation> <xsd:documentation>запрос на выгрузку реестра</xsd:documentation> </xsd:annotation> <xsd:complexType> <xsd:sequence> <xsd:element name="requestFile" type="xsd:base64Binary"/> <xsd:element name="signatureFile" type="xsd:base64Binary"/> <xsd:element name="dumpFormatVersion" type="xsd:string" minOccurs="0"/> </xsd:sequence> </xsd:complexType> </xsd:element> Как видите никакого versionNum тут нет и в помине. Это так. Но в выгружаемых дампах у меня уже структура по новому стандарту: <?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-07-31T13:05:00+04:00" updateTimeUrgently="2014-07-29T16:52:00+04:00" formatVersion="2.0" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"> Допилил питоновый скрипт: https://github.com/yegorov-p/python-zapret-info Как-то так. Замечания/пожелания лучше на yegorov.p@гмаил отправлять, я форум очень редко читаю Гитхаб же? Почему бы его инструментами не пользоваться? Можно и так =) Изменено 31 июля, 2014 пользователем yegorov-p Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 31 июля, 2014 · Жалоба Я вот что-то никак не вставлю этот необязательный параметр dumpFormatVersion в свой SOAP запрос, пользую PHP SoapClient. Мне думается, что это баг SoapClient. У кого аналогичный есть трабл? Да, та же хрень :) Тоже подумалось, что это баг PHP, т.к. если сделать дамп $client->__getLastRequest(), то видно, что php даже не пытается вставить в формируемый xml этот параметр. Зато работает с перловым SOAP::Lite, если передать ему третьим параметром 'versionNum=2'. Сейчас перепиливаю всё своё на перле, один хрен давно собирался переделывать... Кстати, раз уж переписываю - как считаете, коллеги, нужно ли проверять на предмет _изменений_ записи (content), которые уже были ранее скачаны, распарсены и обработаны? Или любые изменения у них - только путём добавления новых записей происходят? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 31 июля, 2014 · Жалоба Кстати, раз уж переписываю - как считаете, коллеги, нужно ли проверять на предмет _изменений_ записи (content), которые уже были ранее скачаны, распарсены и обработаны? Или любые изменения у них - только путём добавления новых записей происходят? Да. Бывает изменение айпишников в пределах существующей записи реестра. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 31 июля, 2014 · Жалоба Да. Бывает изменение айпишников в пределах существующей записи реестра. Понятно. Уроды ;( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 31 июля, 2014 · Жалоба Почему уроды-то? Вам-то по сути какая разница? Получаете дамп, распарсиваете его, делаете что там нужно, всё. Вы ж не вручную адреса выпиливаете? =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 31 июля, 2014 · Жалоба Почему уроды-то? Вам-то по сути какая разница? Получаете дамп, распарсиваете его, делаете что там нужно, всё. Вы ж не вручную адреса выпиливаете? =) Гм. Я вручную делаю АЦЛ. Но его проще прибить и залить новый, чем сверять. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 31 июля, 2014 · Жалоба Почему уроды-то? Вам-то по сути какая разница? Получаете дамп, распарсиваете его, делаете что там нужно, всё. Вы ж не вручную адреса выпиливаете? =) Получил дамп; те записи, ID которых уже есть в базе - пропустил. А так, получается, нужно проверять все <content> на предмет того, есть ли изменения в дампе по сравнению со своей базой Предвидя следующее предложение: каждый раз всё имеющееся сносить и выдирать с нуля из дампа - тоже хреновый вариант, т.к. для многих урлов требуется ручное допиливание. Например, русские урлы в реестре приезжают как бог на душу положит, а всех их нужно приводить к какому-то единому формату. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
leonk Опубликовано 1 августа, 2014 · Жалоба Это так. Но в выгружаемых дампах у меня уже структура по новому стандарту: <?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-07-31T13:05:00+04:00" updateTimeUrgently="2014-07-29T16:52:00+04:00" formatVersion="2.0" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"> Значит SOAPServer отрабатывает и "versionNum" тоже. Но я б на всякий случай сделал как написано в протоколе. Предвидя следующее предложение: каждый раз всё имеющееся сносить и выдирать с нуля из дампа - тоже хреновый вариант, т.к. для многих урлов требуется ручное допиливание. Например, русские урлы в реестре приезжают как бог на душу положит, а всех их нужно приводить к какому-то единому формату. Я каждый раз перезаливаю в базу. Делал так изначально. А по поводу русских и несоответствия кодировок документу - в урну. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 1 августа, 2014 · Жалоба Сегодня 1 авг. Получил выгрузку в автоматическом режиме, указав versionNum = '2' В заголовке выгрузки по-прежнему ничего про версию выгрузки нет: <?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
saaremaa Опубликовано 1 августа, 2014 · Жалоба Сегодня 1 авг. Получил выгрузку в автоматическом режиме, указав versionNum = '2' Мы получаем уже новую версию, но не находим <ipSubnet> тега в ней. <reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2014-08-01T08:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" formatVersion="2.0"> <content id="347" Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
leonk Опубликовано 1 августа, 2014 · Жалоба Сегодня 1 авг. Получил выгрузку в автоматическом режиме, указав versionNum = '2' Мы получаем уже новую версию, но не находим <ipSubnet> тега в ней. <reg:register xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru" updateTime="2014-08-01T08:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" formatVersion="2.0"> <content id="347" ipSubnet повится только когда появятся записи с entryType=4, то есть по закону о блогах. Так как невидимая рука еще не решила какой блог блокировать первым ( может еще не придумала как вразумительно обосновать 3 тысячи загрузок) Странно, у меня теперь dumpFormatVersion появляется в SOAP-запросе. Вчера не было. Видимо что-то допилили. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
leonk Опубликовано 1 августа, 2014 · Жалоба Я был неприятно удивлен параметром ipSubnet. Все это не спроста, мне думается так: Так как блокировка по ip, url, domen оказалась не очень то действенной (потому что прокси, торы, vpn и т.д.), а еще к тому же web-ресурсы, такие как livejournal, twitter и прочие, блокируют по source ip - что опять таки обходится озвученными в скобках приемами, то они решили блочить все ip-адреса хост-провайдера или web-ресурса, тем самым они уронят ниже плинтуса российские рекламные доходы ресурсов, и тем ничего другого не останется как выпиливать ресурсы у себя, под Корень, для любых source ip. Из Зимбабве тоже! Если прошлые цензурные законы, боролись против страничек и их наполнителей, то теперь будут давить на владельцев железа и ресурсов, ведь те зарабатывают деньги. Экономические рычаги, согласитесь, гораздо действеннее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
stas_k Опубликовано 1 августа, 2014 · Жалоба они решили блочить все ip-адреса хост-провайдера или web-ресурса, тем самым они уронят ниже плинтуса российские рекламные доходы ресурсов, и тем ничего другого не останется как выпиливать ресурсы у себя, под Корень, для любых source ip. Из Зимбабве тоже!Если прошлые цензурные законы, боролись против страничек и их наполнителей, то теперь будут давить на владельцев железа и ресурсов, ведь те зарабатывают деньги. Экономические рычаги, согласитесь, гораздо действеннее. Не понял логики. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
apm Опубликовано 1 августа, 2014 · Жалоба leonk Ничего не изменилось, вам раньше могли передать 256 адресов, теперь дадут /24 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MaLblsH Опубликовано 1 августа, 2014 · Жалоба Сегодня 1 авг. Получил выгрузку в автоматическом режиме, указав versionNum = '2' В заголовке выгрузки по-прежнему ничего про версию выгрузки нет: <?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"... И всё таки - где в документации Вы увидели параметр versionNum = '2' ?? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alex_Sor Опубликовано 1 августа, 2014 · Жалоба Изменилось, теперь может придти /24 без указания URL, т.е. блокируем весь трафик на указанную подсеть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
leonk Опубликовано 1 августа, 2014 · Жалоба leonk Ничего не изменилось, вам раньше могли передать 256 адресов, теперь дадут /24 До сегодняшнего дня я ip даже не рассматривал, блочил URL. А в случае с entryNum=4, URL вообще нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
leonk Опубликовано 1 августа, 2014 · Жалоба Не понял логики. Пример, мне нужно что бы navalny.ru перестал существовать. А хостинг провайдер допустим закрыл по source ip. Но он открывается через опера-турбо. Тогда я добавляю сеть хостинга в блокировку. Все. Профит. Хостинг провайдер запрещает доступ всему миру к navalny.ru, потому что других русских клиентов на этой площадке иначе не будет. То есть navalny.ru должен будет переехать туда где нет российских денег. Но в современном связном мире вряд ли таких много найдется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
saaremaa Опубликовано 1 августа, 2014 · Жалоба IMHO. Применение <ipSubnet> как следствие поможет сократить число правил. А что до Навального - хотели бы закрыть давно бы закрыли. Борьба с "опера-турбо" и различными другими технологиями еще впереди.IMHO. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AdmSasha Опубликовано 1 августа, 2014 · Жалоба До сегодняшнего дня я ip даже не рассматривал, блочил URL. А в случае с entryNum=4, URL вообще нет. А https тоже по URL ?) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
leonk Опубликовано 1 августа, 2014 · Жалоба А https тоже по URL ?) Ничего не буду говорить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 1 августа, 2014 · Жалоба Сегодня 1 авг. Получил выгрузку в автоматическом режиме, указав versionNum = '2' В заголовке выгрузки по-прежнему ничего про версию выгрузки нет: <?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"... И всё таки - где в документации Вы увидели параметр versionNum = '2' ?? Некорректно написал - сорри. В заголовке выгрузки должно быть указано formatVersion="2.0" Вот тут http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=999498 человек поделился новым форматом выгрузки. Там есть formatVersion="2.0". У меня почему-то нет, хотя запрос выглядит так, как я указывал в http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=994624 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MaLblsH Опубликовано 1 августа, 2014 · Жалоба Сегодня 1 авг. Получил выгрузку в автоматическом режиме, указав versionNum = '2' В заголовке выгрузки по-прежнему ничего про версию выгрузки нет: <?xml version="1.0" encoding="windows-1251"?><reg:register updateTime="2014-08-01T04:05:00+04:00" updateTimeUrgently="2014-07-31T16:45:00+04:00" xmlns:reg="http://rsoc.ru" xmlns:tns="http://rsoc.ru"><content id="347"... И всё таки - где в документации Вы увидели параметр versionNum = '2' ?? Некорректно написал - сорри. В заголовке выгрузки должно быть указано formatVersion="2.0" Вот тут http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=999498 человек поделился новым форматом выгрузки. Там есть formatVersion="2.0". У меня почему-то нет, хотя запрос выглядит так, как я указывал в http://forum.nag.ru/forum/index.php?showtopic=79836&view=findpost&p=994624 try // попытаться произвести запрос на получение РЗС { // подключиться к веб-службе РЗС по протоколу SOAP $rzs = new SoapClient ($wsdl_url); // произвести запрос $response = $rzs -> sendRequest ( array ( 'requestFile' => $request, // запрос 'signatureFile' => $sign, // подпись 'dumpFormatVersion' => '2.0', // версия выгрузки ) ); // сохранить уникальный код запроса в отдельную переменную $request_code = $response -> code; } Вот таким запросом я получаю дамп formatVersion="2.0". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...