[alibek]

Два дня назад дамп достиг того размера, что libxml с дефолтными настройками перестал с ним справляться.

Можно конечно пересобрать xmlstarlet и xmllint с увеличенным буфером, но я сделал по другому, я перед обработкой вырезаю ноду registerZipArchive.

 

Обновленный загрузчик дампов в аттаче.

Предполагается его распаковка в /srv (т.е. базовым каталогом будет /srv/erdi).

 

Каталоги:

./data/ - каталог, куда складывается вся активность скриптов (запросы, ответы, дампы).

./dump/ - каталог, куда складываются обработанные дампы и диффы.

./key/ - каталог, куда складываются ЭЦП оператора в PKCS#12.

./run/ - каталог, где скрипт сохраняет свое состояние.

 

Скрипты:

./erdi-key-update.sh - обновить ЭЦП (берется последняя версия из key/, экспортируется в PEM).

./erdi-clean.sh - очистка устаревших данных из data/ (старше 2 месяцев) и dump/ (старше полугода), можно поставить запуск по расписанию раз в сутки.

./erdi-request.sh - основной скрипт, можно поставить запуск по расписанию раз в час.

В erdi-request.sh в строках со 124 по 127 (функция erdi_request) необходимо указать свои реквизиты.

Скрипт каждый раз формирует актуальный запрос и подписывает его ЭЦП. Если это по какой-то причине не подходит (например почему-то боязно хранить закрытый ключ на сервере), то можно модифицировать функцию erdi_request, используя в ней всегда уже сформированный и подписанный запрос (переменные XML и SIG).

Скрипт форматирует XML в более читаемый вид с помощью xmllint, если это не нужно или глючит, его можно убрать.

В файлах lib-*.inc настраиваются пути и параметры работы.

 

P.S. В erdi-request.sh затесалась отладочная строчка cp "$RES" tmp.

Она ничем особо не мешает, но лучше ее удалить.

erdi.tar.gz

[snik_1900]

А кто как борется с newcamd525://host:port ?

Блочить на роутеоре по IP:порт мне не очень нравится.

[disappointed]

А кто как борется с newcamd525://host:port ?

Блочить на роутеоре по IP:порт мне не очень нравится.

Айпишник блекхолить.

[snik_1900]

A squid как отнесётся к протоколу newcamd525 ?

[Tosha]

A squid как отнесётся к протоколу newcamd525 ?

Скорее всего кодом ошибки. Т.е. работать не будет, но именно это и нужно.

Интересно а как ревизор их проверяет кто-нибудь смотрел?

[NX_BIT]

alibek

Просмотрел у себя, все Вашим софтом выгружается без проблем, в том числе за указанные числа.

[alibek]

Видимо у вас библиотека libxml2 была собрана с увеличенным буфером.

Скрипт я немного переделал, более таких проблем быть не должно.

[NX_BIT]

alibek

Устанавливал все штатно, без изменений конфигураций.

[yegorov-p]

s3.amazonaws.com почти забанили?

https://yadi.sk/i/n0d0a_IrshvxG

[Tosha]

s3.amazonaws.com почти забанили?

В выгрузке s3.amazonaws.com нет

[MATPOC]

В выгрузке s3.amazonaws.com нет

Вчера было. Сегодня ночью исключили из списка.

[yegorov-p]

Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН?

[alibek]

Я бы не экспериментировал.

В законе прописана процедура, как оператор связи должен получать выгрузку из реестра. "Одолжил у другого провайдера" там нет.

Такое может сработать в нештатных ситуациях, когда у оператора сломался свой механизм получения выгрузки и РКН готов пойти навстречу.

А в других случаях РКН скажет, что все операторы равны и свои обязательства должны выполнять самостоятельно.

[Ranger_cb]

Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН?

Это не будет отмазкой как мне сказали в РКН. По закону будет оштрафован тот оператор на сети которого обнаружат нарушение.

[NX_BIT]

alibek

Добрый День.

Сейчас перестало работать даже с обновленным загрузчиком.

 

- отправка запроса getResult на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)...

./erdi-request.sh: line 229: : команда не найдена

./erdi-request.sh: line 235: : команда не найдена

/srv/erdi/data/20160630-1449/dbg-getResult-002-Response.xml:2: error: xmlSAX2Characters: huge text node: out of memory

bft2eKW0nTF+v995iNY/jvjMtyNN/pP/9ddf46glPuKipQnr5LyWp6G7tn07vN/vPETrH0d85tuRJv/J

^

/srv/erdi/data/20160630-1449/dbg-getResult-002-Response.xml:2: parser error : Extra content at the end of the document

bft2eKW0nTF+v995iNY/jvjMtyNN/pP/9ddf46glPuKipQnr5LyWp6G7tn07vN/vPETrH0d85tuRJv/J

^

* Сервер не отвечает (код 0), повторная попытка (1)...

- отправка запроса getResult на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)...

updt:

Закоментировал 229 и 235 строки "registrziparhive", результат тот же.

[Галушко Дмитрий]

Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН?

Это не будет отмазкой как мне сказали в РКН. По закону будет оштрафован тот оператор на сети которого обнаружат нарушение.

Но этот Оператор будет вправе переадресовать штраф Аплинку, который не блокировал, при наличии договора между ними.

[alibek]

NX_BIT, у меня скрипт работает.

У меня есть подозрение, что скрипт был обновлен не полностью.

Потому что у меня строка 229 - это строка "if [ -e "$ZIP" ]; then", в ней не может быть ошибки "команда не найдена".

Скорее всего эта ошибка выдается при вызове ${ERDI_SED}, а эта переменная прописана в файле lib-websvc.inc (ERDI_SED="/bin/sed").

Так что либо lib-websvc.inc не обновлен, либо sed находится по другому адресу (посмотреть можно командой which sed).

[NX_BIT]

alibek

Да, извиняюсь, обновил на тот момент только реквест, сейчас все в порядке, спасибо.

[Ranger_cb]

Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН?

Это не будет отмазкой как мне сказали в РКН. По закону будет оштрафован тот оператор на сети которого обнаружат нарушение.

Но этот Оператор будет вправе переадресовать штраф Аплинку, который не блокировал.

Точно, давайте валить на магистральных провайдеров - А что это вы не заблокировали за нас?

Изменено 6 июля, 2016 пользователем Ranger_cb

[snik_1900]

А может кто знает где брать поля: "Реестровый номер", "Дата создания реестровой записи" и "Категория запрещенной информации" в excel'евском файле по которому идет проверка? Надоело клянчить у РКН. Решил сам написать парсер.

[alibek]

В дампе ведь все есть.

[snik_1900]

В дампе ведь все есть.

А чуть по конкретнее? Какие тэги?

[snvoronkov]

А чуть по конкретнее? Какие тэги?

"Реестровый номер" -> <content id="XXXX">

"Дата создания реестровой записи" -> <content includeTime="XXXX-XX...">

"Категория запрещенной информации" -> <content entryType="X">

[snik_1900]

"Реестровый номер" -> <content id="XXXX">

"Дата создания реестровой записи" -> <content includeTime="XXXX-XX...">

"Категория запрещенной информации" -> <content entryType="X">

 

<content id="XXXX"> Идентификатор в выгрузке, что не одно и то же с реестровым номером

<content includeTime="XXXX-XX..."> Дата включения сетевого адреса в реестр, а не Дата создания реестровой записи

<content entryType="X"> Тип реестра, а не "Категория запрещенной информации"

Изменено 13 июля, 2016 пользователем snik_1900

[snvoronkov]

snik_1900, ну, тогда сами. Берете xls за нужную дату и сравниваете с дампом. У мну xls нету.