alibek Опубликовано 16 июня, 2016 · Жалоба Два дня назад дамп достиг того размера, что libxml с дефолтными настройками перестал с ним справляться. Можно конечно пересобрать xmlstarlet и xmllint с увеличенным буфером, но я сделал по другому, я перед обработкой вырезаю ноду registerZipArchive. Обновленный загрузчик дампов в аттаче. Предполагается его распаковка в /srv (т.е. базовым каталогом будет /srv/erdi). Каталоги: ./data/ - каталог, куда складывается вся активность скриптов (запросы, ответы, дампы). ./dump/ - каталог, куда складываются обработанные дампы и диффы. ./key/ - каталог, куда складываются ЭЦП оператора в PKCS#12. ./run/ - каталог, где скрипт сохраняет свое состояние. Скрипты: ./erdi-key-update.sh - обновить ЭЦП (берется последняя версия из key/, экспортируется в PEM). ./erdi-clean.sh - очистка устаревших данных из data/ (старше 2 месяцев) и dump/ (старше полугода), можно поставить запуск по расписанию раз в сутки. ./erdi-request.sh - основной скрипт, можно поставить запуск по расписанию раз в час. В erdi-request.sh в строках со 124 по 127 (функция erdi_request) необходимо указать свои реквизиты. Скрипт каждый раз формирует актуальный запрос и подписывает его ЭЦП. Если это по какой-то причине не подходит (например почему-то боязно хранить закрытый ключ на сервере), то можно модифицировать функцию erdi_request, используя в ней всегда уже сформированный и подписанный запрос (переменные XML и SIG). Скрипт форматирует XML в более читаемый вид с помощью xmllint, если это не нужно или глючит, его можно убрать. В файлах lib-*.inc настраиваются пути и параметры работы. P.S. В erdi-request.sh затесалась отладочная строчка cp "$RES" tmp. Она ничем особо не мешает, но лучше ее удалить. erdi.tar.gz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 17 июня, 2016 · Жалоба А кто как борется с newcamd525://host:port ? Блочить на роутеоре по IP:порт мне не очень нравится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
disappointed Опубликовано 19 июня, 2016 · Жалоба А кто как борется с newcamd525://host:port ? Блочить на роутеоре по IP:порт мне не очень нравится. Айпишник блекхолить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 20 июня, 2016 · Жалоба A squid как отнесётся к протоколу newcamd525 ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 20 июня, 2016 · Жалоба A squid как отнесётся к протоколу newcamd525 ? Скорее всего кодом ошибки. Т.е. работать не будет, но именно это и нужно. Интересно а как ревизор их проверяет кто-нибудь смотрел? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NX_BIT Опубликовано 22 июня, 2016 · Жалоба alibek Просмотрел у себя, все Вашим софтом выгружается без проблем, в том числе за указанные числа. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 22 июня, 2016 · Жалоба Видимо у вас библиотека libxml2 была собрана с увеличенным буфером. Скрипт я немного переделал, более таких проблем быть не должно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NX_BIT Опубликовано 22 июня, 2016 · Жалоба alibek Устанавливал все штатно, без изменений конфигураций. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 22 июня, 2016 · Жалоба s3.amazonaws.com почти забанили? https://yadi.sk/i/n0d0a_IrshvxG Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tosha Опубликовано 23 июня, 2016 · Жалоба s3.amazonaws.com почти забанили? В выгрузке s3.amazonaws.com нет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MATPOC Опубликовано 23 июня, 2016 · Жалоба В выгрузке s3.amazonaws.com нет Вчера было. Сегодня ночью исключили из списка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 26 июня, 2016 · Жалоба Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 26 июня, 2016 · Жалоба Я бы не экспериментировал. В законе прописана процедура, как оператор связи должен получать выгрузку из реестра. "Одолжил у другого провайдера" там нет. Такое может сработать в нештатных ситуациях, когда у оператора сломался свой механизм получения выгрузки и РКН готов пойти навстречу. А в других случаях РКН скажет, что все операторы равны и свои обязательства должны выполнять самостоятельно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ranger_cb Опубликовано 28 июня, 2016 · Жалоба Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН? Это не будет отмазкой как мне сказали в РКН. По закону будет оштрафован тот оператор на сети которого обнаружат нарушение. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NX_BIT Опубликовано 30 июня, 2016 · Жалоба alibek Добрый День. Сейчас перестало работать даже с обновленным загрузчиком. - отправка запроса getResult на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)... ./erdi-request.sh: line 229: : команда не найдена ./erdi-request.sh: line 235: : команда не найдена /srv/erdi/data/20160630-1449/dbg-getResult-002-Response.xml:2: error: xmlSAX2Characters: huge text node: out of memory bft2eKW0nTF+v995iNY/jvjMtyNN/pP/9ddf46glPuKipQnr5LyWp6G7tn07vN/vPETrH0d85tuRJv/J ^ /srv/erdi/data/20160630-1449/dbg-getResult-002-Response.xml:2: parser error : Extra content at the end of the document bft2eKW0nTF+v995iNY/jvjMtyNN/pP/9ddf46glPuKipQnr5LyWp6G7tn07vN/vPETrH0d85tuRJv/J ^ * Сервер не отвечает (код 0), повторная попытка (1)... - отправка запроса getResult на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)... updt: Закоментировал 229 и 235 строки "registrziparhive", результат тот же. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Галушко Дмитрий Опубликовано 30 июня, 2016 · Жалоба Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН? Это не будет отмазкой как мне сказали в РКН. По закону будет оштрафован тот оператор на сети которого обнаружат нарушение. Но этот Оператор будет вправе переадресовать штраф Аплинку, который не блокировал, при наличии договора между ними. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 30 июня, 2016 · Жалоба NX_BIT, у меня скрипт работает. У меня есть подозрение, что скрипт был обновлен не полностью. Потому что у меня строка 229 - это строка "if [ -e "$ZIP" ]; then", в ней не может быть ошибки "команда не найдена". Скорее всего эта ошибка выдается при вызове ${ERDI_SED}, а эта переменная прописана в файле lib-websvc.inc (ERDI_SED="/bin/sed"). Так что либо lib-websvc.inc не обновлен, либо sed находится по другому адресу (посмотреть можно командой which sed). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NX_BIT Опубликовано 1 июля, 2016 · Жалоба alibek Да, извиняюсь, обновил на тот момент только реквест, сейчас все в порядке, спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ranger_cb Опубликовано 6 июля, 2016 (изменено) · Жалоба Коллеги, возник теоретический вопрос. Допустим, существует оператор связи. Он гарантированно выгружает реестр, с пруфами, логами и так далее. Он готов подписывать договора с другими провайдерами о том, что он будет делиться реестром с этими провайдерами. Правильно ли я понимаю, что эти договора будут универсальной отмазкой от РКН? Это не будет отмазкой как мне сказали в РКН. По закону будет оштрафован тот оператор на сети которого обнаружат нарушение. Но этот Оператор будет вправе переадресовать штраф Аплинку, который не блокировал. Точно, давайте валить на магистральных провайдеров - А что это вы не заблокировали за нас? Изменено 6 июля, 2016 пользователем Ranger_cb Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 13 июля, 2016 · Жалоба А может кто знает где брать поля: "Реестровый номер", "Дата создания реестровой записи" и "Категория запрещенной информации" в excel'евском файле по которому идет проверка? Надоело клянчить у РКН. Решил сам написать парсер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 13 июля, 2016 · Жалоба В дампе ведь все есть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 13 июля, 2016 · Жалоба В дампе ведь все есть. А чуть по конкретнее? Какие тэги? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 13 июля, 2016 · Жалоба А чуть по конкретнее? Какие тэги? "Реестровый номер" -> <content id="XXXX"> "Дата создания реестровой записи" -> <content includeTime="XXXX-XX..."> "Категория запрещенной информации" -> <content entryType="X"> Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snik_1900 Опубликовано 13 июля, 2016 (изменено) · Жалоба "Реестровый номер" -> <content id="XXXX"> "Дата создания реестровой записи" -> <content includeTime="XXXX-XX..."> "Категория запрещенной информации" -> <content entryType="X"> <content id="XXXX"> Идентификатор в выгрузке, что не одно и то же с реестровым номером <content includeTime="XXXX-XX..."> Дата включения сетевого адреса в реестр, а не Дата создания реестровой записи <content entryType="X"> Тип реестра, а не "Категория запрещенной информации" Изменено 13 июля, 2016 пользователем snik_1900 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 13 июля, 2016 · Жалоба snik_1900, ну, тогда сами. Берете xls за нужную дату и сравниваете с дампом. У мну xls нету. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...