[Antares]

22 минуты назад, khraponov сказал:

добрый день,

залейте пожалуйста на FTP:

 

ftp://91.235.245.120

rkn

12AS34er$

недосупен

[khraponov]

40 минут назад, Antares сказал:

недосупен

исправил ip ограничения

Изменено 26 июля, 2018 пользователем khraponov
Спасибо

[Antares]

Теперь только через дней 10 смогу скинуть, уехал отдыхать. Вроде ещё один человек вызывался помочь, обратись к нему

[YuryD]

2018 - хоть любой почасовой дамп в зипе от ркн. Пишите в личку.

[Andrei]

В 26.07.2018 в 15:25, khraponov сказал:

исправил ip ограничения

все равно не работает

[default_vlan]

В 27.07.2018 в 19:35, YuryD сказал:

2018 - хоть любой почасовой дамп в зипе от ркн.

Они сейчас взялись за мониторинг распространения этой инфы. Так что аккуратнее)

[YuryD]

9 часов назад, default_vlan сказал:

Они сейчас взялись за мониторинг распространения этой инфы. Так что аккуратнее)

 На основании чего ? Грифа на реестре вроде нету, никаких бамаг о неразглашении вроде тоже не подписывал... Может человеку надо память проверить, как доказательство - чужая выгрузка не годится. РКН докажет из своих логов, что от человека не забиралось.

[default_vlan]

21 час назад, YuryD сказал:

На основании чего ?

На основании того, что они нарушают целостность реестра. Ваш реестр и мой на конкретный момент времени будет иметь одинаковое количество записей, но разное их содержимое. Также, различным будет реестр у крупных и мелких операторов связи. 

 

21 час назад, YuryD сказал:

Грифа на реестре вроде нету, никаких бамаг о неразглашении вроде тоже не подписывал...

Ну что вы как маленький? Нет - значит придумают. Не зря же рядовому пользователю не дают доступ к реестру)

[st_re]

2 часа назад, default_vlan сказал:

На основании того, что они нарушают целостность реестра. Ваш реестр и мой на конкретный момент времени будет иметь одинаковое количество записей, но разное их содержимое. Также, различным будет реестр у крупных и мелких операторов связи. 

Схерали ?? Вы это сами придумали ?

 

Ну и даже если разный, я вот  не знаю никого, кто бы чтото подписывал о "неразглашении" или какогото закона, запрещающего разглашать и наказания за такое разглашение.. Тут разве что можно косвенно притянуть "поделился ссылкой на запрещенный ресурс"..

[alibek]

6 минут назад, st_re сказал:

Ну и даже если разный

Да не разный, это уже кто-то фантазирует.

Все операторы получают один и тот же реестр, подписанный ЭЦП РКН.

Я подозреваю, что серверные мощности РКН просто не вытянут нагрузки, чтобы для каждого оператора формировать свой экземпляр реестра.

[default_vlan]

5 минут назад, alibek сказал:

это уже кто-то фантазирует.

Конкретно ту статью я не нашел, но есть такая - ТЫЦ 

[alibek]

Меньше читайте всякую ерунду.

Какой практический смысл делать две версии выгрузки?

Есть только два разумных варианта — общая выгрузка и индивидуальная выгрузка (что позволит отслеживать использование выгрузки), все остальные промежуточные варианты это фантазии любителей теорий заговоров.

Индивидуальная выгрузка технически возможна (например хеши записей могут "подсаливаться" индивидуально для каждого оператора), но это огромное увеличение нагрузки без какой-либо практической пользы.

[default_vlan]

13 минут назад, alibek сказал:

но это огромное увеличение нагрузки без какой-либо практической пользы.

Если придерживаться теории заговора, то для начала можно сделать 8 различных выгрузок - по федеральным округам РФ. Дальнейший поиск "сливателя", думаю, понятен.

[alibek]

51 минуту назад, default_vlan сказал:

для начала можно сделать 8 различных выгрузок

Какой в этом практический смысл?

Ну допустим нашелся оператор "Телеграм-Телеком", у которого один абонент (приостановивший вдобавок услуги), который получает выгрузку в соответствии с требованиями лицензии. И который полученную выгрузку где-нибудь публикует.

Дальше что?

[default_vlan]

18 минут назад, alibek сказал:

Дальше что?

Административку могут завести. 

[alibek]

Ну-ну. За что именно?

[default_vlan]

9 минут назад, alibek сказал:

За что именно?

У меня друга в отдел к пограничникам забрали за то, что ему сейчас 35 лет, а в паспорте фото 20 летнего юноши. В 35 лет у него трое детей и жена, которая раскормила его до 100 кг. В паспорте - задохлик, без слез не посмотришь. Говорят, что не похож в паспорте сам на себя и все тут.

К чему я.

 

К тому, что долго придумать за что именно? Эта инфа предоставляется только по ЭЦП. Простому смертному список ЦП и прочего закрыт, чтобы не лезли туда, куда низя. И по-вашему эта инфа не охраняется?)

Изменено 31 июля, 2018 пользователем default_vlan

[alibek]

1 час назад, default_vlan сказал:

К тому, что долго придумать за что именно? Эта инфа предоставляется только по ЭЦП. Простому смертному список ЦП и прочего закрыт, чтобы не лезли туда, куда низя. И по-вашему эта инфа не охраняется?)

Да, тут все запущено всерьез.

ЭЦП это не гриф секретности. Это всего лишь подтверждение аутентичности сообщения, не более того.

 

Но вообще-то я под «дальше что» подразумевал не приезд чорного грузовика с надписью «Хлеб».

Я спрашивал, что должен делать РКН, когда наконец обнаружит, что какой-то оператор публикует полученную выгрузку из реестра.

Он должен подсовывать этому оператору пустую или ложную выгрузку (заверенную ЭЦП), а потом штрафовать за неблокировку запрещенных сайтов и блокировку незапрещенных?

[st_re]

34 минуты назад, default_vlan сказал:

У меня друга в отдел к пограничникам забрали за то, что ему сейчас 35 лет, а в паспорте фото 20 летнего юноши. В 35 лет у него трое детей и жена, которая раскормила его до 100 кг. В паспорте - задохлик, без слез не посмотришь. Говорят, что не похож в паспорте сам на себя и все тут.

К чему я.

 

К тому, что долго придумать за что именно? Эта инфа предоставляется только по ЭЦП. Простому смертному список ЦП и прочего закрыт, чтобы не лезли туда, куда низя. И по-вашему эта инфа не охраняется?)

 

Эээ.. если дальше рассуждать, то докопаться можно и до столба. Сидите дома и на форумах более не пишите, а то пришьют вам использование букв А и Г (или не дай бог Л) и посадють на 100000 лет.

 

А остальным можно расслабиться, покуда подписки о нерглашении или другого чего законного, запрещающего распространение нет.

 

8 минут назад, alibek сказал:

 

Он должен подсовывать этому оператору пустую или ложную выгрузку (заверенную ЭЦП), а потом штрафовать за неблокировку запрещенных сайтов и блокировку незапрещенных?

Если выгрузка будет подписана ЭЦП, то сложновато будет оштрафовать то.... вот что выдали, то и зафильтровали'с.... 

[Urs_ak]

У мну с позавчера скрипт забора реестра сломался.

Это у меня версия старая или у всех пока сломалось?

Запуск модуля работы с ЕАИС ЕРДИ
- Срок действия ключа: 2019-04-28
# Обработка запроса (каталог 20180801-2000)
  - формирование запроса (файл /srv/erdi/data/20180801-2000/dbg-getLastDumpDateEx.xml)...
  - отправка запроса getLastDumpDateEx на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)...
-:6: parser error : Opening and ending tag mismatch: hr line 5 and body
</body>
       ^
-:7: parser error : Opening and ending tag mismatch: body line 3 and html
</html>
       ^
-:8: parser error : Premature end of data in tag html line 1
* Сервер не отвечает, повторная попытка (1)...
  - отправка запроса getLastDumpDateEx на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)...
-:6: parser error : Opening and ending tag mismatch: hr line 5 and body
</body>
       ^
-:7: parser error : Opening and ending tag mismatch: body line 3 and html
</html>
       ^
-:8: parser error : Premature end of data in tag html line 1
! Сервер не отвечает, работа прекращена

 

P.S. кстати вчера был момент когда один раз забрало успешно, а потом опять ошибки

[alibek]

Не должно быть таких ошибок.

У меня скрипт работает исправно, последние ошибки такие:

2018-06-04 08:31:02 [pid 27937]: getResult (#***): Таймаут (число попыток: 7)
2018-06-08 20:03:02 [pid 22294]: getLastDumpDateEx: Нет данных
2018-06-14 01:31:02 [pid 21861]: getResult (#***): Таймаут (число попыток: 7)
2018-06-29 13:31:06 [pid 8660]: getResult (#***): Таймаут (число попыток: 7)
2018-07-07 01:33:03 [pid 23841]: getResult (#***): Таймаут (число попыток: 7)
2018-07-10 22:08:10 [pid 22055]: getResult (#***): Сервер не отвечает
2018-07-10 22:15:17 [pid 22055]: getResult (#***): Сервер не отвечает

Даже возникновение таких ошибок сомнительно — возвращаться должен XML, а в листинге присутствует HTML.

Вот полный лог у меня за тот же период (вчера, 20:00):

2018-08-01 20:01:01 [pid 30270]: - Срок действия ключа: 2019-05-22
2018-08-01 20:01:01 [pid 30270]: # Обработка запроса (каталог 20180801-2001)
2018-08-01 20:01:01 [pid 30270]:   - формирование запроса (файл /srv/erdi/data/20180801-2001/dbg-getLastDumpDateEx.xml)...
2018-08-01 20:01:01 [pid 30270]:   - отправка запроса getLastDumpDateEx на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)...
2018-08-01 20:01:01 [pid 30270]: + Дата обновления ЕРДИ: 2018-08-01 19:53:00 (срочное)
2018-08-01 20:01:01 [pid 30270]: + Версия сервиса 3.1, версия дампа 2.3, версии модуля 2.3
2018-08-01 20:01:01 [pid 30270]: - Предыдущий запуск: 2018-08-01 19:01:01 (3600 секунд)
2018-08-01 20:01:01 [pid 30270]: # Выполняется срочное обновление
2018-08-01 20:01:01 [pid 30270]: # Запрос на получение выгрузки ЕРДИ (версия 2.3)
2018-08-01 20:01:01 [pid 30270]:   - формирование XML-запроса...
2018-08-01 20:01:01 [pid 30270]:   - подписание XML-запроса...
2018-08-01 20:01:01 [pid 30270]:   - формирование запроса (файл /srv/erdi/data/20180801-2001/dbg-sendRequest.xml)...
2018-08-01 20:01:01 [pid 30270]:   - отправка запроса sendRequest на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)...
2018-08-01 20:01:01 [pid 30270]: + Идентификатор запроса: #31xxxxxxxxxxxxxx2875e3xxxx3c746a
2018-08-01 20:01:01 [pid 30270]: # Постановка запроса в очередь
2018-08-01 20:01:01 [pid 30270]: - Сохранение текущего статуса...
2018-08-01 20:01:01 [pid 30270]: - Пауза (300) перед повтором...
2018-08-01 20:06:01 [pid 30270]: # Обработка очереди (итерация 1)
2018-08-01 20:06:01 [pid 30270]:   - времени прошло: 300
2018-08-01 20:06:01 [pid 30270]: # Определение статуса запроса (версия 2.3)
2018-08-01 20:06:01 [pid 30270]:   - рабочий каталог: 20180801-2001
2018-08-01 20:06:01 [pid 30270]:   - идентификатор: 31xxxxxxxxxxxxxx2875e3xxxx3c746a
2018-08-01 20:06:01 [pid 30270]:   - формирование запроса (файл /srv/erdi/data/20180801-2001/dbg-getResult-001.xml)...
2018-08-01 20:06:01 [pid 30270]:   - отправка запроса getResult на сервер (http://vigruzki.rkn.gov.ru/services/OperatorRequest/)...
2018-08-01 20:06:04 [pid 30270]: - Суточный счетчик: 21
2018-08-01 20:06:04 [pid 30270]: + Файл /srv/erdi/data/20180801-2001/dump.zip
2018-08-01 20:06:04 [pid 30270]: + Формат: 2.3, получатель: ***
2018-08-01 20:06:04 [pid 30270]: # Обработка результатов запроса #31xxxxxxxxxxxxxx2875e3xxxx3c746a
2018-08-01 20:06:04 [pid 30270]: - Распаковка архива /srv/erdi/data/20180801-2001/dump.zip
2018-08-01 20:06:05 [pid 30270]: - Извлечение ЭЦП...
2018-08-01 20:06:08 [pid 30270]: + ЭЦП подтверждает подлинность реестра
2018-08-01 20:06:08 [pid 30270]: - Форматирование XML-файла...
2018-08-01 20:06:11 [pid 30270]: - Извлечение информации из реестра...
2018-08-01 20:06:14 [pid 30270]: - Сохранение реестра в /srv/erdi/dump/dump-20180801-195300.xml
2018-08-01 20:06:14 [pid 30270]: # Сводка по текущему реестру:
2018-08-01 20:06:16 [pid 30270]:   - количество IP-адресов: 256420 / 24680
2018-08-01 20:06:18 [pid 30270]:   - количество доменов: 63883
2018-08-01 20:06:21 [pid 30270]:     - из них с маской: 3083
2018-08-01 20:06:23 [pid 30270]:   - количество записей: 109833
2018-08-01 20:06:23 [pid 30270]: # Сравнение с предыдущей версией (dump-20180801-185500.xml)
2018-08-01 20:06:26 [pid 30270]: + Дамп от 20180801-195300 - изменения зафиксированы в /srv/erdi/dump/dump-20180801-195300.diff
2018-08-01 20:06:28 [pid 30270]: - Архивирую предыдущий дамп /srv/erdi/dump/dump-20180801-185500.xml

 

[st_re]

1 час назад, alibek сказал:

Даже возникновение таких ошибок сомнительно — возвращаться должен XML, а в листинге присутствует HTML.

 

А если там 502 ? (тут в параллельных тредах на 502 активно жалуются.)

[alibek]

Скрипт подобные ошибки обрабатывает.

Если curl возвращает не 0, это считается ошибкой, фиксируется в логе и затем делается повторная попытка.

А если, согласно листинга, после вызова getLastDumpDateEx скрипт не записал в лог ошибку, а попытался обработать полученный результат, значит сервер вернул 200 с содержимым, только в содержимом почему-то вместо XML оказался HTML.

 

Хотя нет, есть возможность ошибки.

Urs_ak, попробуйте строку:

"${ERDI_CURL}" ${ERDI_CURL_OPTS} --data-binary @"$REQ" "${ERDI_URL}" | xmllint --format - >"$RES"

заменить на:

"${ERDI_CURL}" ${ERDI_CURL_OPTS} --data-binary @"$REQ" "${ERDI_URL}" >"$RES"

Ошибку может выдавать xmllint, безуспешно пытаясь отформатировать XML.

На работу скрипта он никак не влияет, просто красиво форматирует XML, поэтому его можно без каких-либо проблем убрать, зато по крайней мере можно будет в сохраненном файле dbg-getLastDumpDateEx-Response.xml увидеть, что возвращает сервер и почему там HTML.

[Urs_ak]

Заменил в двух местах

for RETRY in `seq "${ERDI_RETRY:-1}"`; do
    print "  - отправка запроса getLastDumpDateEx на сервер (${ERDI_URL})..."
    "${ERDI_CURL}" ${ERDI_CURL_OPTS} --data-binary @"$REQ" "${ERDI_URL}" >"$RES"
...
for RETRY in `seq "${ERDI_RETRY:-1}"`; do
    print "  - отправка запроса sendRequest на сервер (${ERDI_URL})..."
    "${ERDI_CURL}" ${ERDI_CURL_OPTS} --data-binary @"$REQ" "${ERDI_URL}" >"$RES"

вроде всё хорошо

 

Спасибо большое!

[alibek]

4 минуты назад, Urs_ak сказал:

вроде всё хорошо

Просто теперь в логи не будут сыпаться такие ошибки.

Но если и в самом деле возвращается HTML, то скрипт работать не будет — он извлекает из XML необходимые для дальнейшей работы данные.

Нужно просмотреть содержимое файлов dbg-*-Response.xml, в которых будут сохранены ответы сервера, чтобы понять, почему сервер возвращает ерунду.