[stas_k]

Вот, кстати, уже не фантазии, а живой пример.

я так и сказал - обычный хостер тупо выключит весь сервер.

еще хорошо что hetzner научился abuse передавать клиенту ДО отключения.

раньше они по любому чиху вначале отключали, потом, после обращения в их саппорт, передавали.

 

Это - нормальная (общепринятая и ожидаемая) реакция на abuse. Просто так получилось что в твоем примере оказалось СМИ.

 

Сколько таких сайтов с лоллипорнографией было прикрыто по abuse от полиции какого либо государства?

Что же тогда то вой не поднимали, когда сайт зарегистрированный на жителя голландии, с доменом зарегистрированным на туземных островах прикрывался по жалобе полиции североамериканского континента?

 

Кроме того, что там картинки раздетых детей, тут картинки мужчин одетых в зеленое - ситуация 1:1.

[Sergey Gilfanov]

Кроме того, что там картинки раздетых детей, тут картинки мужчин одетых в зеленое - ситуация 1:1.

Я подозреваю, что разница в том, что на территории расположения хостера картинки раздетых детей тоже УК не любит. Потому на сообщения чужой полиции

и реагировали. Чтобы потом своя не пришла и не помахала бумажками перед носом 'как это, не знали?'.

[stas_k]

Да нет никакой разницы. На правильный адрес электронной почти пришло письмо на английском или немецком языке с абузой на любую тему.

 

Соответствует это письмо УК германии, УК РФ, или просто жалоба что идет флуд на NTP или DNS сервер - совершенно не важно.

 

Хостер среагировал.

 

ayf и alibek с чего то решили, что:

 

Что хостер знает русский язык.

Что хостер будет разбираться со структурой сайта клиента (одного из десятка тысяч клиентов).

Что хостер знаком с используемой CMS системой.

Что хостер обладает (логинами и паролями) правами администратора этого сайта.

Что хостер удалит одну страничку на русском языке.

 

Всё ради 12,90 евро в месяц.

[apog]

Сделал сразу после коннекта `set names utf8`, попробуйте сейчас

Да, теперь с кириллицей порядок, по крайней мере в таблице zap2_records.

Добавил опцию

Спасибо. И, да, удачного отпуска, коллега.

Изменено 14 августа, 2014 пользователем apog

[apog]

Сейчас выключил debug и вот теперь:

Character in 'C' format wrapped in pack at /usr/lib/perl5/Net/DNS.pm line 530

Таких строк несколько десятков вываливается. С включенным debug не замечал их потому как там и так слишком много всего выводилось в STDOUT.

[Wingman]

Сейчас выключил debug и вот теперь:

Character in 'C' format wrapped in pack at /usr/lib/perl5/Net/DNS.pm line 530

Таких строк несколько десятков вываливается. С включенным debug не замечал их потому как там и так слишком много всего выводилось в STDOUT.

 

99%, что это проблемы с доменами латицицей. Если сильно мешают варнинги - обновите таки перл, у меня (v5.16.3) не ругается

[ayf]

Да нет никакой разницы. На правильный адрес электронной почти пришло письмо на английском или немецком языке с абузой на любую тему.

 

Соответствует это письмо УК германии, УК РФ, или просто жалоба что идет флуд на NTP или DNS сервер - совершенно не важно.

 

Хостер среагировал.

 

ayf и alibek с чего то решили, что:

 

Что хостер знает русский язык.

Что хостер будет разбираться со структурой сайта клиента (одного из десятка тысяч клиентов).

Что хостер знаком с используемой CMS системой.

Что хостер обладает (логинами и паролями) правами администратора этого сайта.

Что хостер удалит одну страничку на русском языке.

 

Всё ради 12,90 евро в месяц.

 

Странно, а выше вы сами пишете про порносайты. Вы уж определитесь, разбирается хостер в содержимом или нет:)

[lcgc]

интересно

а давно ли дамп подписывается через корневой серт Ростелеком-а ???

[NeXuSs]

Ребят, вот такая ошибка вылезает:

DEBUG: Last dump date:  1406930960
DEBUG: Last action:     getResult
DEBUG: Last code:       25ff77c0d152d7544ba2f72a95cbff50
DEBUG: Last result:     got
DEBUG: Checking dump date...
Use of uninitialized value $result[0] in pattern match (m//) at ./zapret.pl line 226.
Can't get lastDumpDateEx!

Где что у меня может не хватать для нормальной работы данного скрипта?

Код в области 226 строки:

sub getLastDumpDate
{
   my $soap= SOAP::Lite->service( $api_url );
   my @result = $soap->getLastDumpDateEx();
   if( $result[0] !~ /^(\d+)$/ ) {     <----- строка 226 
       print "Can't get lastDumpDateEx!";
       print Dumper(@result);
       exit;
   } else {
       my $stamp = $result[0] / 1000;
       return $stamp;
   }
}

Изменено 25 августа, 2014 пользователем NeXuSs

[snvoronkov]

Оберните SOAP-объект в eval с обработкой ошибок:

 

my @result;
eval{ @result = $soap->getLastDumpDateEx(); };
if( $@ ){
   die "Error in getLastDumpDateEx: $@";
}

[kravt]

Подскажите по блокировке. Например lostfilm.tv На сайте eais.rkn.gov.ru его нет в реестре, но в выгрузке для операторов есть и url и домен. Как быть с его блокировкой ?

[Tem]

Он есть вот тут

http://nap.rkn.gov.ru/reestr/

но вводить надо урл целиком http://www.lostfilm.tv/details.php?id=4141

[NeXuSs]

snvoronkov

Спасибо большое, вчера скрипт отработал!

Сегодня почему-то пишет такое:

./zapret.pl
DEBUG: Last dump date:  1408970641
DEBUG: Last action:     getLastDumpDate
DEBUG: Last code:       98693ecb66c43c8c0c720854318fc2ab
DEBUG: Last result:     err
DEBUG: Checking dump date...
Use of uninitialized value $result[0] in division (/) at ./zapret.pl line 239.
DEBUG: RKN last dump date: 0
DEBUG: lastDumpDate <= prev. dump date. Exiting.

 

Да он вобще каждый раз разные ошибки выдает :(

 

Подскажите пожалуйста, этот скрипт нужно запускать с какими-то параметрами? Или просто в кроне zapret.pl и все?

Изменено 26 августа, 2014 пользователем NeXuSs

[snvoronkov]

snvoronkov

Спасибо большое, вчера скрипт отработал!

Сегодня почему-то пишет такое:

./zapret.pl
DEBUG: Last dump date:  1408970641
DEBUG: Last action:     getLastDumpDate
DEBUG: Last code:       98693ecb66c43c8c0c720854318fc2ab
DEBUG: Last result:     err
DEBUG: Checking dump date...
Use of uninitialized value $result[0] in division (/) at ./zapret.pl line 239.
DEBUG: RKN last dump date: 0
DEBUG: lastDumpDate <= prev. dump date. Exiting.

 

Да он вобще каждый раз разные ошибки выдает :(

 

Подскажите пожалуйста, этот скрипт нужно запускать с какими-то параметрами? Или просто в кроне zapret.pl и все?

 

Ух... Телепаты-ж, как обычно, в отпуске. :-)))

 

Вы хоть кусок скрипта покажите или автора сюда кастуйте, если из треда взяли.

(У меня сильно моими шаловливыми ручёнками покарежен за почти два года.)

[NeXuSs]

Извиняюсь, просто запарился я с этим делом.

Вот кусок кода в той области:

sub getLastDumpDate
{
   my $soap= SOAP::Lite->service( $api_url );


   my @result;
   eval{ @result = $soap->getLastDumpDateEx(); };
   if( $@ ){
       die "Error in getLastDumpDateEx: $@";
#    }

#    my @result = $soap->getLastDumpDateEx();
#    if( $result[0] !~ /^(\d+)$/ ) {
#       print "Can't get lastDumpDateEx!";
#       print Dumper(@result);
       exit;
   } else {
       my $stamp = $result[0] / 1000; <--- 239 строка
       return $stamp;
   }
}

 

А вобще похоже, что у меня проблемы с формированием файлов для запроса. Буду разбираться.

[snvoronkov]

Наверное, где-то так надо.

use POSIX qw(_exit);

sub getLastDumpDate
{
   my $soap= SOAP::Lite->service( $api_url );


   my @result;
   eval{ @result = $soap->getLastDumpDateEx(); };
   if( $@ ){
       die "Error in getLastDumpDateEx: $@";
       _exit(1); # Используем POSIX::_exit для завершения процесса - у нас ошибка отправки запроса/получания ответа
   }

#    my @result = $soap->getLastDumpDateEx();
   if( $result[0] !~ /^(\d+)$/ ) { # Ответ проверять таки надобно!!!
      print "Can't get lastDumpDateEx!";
      print Dumper(@result);
      exit;
   } else {
       my $stamp = $result[0] / 1000; <--- 239 строка
       return $stamp;
   }
}

 

Только Ваш скрипт не проверяет updateTimeUrgently.

[Dyr]

У меня постоянно timeout на всех хосты выдаёт :(

 

Timeout: nslookup("type" => "A", "host" => "swimpool.info") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "swimpool.info") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "litzona.net") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "litzona.net") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "high-stone.com") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "www.high-stone.com") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.


...

Изменено 26 августа, 2014 пользователем Dyr

[NeXuSs]

У меня, похоже openssl не собрался с поддержкой gost:

/gost-ssl/bin/openssl version -d
OPENSSLDIR: "/gost-ssl/ssl"

/gost-ssl/bin/openssl version 
OpenSSL 1.0.1i 6 Aug 2014

 

Если добавить в конфиг секции:

В самом верху, первой строкой:
openssl_conf = openssl_def

В конец:
[openssl_def]
engines = engine_section
[engine_section]
gost = gost_section
[gost_section]
default_algorithms = ALL
engine_id = gost
dynamic_path = /gost-ssl/lib/engines/libgost.so
CRYPT_PARAMS = id-Gost28147-89-CryptoPro-A-ParamSet

Он мне выдает на запрос

/gost-ssl/bin/openssl ciphers | tr ":" "\n" | grep GOST

Error configuring OpenSSL
34383236680:error:260B606D:engine routines:DYNAMIC_LOAD:init failed:eng_dyn.c:521:
34383236680:error:260BC066:engine routines:INT_ENGINE_CONFIGURE:engine configuration error:eng_cnf.c:204:section=gost_section, name=dynamic_path, value=/gost-ssl/lib/engines/libgost.so
34383236680:error:0E07606D:configuration file routines:MODULE_RUN:module initialization error:conf_mod.c:235:module=engines, value=engine_section, retcode=-1      
GOST engine already loaded

libgost.so по динамическому пути есть. Смущает последняя строка о том, что GOST уже загружен.

Если убрать те секции из конфига, то тот запрос на наличие GOST просто ничего не выдает, то есть пусто, в то время, как другие алгоритмы там присутствуют.

 

У меня сейчас работает выгрузка, настроенная по статье http://wiki.mikbill.ru/mikbill/services/roskomnadzor, соответсвенно, openssl на стенде настраивал по ней, только в отличии от него, на боевом сервере версия 1.0.1c. Файлы подписей и прочие, необходимые для запроса, актуальны и работают при запросе формата 1.0.

[Ivan_83]

У вас закрытые ключи от ГОСТ в каком виде?

В сертификате или просто строка типа 01ff7a...?

При подписывании что подписывается и куда в каком виде подпись выдаётся?

Те примеры вызова openssl и вывода результатов.

 

Спрашиваю не просто так - если всё так плохо могу свою подписывалку сделать, которой либы/опенссл не нужны, исходник открытый: фря, линух, венда - пофик где использовать.

Просто так делать - лень (мне то оно не надо), нужно будет ещё хэширование реализовать, сама генерация ЭЦП у меня есть.

[Ansy]

Спрашиваю не просто так - если всё так плохо могу свою подписывалку сделать, которой либы/опенссл не нужны, исходник открытый: фря, линух, венда - пофик где использовать.

Просто так делать - лень (мне то оно не надо), нужно будет ещё хэширование реализовать, сама генерация ЭЦП у меня есть.

А сделайте, пожалуйста, отдельную подписывалку -- она многим, наверное, пригодится.

Иначе -- приходится под Виндой какой-то неочевидной утилитой командной строки из состава КриптоПро CSP (ладно хоть такую положили -- иначе покупать КриптоАРМ) формировать отсоединенную подпись запроса и со всеми предосторожностями переносить файлы в Linux (ибо не все методы копирования сохраняют бинарно).

 

Пока сам пользую питоновский скрипт с готовыми запросом и подписью, но мало ли -- вдруг сменят протокол... Отдельная утилитка пригодилась бы, а софт для обновления запретов не всегда стоит в той системе и с необходимым программным окружением, нежели машинка для формирования запросов. Так что пусть будет.

[NeXuSs]

Ivan_83

Использую руТокен. Средствами КриптоПро экспортировал ключевой контейнер. Далее, утилитой P12FromGostCSP выгрузил сертификат в формате PCKS#12.

Это все было сделано уже давно и работает для выгрузки версии 1.0 в настоящее время, на http://www.gosuslugi.ru/pgu/eds/order валидность проходит, все нормально.

Вызов openssl(взято из скрипта, по отношению к оригиналу изменено имя файла сертификата):

`/gost-ssl/bin/openssl smime -sign -in $req_file -out $sig_file -binary -signer /usr/local/etc/roscom/provider.pem -outform DER`;

$req_file - файл запроса request.xml в формате cp1251,

$sig_file - подписанный request.xml, имеющий новое имя request.bin,

/usr/local/etc/roscom/provider.pem - файл сертификата.

С какой периодичностью необходимо запускать скрипт zapret.pl? Дело в том, что скрипт бывает, что сначала ругнется, а потом, при повторной попытке запуска, отработает нормально.

Вот, к примеру, сообщение при повторной попытке запустить скрипт после того, как минуты 2 назад он закончил свою работу:

DEBUG: Last dump date:  1409125080
DEBUG: Last action:     getResult
DEBUG: Last code:       9570c46992c381ed42acc14fe59c5ea9
DEBUG: Last result:     got
DEBUG: Checking dump date...
Use of uninitialized value $result[0] in pattern match (m//) at ./zapret.pl line 252.

Блок вокруг 252 строки кода:

   my $soap= SOAP::Lite->service( $api_url );
   my @result = $soap->getLastDumpDateEx();
   if( $result[0] !~ /^(\d+)$/ ) {     <---- 252 строка
       print "Can't get lastDumpDateEx!";
       print Dumper(@result);
       exit;
   } else {
       my $stamp = $result[0] / 1000;
       return $stamp;
   }

Может просто не нужно так часто скрипт пытаться запускать?

Изменено 27 августа, 2014 пользователем NeXuSs

[Wingman]

Может просто не нужно так часто скрипт пытаться запускать?

Пока писал - частенько запускал по десятку раз в минуту, проблем не было. В продакшне запускаю раз в полчаса.

Добавил на гитхабе в этом месте немного дебага, попробуйте...

 

У меня постоянно timeout на всех хосты выдаёт :(

 

Timeout: nslookup("type" => "A", "host" => "swimpool.info") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "swimpool.info") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "litzona.net") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "litzona.net") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "high-stone.com") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
Timeout: nslookup("type" => "A", "host" => "www.high-stone.com") at /usr/local/lib/perl5/site_perl/5.16/Net/Nslookup.pm line 115.
...

 

Часть доменов в реестре не резолвится, можно внимания не обращать

[lcgc]

надо бы проверять "@result" после вызова "$soap->getLastDumpDateEx()"

например, как-нибудь типа "defined(@result)"

похоже, что в случае неудачного диалога с сервером оно возвращает либо "ничего", либо "undef"

и, соотв., никаких "$result[0]" в этом случае просто не существует

Изменено 27 августа, 2014 пользователем lcgc

[Wingman]

я бы тут проверил @result на "идентичность undef"

 

https://github.com/ircop/zapret/commit/c77860f169b2f0d14f71cd515e0bef0182722dce

- if( $result[0] !~ /^(\d+)$/ ) {
+ if( !defined($result[0]) || $result[0] !~ /^(\d+)$/ ) {

%)

[NeXuSs]

Спасибо за ответы! :)

Вот что пишет после запуска доработанного скрипта:

./zapret.pl
DEBUG: Last dump date:  1409187900
DEBUG: Last action:     sendRequest
DEBUG: Last code:       5fb8f21f6235183e49a4933bbb4332df
DEBUG: Last result:     send
DEBUG: Getting result...
Use of uninitialized value $result[0] in string eq at ./zapret.pl line 161.
Use of uninitialized value $comment in concatenation (.) or string at ./zapret.pl line 165.
Can not get result: 
Use of uninitialized value $result[2] in numeric eq (==) at ./zapret.pl line 168.
Query pending ( code: 0 )

 

Запустил через 3 минуты еще раз:

./zapret.pl
DEBUG: Last dump date:  1409187900
DEBUG: Last action:     sendRequest
DEBUG: Last code:       5fb8f21f6235183e49a4933bbb4332df
DEBUG: Last result:     send
DEBUG: Getting result...
DEBUG: Got result, parsing dump.
DEBUG: Parsing dump...
Too late to run INIT block at /usr/local/lib/perl5/site_perl/5.18/mach/Net/DNS.pm line 209.
...

И он начал свою нормальную работу.

Что это может быть? Не сразу раздупляется с ответом сервер Роскомнадзора?

Изменено 28 августа, 2014 пользователем NeXuSs