[bl-antidot]

пишут что 10.11 было уже 179 записей о_О когда сегодня выгружаем реестр там 42 штуки.

вероятней всего, 179 это количество всех записей, включая уже заблокированные и тех, по которым процедура только начата - отправлено письмо хостеру и идет оговоренное в законе ожидание удаления контента с запрещенной информацией. Если контент оперативно удалят - запись из реестра будет удалена. В одном из первых сообщений Роскомнадзора по теме сообщалось, что шесть ресурсов вовремя отреагировали и удалили запрещенную информацию. Соответственно 42 записи - это адреса, по которым решение уже принято.

[psitay]

Сравнивая реестры от 9 и 13 ноября часть записей повторяется, часть нет.. А что если кто-то никак не получит ЭЦП - ему уже по факту получения подписи в итоге будут не известны предыдущие записи, он их и заблочить со своей стороны и не сможет =/

[ALaddin]

Сравнивая реестры от 9 и 13 ноября часть записей повторяется, часть нет.. А что если кто-то никак не получит ЭЦП - ему уже по факту получения подписи в итоге будут не известны предыдущие записи, он их и заблочить со своей стороны и не сможет =/

 

А может отсутствие записей говорит о том, что ресурс исправился, удалил с сайта каку и теперь его блокировать НЕ НУЖНО?

[psitay]

А может отсутствие записей говорит о том, что ресурс исправился, удалил с сайта каку и теперь его блокировать НЕ НУЖНО?

 

Очень похоже на правду. Жаль официального подтверждения нет и это догадки..

[Wingman]

Сравнивая реестры от 9 и 13 ноября часть записей повторяется, часть нет.. А что если кто-то никак не получит ЭЦП - ему уже по факту получения подписи в итоге будут не известны предыдущие записи, он их и заблочить со своей стороны и не сможет =/

Те записи, которых нет, я удаляю из блокировки. Логично же

 

UPD

окончательная команда:

cat dump.xml_orig | tr -d "\n\r" | sed -e 's/<content /\n/g' -e 's/<\/reg:register>/\n/' | sed -e 's/<\/content>//' -e 's/><decision//' -e 's/\/><url><\!\[CDATA\[/ url="/' -e 's/]]><\/url><ip>/" ip="/' -e 's/<\/ip>/"/' -e '/<?xml.*/d'

 

А что случится, если там будет два <ip>, например?

Изменено 13 ноября, 2012 пользователем Wingman

[Den24is]

интересно http://lib.rus.ec/ как зсттк, многие забанили ?

[yegorov-p]

Сравнивая реестры от 9 и 13 ноября часть записей повторяется, часть нет.. А что если кто-то никак не получит ЭЦП - ему уже по факту получения подписи в итоге будут не известны предыдущие записи, он их и заблочить со своей стороны и не сможет =/

Так и плевать. Блокировать нужно строго то, что содержится в актуальном файлике.

[6yktonox]

http://ip-home.net/files/zapret.zip

Возможна такая ситуация, что у одного ip будет несколько url (lurkmore.to), в таком случае было бы логично иметь основной id у ips, а не у urls.

[Wingman]

http://ip-home.net/files/zapret.zip

Возможна такая ситуация, что у одного ip будет несколько url (lurkmore.to), в таком случае было бы логично иметь основной id у ips, а не у urls.

Пока обратных случаев полно :)

По хорошему, нужно конечно ещё несколько проверок для таких ситуаций прикручивать

Изменено 13 ноября, 2012 пользователем Wingman

[red1]

Что-то ничего у меня не получается...

Экспортнул через КриптоПро сертификат с ключом в PKCS12. Собрал openssl из портов по инструкции с поддержкой GOST, даже в /usr/bin бинарник поменял на новый. А все равно, при попытке конвертнуть сертификат с ключом такая байда приключается:

 

$ openssl pkcs12 -in pкovider.pfx -out provider.pem
Enter Import Password:
MAC verified OK
Error outputting keys and certificates
34381059624:error:06074079:digital envelope routines:EVP_PBE_CipherInit:unknown pbe algorithm:evp_pbe.c:167:TYPE=1.2.840.113549.1.12.1.80
34381059624:error:23077073:PKCS12 routines:PKCS12_pbe_crypt:pkcs12 algor cipherinit error:p12_decr.c:83:
34381059624:error:2306A075:PKCS12 routines:PKCS12_item_decrypt_d2i:pkcs12 pbe crypt error:p12_decr.c:130:

 

Никто не сталкивался с подобной бедой?

 

Upd: экспорт сертификата производил из криптопро, после экспорта с помощью P12FromGostCSP, openssl его скушал.

Upd2: запрос подписал, реестр забрал.

Изменено 13 ноября, 2012 пользователем red1

[с3845]

У меня все нормально получилось. конфиг ssl подправил?

[Soltik]

Что-то ничего у меня не получается...

Экспортнул через КриптоПро сертификат с ключом в PKCS12. Собрал openssl из портов по инструкции с поддержкой GOST, даже в /usr/bin бинарник поменял на новый. А все равно, при попытке конвертнуть сертификат с ключом такая байда приключается:

 

$ openssl pkcs12 -in pкovider.pfx -out provider.pem
Enter Import Password:
MAC verified OK
Error outputting keys and certificates
34381059624:error:06074079:digital envelope routines:EVP_PBE_CipherInit:unknown pbe algorithm:evp_pbe.c:167:TYPE=1.2.840.113549.1.12.1.80
34381059624:error:23077073:PKCS12 routines:PKCS12_pbe_crypt:pkcs12 algor cipherinit error:p12_decr.c:83:
34381059624:error:2306A075:PKCS12 routines:PKCS12_item_decrypt_d2i:pkcs12 pbe crypt error:p12_decr.c:130:

 

Никто не сталкивался с подобной бедой?

 

Upd: экспорт сертификата производил из криптопро, после экспорта с помощью P12FromGostCSP, openssl его скушал.

 

Проверь наличие GOST командой /usr/local/ssl/bin/openssl ciphers | tr ":" "\n" | grep GOST

Кстати, openssl надо запускать с полным путем из папки где он установился.

Если госта нет, убедись, что в конфиге строка

openssl_conf = openssl_def

находится в начале файла, до того как начинаются разделы в скобках [].

 

ну и при конвертации добавь -nodes -clcerts:

/usr/local/ssl/bin/openssl pkcs12 -in provider.pfx -out provider.pem -nodes -clcerts

[red1]

Soltik Спасибо. Разобрался уже. openssl был настроен верно. Проблемы были из-за экспорта через КриптоПро. Я вставил апдейт в свой пост.

[apog]

Ребят, подскажите, пожалуйста, как избавиться от сообщений при выполнении скрипта:

Wide character in print at ./xml-parser.pl line 52.

Это сообщение в том месте, когда в urllist выводится http://............/Способы_употребления

Еще подобное сообщение видел, когда сразу после отправки запроса попытался получить выгрузку:

./zapret-info.pl 1
Wide character in syswrite at /usr/lib/perl/5.10/Sys/Syslog.pm line 482.

На сколько я понял это в этом месте:

if ($getresult[0] eq 'false') { 
           mylog ("$getresult[1]");

Кажется поборол. На сколько это сделано правильно судить не могу, потому как в перле не силен, но мне помогло.

Итак. В скрипте господина tawer'а (пост #710) добавляем строчку, на которую указывает стрелочка <---:

        my @getresult = $service->getResult($codestring);
       if ($getresult[0] eq 'false') {
    utf8::encode($getresult[1]);   <---
           mylog ("$getresult[1]");
       } elsif ($getresult[0] eq 'true') {

Скрипт господина snvoronkov'а (пост #714) дополним такой строкой:

#!/usr/bin/perl

use strict;
use encoding 'utf-8';
use XML::Twig;
use open qw/:std :utf8/;   <---

[eLLIk1n]

Коллеги, при выполнении

/usr/local/bin/openssl smime -sign -in zapros.xml -out zapros.bin -binary -signer provider.pem -outform DER

файл zapros.bin является электронным документом с ЭП — в формате PKCS#7, тогда как необходимо получить отсоединенную ЭП.

 

В конфиге openssl все присутсвует:

openssl_conf = openssl_def

[openssl_def]
engines = engine_section

[engine_section]
gost = gost_section

[gost_section]
engine_id = gost
dynamic_path = /usr/local/lib64/engines/libgost.so
default_algorithms = ALL
CRYPT_PARAMS = id-Gost28147-89-CryptoPro-A-ParamSet

 

openssl version:

OpenSSL 1.0.1b 26 Apr 2012

zapros.xml - в необходимой кодировке

provider.pem - успешно выковырен из КриптоПро

 

что сделал не так ?

[Soltik]

забыл ключик -nodetach (хоть он и звучит в обратную сторону)

 

блин.. или все-таки наоборот, с ним присоединенная, а без него отсоединенная. Но на госуслугах файло валидилось как раз с ним, и у меня с ним выгружается реестр.

[Wingman]

/usr/local/bin/openssl smime -sign -in zapros.xml -out zapros.bin -binary -signer provider.pem -outform DER

У меня именно так подписывается и прожевывается... openssl, правда, 1.0.1c

[Stak]

Сейчас в лабе дорабатываем напильником следующее решение по организации фильтрации (без мега DPI:))

 

1. берём список с сайта Роскомнадзора.

2. Парсим, получаем пары ip+URL

3. Полученые ip анонсим (кваггой) по бгп в наш транспорт.

4. В результате аплинк-трафик на данные адреса отправляется на фильтрующий сервер. Даунлинк при этом идёт мимо.

5. На сервере с помошью iptables (string matсh) перекидываем пакетики, в которых есть соответствующий URL (из п.2) в NFQUEUE. tcp handshake и другой трафик на эти адреса пролетает насквозь. Т.е. матчится только GET запрос.

6. из NFQUEUE их ловит перловый (пока) скрипт, который делает tcp hijacking (т.е. отвечает от имени удалённого сервера двумя пакетами: АСК-ом, и 301 редиректом на страницу блокировки.

7. для трафика на 443й порт, делаем редирект на локальный nginx, опять же отдающий редирект на страницу блокировки.

 

П.п. 3,4,5,6 уже работают, остальное - думаю, также скоро допилим.

 

Покритикуйте, может быть есть более интересные идеи.

[Wingman]

Думаю примерно в том же ключе :)

 

- Если гет будет идти в нескольких мелких пакетах?

 

- Идеально было бы и http-серверу слать tcp reset, т.к. если вдруг сервер-фильтр затупит, то ответ от сайта может прийти раньше редиректа

Туплю. nfqueue же позволяет дропнуть пакет

 

 

Ещё вариант, как-то так делали китайский файервол: тоже квага -> ловить libcap`ом пролетающие по 80 порту пакеты, искать в них нужный урл и слать клиенту редирект, а серверу rst

Таким макаром можно не морочиться с анонсами, а миррорить, например, 10г порт в сервер и там разгребать

 

p.s. перл-скриптиком не поделитесь? =)

Изменено 13 ноября, 2012 пользователем Wingman

[visir]

А кто-нибудь уже посчитал, сколько трафика идет на не заблокированные сайты на заблокированных IP-ах? И есть ли он вообще :)).

[Wingman]

А кто-нибудь уже посчитал, сколько трафика идет на не заблокированные сайты на заблокированных IP-ах? И есть ли он вообще :)).

Кстати да, сейчас снмпд и забикс прикручу, через полчасика-час выложу :)

[Diman]

GalVad, о, а мы паримся тут с подписями, со скриптами всякими. Выкладывайте регулярно, и всего делов то :)

 

ага. у нас РКН лично интересовался, почему мы на сайт не ходим.

[eLLIk1n]

забыл ключик -nodetach (хоть он и звучит в обратную сторону)

 

блин.. или все-таки наоборот, с ним присоединенная, а без него отсоединенная. Но на госуслугах файло валидилось как раз с ним, и у меня с ним выгружается реестр.

ни так, ни так не работало...

 

/usr/local/bin/openssl smime -sign -in zapros.xml -out zapros.bin -binary -signer provider.pem -outform DER

У меня именно так подписывается и прожевывается... openssl, правда, 1.0.1c

 

а вот после замены openssl с 1.0.1b на 1.0.1с все прошло как надо и поулчил валидный список из реестра.

Спасибо ребят !

[MMM]

7. для трафика на 443й порт, делаем редирект на локальный nginx, опять же отдающий редирект на страницу блокировки.

А что будет, когда клиенты увидят поддельный сертификат? И чем это лучше бана по IP ?

 

5. На сервере с помошью iptables (string matсh) перекидываем пакетики, в которых есть соответствующий URL (из п.2) в NFQUEUE. tcp handshake и другой трафик на эти адреса пролетает насквозь. Т.е. матчится только GET запрос.

6. из NFQUEUE их ловит перловый (пока) скрипт, который делает tcp hijacking (т.е. отвечает от имени удалённого сервера двумя пакетами: АСК-ом, и 301 редиректом на страницу блокировки.

 

А как оно будет работать для HTTP/1.1 с keepalive, когда GET /blabla будет не в начале TCP соединения, а на несколько мегабайт "глубже" ? Ну и новая мода с протоколом http://ru.wikipedia.org/wiki/SPDY ...

Изменено 13 ноября, 2012 пользователем MMM

[elcambino]

Сейчас в лабе дорабатываем напильником следующее решение по организации фильтрации (без мега DPI:))

 

1. берём список с сайта Роскомнадзора.

2. Парсим, получаем пары ip+URL

3. Полученые ip анонсим (кваггой) по бгп в наш транспорт.

4. В результате аплинк-трафик на данные адреса отправляется на фильтрующий сервер. Даунлинк при этом идёт мимо.

5. На сервере с помошью iptables (string matсh) перекидываем пакетики, в которых есть соответствующий URL (из п.2) в NFQUEUE. tcp handshake и другой трафик на эти адреса пролетает насквозь. Т.е. матчится только GET запрос.

6. из NFQUEUE их ловит перловый (пока) скрипт, который делает tcp hijacking (т.е. отвечает от имени удалённого сервера двумя пакетами: АСК-ом, и 301 редиректом на страницу блокировки.

7. для трафика на 443й порт, делаем редирект на локальный nginx, опять же отдающий редирект на страницу блокировки.

 

П.п. 3,4,5,6 уже работают, остальное - думаю, также скоро допилим.

 

Покритикуйте, может быть есть более интересные идеи.

насколько я понимаю, все это совершенно бесполезно в итоге будет, ибо магистралы пока будут фигачить по ИП