Jump to content
Калькуляторы
Блокировка веб ресурса  

546 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

1. Кушает, если прописать кириллицей в утф

2. уберите #t12

Мда.. Не есть гут.. В плане авто-добавления из реестра. Придётся каждый хитрый урл ручками заносить и проверять.. :(

Share this post


Link to post
Share on other sites

Мда.. Не есть гут.. В плане авто-добавления из реестра. Придётся каждый хитрый урл ручками заносить и проверять.. :(

urldecode скриптом не? И #*** регекспом обрезать, например

 

Без баз списком тоже не проходит. А по поводу длинных урлов вроде патч под сквидгард существует. И какие все таки права должны быть на базы

Вот хрен знает, у меня как-то сходу завелось... Права у меня -rw-r--r-- 1 root root

Share this post


Link to post
Share on other sites

А кто как такие адреса блокирует?

ftp://ftp.ubi.com/fr/missdecouverte/www/uploads/Articles/Images/22janv_LP_starmode_156x120_1.jpg

ftp://ftp.ubi.com/fr/missdecouverte/www/uploads/Articles/Images/22janv_LP_starmode_156x120_2.jpg

под закон они попадают т.к. однозначно определяют ресурс

и в браузере прекрасно открываются.

Share this post


Link to post
Share on other sites

А кто как такие адреса блокирует?

ftp://ftp.ubi.com/fr/missdecouverte/www/uploads/Articles/Images/22janv_LP_starmode_156x120_1.jpg

ftp://ftp.ubi.com/fr/missdecouverte/www/uploads/Articles/Images/22janv_LP_starmode_156x120_2.jpg

под закон они попадают т.к. однозначно определяют ресурс

и в браузере прекрасно открываются.

Эээ... а если еще и порт нестандартный в URL, а то и вообще после решения капчи случайного вида неканоничная ссылка выдается, да причем на CDN-сеть с кучей IP?

Моя ИМХА намекает, что для труЪ-блокировки РКН+ФСКН+... ни разу не достаточно, а реально рулит токмо облачная служба перлюстрации ВООБЩЕ ВСЕГО контента, пополняемая по стуку доброжелателей. С клиентским приложением у юзера, на манер KinderGate того же. Или в виде доп.услуги/спец.тарифа у провайдера с запросами к тому же облаку.

 

Сложная это штука стала, Интернет... сложнее, наверное, только наши земные помойки пересортировать и вычистить...

Share this post


Link to post
Share on other sites

Позвольте поработать КО.

 

Необходимо - выполнять требования РКН - блочить то, что есть в списке.

Желательно только те URL, что есть в списке, а не просто по ip route ipaddr Null0

 

Как это видится мне:

 

NAS/Border - маршрутизирует трафик на ip адреса из списка на некий сервер.

На сервере некими средствами выделяется трафик на dst port 80,

например через

ipfw divert

не выделенный трафик уходит по дефолту назад на бордер, где роутиться в мир (через vrf, pbr или еще что - не важно )

 

Выделенный трафик попадает в некую программу, которая в самом простейшем случае грепает содержимое пакета на совпадение с URL и если такое совпадение есть - тупо дропает этот пакет.

Если совпадений нету - обратно в фаерволл и пусть себе идет дальше.

 

Дешево и сердито.

 

По поводу сравнений URL - у нас есть список, надо проверять по нему. если один символ не совпадает - значит URL не тот и в запрещенных не числится.

задача-то не со вселенским злом бороться веником, а удовлетворить инспектора, и не отправить в блок популярные ресурсы.

Share this post


Link to post
Share on other sites

Еще один вопрос. Сквид запустился под рутом, породил дочку. Дочка родила 5 сквидгардов.

root 1703 1 0 20:27 ? 00:00:00 squid -f /etc/squid/squid.conf

squid 1706 1703 0 20:27 ? 00:00:00 (squid) -f /etc/squid/squid.conf

squid 1707 1706 0 20:27 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1708 1706 0 20:27 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1709 1706 0 20:27 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1710 1706 0 20:27 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1711 1706 0 20:27 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1712 1706 0 20:27 ? 00:00:00 (unlinkd)

Но редирект на клиентской тачке не пашет. А если все убить и запустить под пользователем сквид

sudo -u squid squid -f /etc/squid/squid.conf

 

squid 1891 1 0 20:39 ? 00:00:00 squid -f /etc/squid/squid.conf

squid 1893 1891 0 20:39 ? 00:00:00 (squid) -f /etc/squid/squid.conf

squid 1894 1893 0 20:39 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1895 1893 0 20:39 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1896 1893 0 20:39 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1897 1893 0 20:39 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1898 1893 0 20:39 ? 00:00:00 (squidguard) -c /etc/squid/squidguard.conf

squid 1899 1893 0 20:39 ? 00:00:00 (unlinkd)

Теперь все работает, странно. Кто нибудь сталкивался?

Share this post


Link to post
Share on other sites
Необходимо - выполнять требования РКН - блочить то, что есть в списке.
Давайте только сперва попробуем определить значение слова БЛОЧИТЬ.

Лучше всего согласно НПА. Но IMHO получается хреново...

149-ФЗ «Об информации, информационных технологиях и защите информации» говорит

Статья 2. п.6) доступ к информации - возможность получения информации и ее использования;

...

Статья 15.1. п.10. В течение суток с момента включения в реестр сетевого адреса, позволяющего идентифицировать сайт в сети "Интернет", содержащий информацию, распространение которой в Российской Федерации запрещено, оператор связи, оказывающий услуги по предоставлению доступа к информационно-телекоммуникационной сети "Интернет", обязан ограничить доступ к такому сайту в сети "Интернет".

Насколь я понимаю, если ДОСТУП при проверке ВНЕЗАПНО ЕСТЬ (неважно как, но вариантов просто массища -- оператор "попал" :(

А вот процедура проверки наличия этого самого доступа никак не описана, увы. Произвол и коррупционная составляющая. Описан реестр, описано его формирование, получение, все что угодно -- но опять нет ТЕХНИЧЕСКИ ГРАМОТНО ОПИСАННОЙ процедуры этого самого ограничения доступа (ее IMHO полноценной и не будет -- но ведь можно ж было и остановиться на чем-то более-менее приемлемом, зафиксировать компромисс между органами и операторами).

Желательно только те URL, что есть в списке, а не просто по ip route ipaddr Null0

Как это видится мне:

NAS/Border - маршрутизирует трафик на ip адреса из списка на некий сервер.

На сервере некими средствами выделяется трафик на dst port 80,

например через

ipfw divert

не выделенный трафик уходит по дефолту назад на бордер, где роутиться в мир (через vrf, pbr или еще что - не важно )

Выделенный трафик попадает в некую программу, которая в самом простейшем случае грепает содержимое пакета на совпадение с URL и если такое совпадение есть - тупо дропает этот пакет.

Если совпадений нету - обратно в фаерволл и пусть себе идет дальше.

Дешево и сердито.

По поводу сравнений URL - у нас есть список, надо проверять по нему. если один символ не совпадает - значит URL не тот и в запрещенных не числится.

задача-то не со вселенским злом бороться веником, а удовлетворить инспектора, и не отправить в блок популярные ресурсы.

Это я уже начал пробовать. Список IP заворачивать на прокси и проверять по URL. Но это же схема IP И URL -- а надо IP ИЛИ URL (ИЛИ DNS).

Причем первый же засранец, сменивший IP, становится доступен проверяющему, даже без уловок обхода. А дальше зачем мудрить, если все равно уже виноват?

Edited by Ansy

Share this post


Link to post
Share on other sites

На данный момент реализовано так (на Freebsd):

1. Из реестра берётся список IP добавляется в таблицу ipfw (например table(10)

2. Берём в реестре url, выдераем из него хост, резольвим и все полученные IP добавляем в туже таблицу 10

3. Дальше эту таблице заворачивает на nginx правилом:

fwd 127.0.0.1,80 tcp from ${local_net} to "table(10)" dst-port 80 in via em1

4. Nginx слушает 80 порт только на локалхосте, работает в режиме проксика

внутри него происходит уже проверка урл, если урл совпал с тем что в реестре, то выдаём 403 (пока так, далее можно настроить ридерект, да всё что душе угодно), если урл не совпал, то отдаём её пользователю (принцип такой же как и через squid)

Так как пока IP не много и трафик не большой по этим IP, то данный способ пока спасёт, а дальше будем думать.

 

Фактически можно, отсеить некоторую часть IP из рееста, просто блокировать их если в url указан домен или url имеет вид:

http://что-то/, а редиректить уже только те записи из реестра у которых имеется полный url, с указателем на конкретную страницу.

Edited by polmax

Share this post


Link to post
Share on other sites
Насколь я понимаю, если ДОСТУП при проверке ВНЕЗАПНО ЕСТЬ (неважно как, но вариантов просто массища -- оператор "попал" :(

 

Кхм. ну как попал....

Сразу видно, что вы ни разу проверки надзора не проходили....

 

Всегда есть возможность договориться.

Если инспектору показать свежеполученный список,

показать, что 80% ресурсов из него блокированы, а оставшиеся 20% ресурсов обозвать "активно противодействующими" ....

Максимум что можно получить - это предписание на устранение,

но я думаю, что и до этого не дойдет.

зароутить по быстрому в нуль, сказать спасибо инспектору, за то что злыдня помог обнаружить

и все дела...

 

 

но опять нет ТЕХНИЧЕСКИ ГРАМОТНО ОПИСАННОЙ процедуры этого самого ограничения доступа

 

вы ждете подзаконного акта в которому будут команды конфигурации циско, джунипера, freebsd, и кучи linux ???????

радуйтесь, что этой процедуры нету, и молитесь, чтобы ее не было.

Потому что будет как с сормом:

программно-аппаратный комплекс "ГАНЖУБАС-3", стоит 2 лимона, имеет сертификат, обязателен к покупке и установке на узел или

 

программно-аппаратный комплекс "САМОСТРЕЛ-8", стоит 3 лимона, имеет сертификат, обязателен к покупке и установке на узел

выбирай.

 

Вам дали прекрасную возможность ограничится ОЧЕНЬ ДЕШЕВЫМ методом, а вы чегой-то требуете )))

 

 

Но это же схема IP И URL -- а надо IP ИЛИ URL (ИЛИ DNS).

это ваше право так считать.

 

я считаю, что если ip-адрес в реестре есть - его надо блокировать.

Если на каком-то другом ip-адресе есть похожая или такая же информация - я не эксперт в определении детской порнографии - появится в реестре - заблочим, не появится - я и знать не знаю, что она есть.

 

Насущная проблема операторов в другом.

Как бы с водой ребеночка не выплеснуть.

Чтобы вместе со страничкой абсурдопедии не попали бы в блок вики о розовых лошадках и скайриме....

Share this post


Link to post
Share on other sites
4. Nginx слушает 80 порт только на локалхосте, работает в режиме проксика

 

Конфигом не поделитесь ?

тут проблемка в том, что как только какой-нить в***мастер на том же ipадресе разместит сайт с гигом интересной инфы - она вся пойдет через nginx....

Share this post


Link to post
Share on other sites

тут проблемка в том, что как только какой-нить в***мастер на том же ipадресе разместит сайт с гигом интересной инфы - она вся пойдет через nginx....

Потому и сделал приписку:

Так как пока IP не много и трафик не большой по этим IP, то данный способ пока спасёт, а дальше будем думать.

 

Конфигом не поделитесь ?

Конфиг минимален:

user                                    nobody;
worker_processes                        5;
pid                                     /var/run/nginx.pid;

events {
   worker_connections                  1024;
}


http {
   include                             mime.types;
   default_type                        application/octet-stream;

   log_format  main                    '$remote_addr - $remote_user [$time_local] "$request" '
                                       '$status $body_bytes_sent "$http_referer" '
                                       '"$http_user_agent" "$http_x_forwarded_for" ';

   access_log                          access.log  main;

   resolver                            127.0.0.1;

   server {
       listen                          127.0.0.1:80;
       server_name                     localhost;
       charset                         utf-8;

       location = /403.html {
               root            /usr/local/www/nginx-dist;
       }

       set $url $host$request_uri;

       include nginx_deny.conf;

       location / {
           proxy_pass                  http://$host;
           proxy_redirect              off;
           proxy_set_header            Host                    $host;
           proxy_set_header            X-Real-IP               $remote_addr;
           real_ip_header              X-Forwarded-For;
           real_ip_recursive           on;
       }
   }
}

 

файл nginx_deny.conf; генерится из рееста и имеет вид:

 

if ($url ~* "legalitolko.com"){rewrite ^(.*)$ /403.html;}
if ($url ~* "legalki.net"){rewrite ^(.*)$ /403.html;}

 

 

в /usr/local/www/nginx-dist лежит страничка 403.html

которая выводить станицу блокировки (c указанием причины).

Можно вместо: {rewrite ^(.*)$ /403.html;} писать сразу {return 403;}

Edited by polmax

Share this post


Link to post
Share on other sites
Насколь я понимаю, если ДОСТУП при проверке ВНЕЗАПНО ЕСТЬ (неважно как, но вариантов просто массища -- оператор "попал" :(
Кхм. ну как попал.... Сразу видно, что вы ни разу проверки надзора не проходили....
Проходили неоднократно. В том самом смысле оператор "попал", что налицо НАРУШЕНИЕ НПА!

И у инспектора автоматически появляется повод для коррупционного блеска в глазах. Аккурат как Вы ниже говорите:

Всегда есть возможность договориться.

Если инспектору показать свежеполученный список, показать, что 80% ресурсов из него блокированы, а оставшиеся 20% ресурсов обозвать "активно противодействующими" ....

Максимум что можно получить - это предписание на устранение, но я думаю, что и до этого не дойдет.

А нам оно нада?

Это еще если инспектор добрый, нетупой и нежадный попадется... и если удовлетворится этими полумерами.

Вот насчет прокурора я уже очень неуверен -- эти не рубят вобще и до каждой буквы придираются (на чем иногда и лажаются кстати). И сразу в суд.

Да и инспектор тоже может через ГуглоПереводчик/ОпераТурбу проверить, с вполне ясными целями.

А я хочу -- чтоб ТАК он проверить НЕ МОГ. По закону причем не мог!

но опять нет ТЕХНИЧЕСКИ ГРАМОТНО ОПИСАННОЙ процедуры этого самого ограничения доступа
вы ждете подзаконного акта в которому будут команды конфигурации циско, джунипера, freebsd, и кучи linux ???????

радуйтесь, что этой процедуры нету, и молитесь, чтобы ее не было.

Неа, я жду четко описанного в НПА компромисса.

Например, так:

  1. оператор обязан заблокировать IP, и это проверяется ТОЛЬКО трассировкой. Как вариант -- трассировкой по заданному порту/протоколу, в браузере по IP хотя бы. Но чисто так, без обходов.
  2. оператор блокирует домен -- проверяется DNS-запросом, должно возвращать какой-нить другой IP (127.0.0.1 или редирект определенный).
  3. оператор блокирует подстроку в URL, что проверяется конкретным до буквы (по реестру) запросом, чисто из браузера такого-то, ИСКЛЮЧИТЕЛЬНО БЕЗ прокси и любых прочих обходов.

Вам дали прекрасную возможность ограничится ОЧЕНЬ ДЕШЕВЫМ методом, а вы чегой-то требуете )))
К сожалению, даже очень недешевые методы не дают 100% гарантий. Зато дают повод чиновникам для злоупотреблений. Се ля ви.

 

Если уж делать Великий Русский Фаерволл по-честному, я бы вообще не напрягал ВСЕХ операторов-ластмильщиков. Достаточно непосредственно на площадке отрезать неугодного российского хостера (по пулу присвоенных IP-адресов, да хоть и обязать ближайшего оператора провод ему вырвать из сервера), и лишь на выходах из России взарубеж лочить по IP/URL/DNS иностранные нереагирующие хостинги, скажем, через недельку-другую. Если мы не хотим вместе с фильтрацией Рунет тормознуть.

 

я считаю, что если ip-адрес в реестре есть - его надо блокировать.

...

Насущная проблема операторов в другом. Как бы с водой ребеночка не выплеснуть.

Чтобы вместе со страничкой абсурдопедии не попали бы в блок вики о розовых лошадках и скайриме....

Ну вот как раз тут и противоречие, не так ли? "Порошки" сменили уже адрес, и хоть обблокируйся их по IP -- опять торгуют... Зато абсурдопедию вырезали под корень из-за одной юморной статьи.

Share this post


Link to post
Share on other sites

Что интересно, любимая всеми хомячками "Опера", с включённым режимом "турбо", легко обходит ВСЕ локальные и магистральные затычки..

Аналогично ходят любые браузеры с включённым прокси. Ну тут посложнее для хомячка, а вот с Оперой дело труба..

У кого какие мысли на этот счёт?

Share this post


Link to post
Share on other sites

Нет там никакой проблемы, просто операторы ленятся выпиливать страницы. Вот зашел через оперу-турбо на сайт http://fast-die.kiev.ua/index.php и теперь смотрим что отправляет браузер на 80 порт:

 

GET http://fast-die.kiev.ua/index.php HTTP/1.1
Host: fast-die.kiev.ua

GET http://fast-die.kiev.ua/templates/system/css/general.css HTTP/1.1
Host: fast-die.kiev.ua

GET http://fast-die.kiev.ua/images/stories/stars-mini-01.png HTTP/1.1
Host: fast-die.kiev.ua

трудно блокировать?

 

Естественно нужно ловить IP серверов оперы.

Share this post


Link to post
Share on other sites

Естественно нужно ловить IP серверов оперы.

это зачем?

Share this post


Link to post
Share on other sites
это зачем?

Это если не хотите обрабатывать весь исходящий трафик, а нужно только оперу в режиме турбо. Там запрос идет на их прокси.

обычный прямой запрос на сайт

GET /public/style_images/nag/menu_item.png HTTP/1.1
Host: forum.nag.ru

 

турбо запрос к серверам оперы

GET http://forum.nag.ru/forum/public/style_images/nag/user_popup.png HTTP/1.1
Host: forum.nag.ru

 

разницу видите?

Share this post


Link to post
Share on other sites

зачем _в принципе_ блокировать запросы оперы к ее собственному прокси (турбо)?

Share this post


Link to post
Share on other sites

Ведь их IP адресов нету в черном списке интернета!

 

На каком основании вы их блокируете ?

Share this post


Link to post
Share on other sites
Ведь их IP адресов нету в черном списке интернета!

 

На каком основании вы их блокируете ?

 

Основания есть - черный список URI/доменов. Играем в тупой и еще тупее?

 

Что интересно, любимая всеми хомячками "Опера", с включённым режимом "турбо", легко обходит ВСЕ локальные и магистральные затычки..

Аналогично ходят любые браузеры с включённым прокси. Ну тут посложнее для хомячка, а вот с Оперой дело труба..

У кого какие мысли на этот счёт?

мысли

http://forum.nag.ru/forum/index.php?showtopic=79886&view=findpost&p=774896

 

 

Если уж делать Великий Русский Фаерволл по-честному, я бы вообще не напрягал ВСЕХ операторов-ластмильщиков. Достаточно непосредственно на площадке отрезать неугодного российского хостера (по пулу присвоенных IP-адресов, да хоть и обязать ближайшего оператора провод ему вырвать из сервера), и лишь на выходах из России взарубеж лочить по IP/URL/DNS иностранные нереагирующие хостинги, скажем, через недельку-другую.

Еще лучше вырезать зарубеж раз и навсегда, а у нас оставить лишь дюжину сайтов.

Edited by ohfsgcscft

Share this post


Link to post
Share on other sites
Основания есть - черный список URI/доменов. Играем в тупой и еще тупее?

Да, видимо придется играть....

 

Вот есть архив, который пришел в ответ на запрос оператора связи с zapret-info.gov.ru

вот есть dump.xml из этого архива, который содержит список ресурсов для блокирования

 

Скажите пожалуйста id записи в которой указаны ip адреса турбопроксей оперы.

 

 

Кстати, а почему вы говорите: "черный список URI/доменов", а не "черный список URI/доменов/IP" ?

какой он есть на самом деле.

Share this post


Link to post
Share on other sites

Кстати, а почему вы говорите:

 

Не понимаю вас.

 

url http://www.chto.to.tam/tut/i/tut в списке запретов.

 

У прокурора с оперой он открывается. Какова вероятность что ему интересны ваши размышления про ипы?

Share this post


Link to post
Share on other sites

Кстати, а почему вы говорите:

 

Не понимаю вас.

 

url http://www.chto.to.tam/tut/i/tut в списке запретов.

 

У прокурора с оперой он открывается. Какова вероятность что ему интересны ваши размышления про ипы?

У него он открывается через прокси, гугл-перевочик и проч... Это тоже заблочим?

Share this post


Link to post
Share on other sites
У него он открывается через прокси, гугл-перевочик и проч... Это тоже заблочим?

опера же стандартный браузер

Share this post


Link to post
Share on other sites

Естественно нужно ловить IP серверов оперы.

Работает. Но..

Вопрос - каким образом "ловить"?

Про "посмотреть netstat-ом" знаю, но это только один IP. Как изловить все?

Это во-первых.

Во-вторых, такой "отлов" существенно добавит нагрузку, т.к. в этом случае весь "легальный" трафик также пойдёт через "фильтр".

А это + минимум ..дцать, а то и ..десят % всего http.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now