Jump to content
Калькуляторы
Блокировка веб ресурса  

538 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Блин, а у меня другая проблема. Программа выдала около сотни урлов, которые, по её мнению, не блокируются. Однако, при проверке через браузер, почти все они блокируются. И что теперь делать? Может сервер с заглушкой не успевать отдавать страничку? Там, в принципе, машинка тугая стоит. Попробую оставить на ночь с 10 потоками вместо 100. Используем SCE2000.

Share this post


Link to post
Share on other sites

У кого-нибудь https://1xbet.在线/ блокируется?

В ssl_host он указан как 1xbet.xn--3ds443g.

 

Еще http://intpharm.ru/%d1%82%d1%80%d0%b0%d0%bc%d0%b0%d0%b4%d0%be%d0%bb/ не блокируется, хотя также присутсвует в urls.

 

И Проблема с http://mp3vega.com/?string=%D1%D3%CA%C0+%D7%D3%D0%CA%C8+%C5%C1%C0%CD%DB%C9…

Тут запись в реестре имеет вид http://mp3vega.com/?string=%D1%D3%CA%C0+%D7%D3%D0%CA%C8+%C5%C1%C0%CD%DB%C9<85> (Символ … в конце)

А в urls mp3vega.com/?string=%D1%D3%CA%C0+%D7%D3%D0%CA%C8+%C5%C1%C0%CD%DB%C9%E2%80%A6

Судя по программе проверки <85> имеется ввиду символ "троеточие", но блокирует не во всех браузерах.

У себя отбросил полностью в скрипте make_files.pl "%E2%80%A6" - URL заблокировалась.

Edited by overty

Share this post


Link to post
Share on other sites

max1976, приветствую. Есть две темы:

https://github.com/ntop/nDPI/issues/154

https://github.com/ntop/nDPI/issues/155

 

Такие дела. Попробую собрать dev еще раз. И проверить, что будет с обнаружением master_protocol для ресурсов Google.

Edited by Zarin

Share this post


Link to post
Share on other sites

Еще http://intpharm.ru/%...b4%d0%be%d0%bb/ не блокируется, хотя также присутсвует в urls.

Конечно не блокируется, т.к. символы в нижнем регистре, а в url попадают в верхнем.

Share this post


Link to post
Share on other sites

кстати хороший вопрос.. как это трактуется господами проверяющими ?

 

Но тоесть понятно, что имя хоста регистронезависимо и при проверке должно приводиться к нижнему регистру(ну или каким другим нехитрым способом проверяться без учета регистра), но вот остальная часть урла ? в зависимости от серверной стороны там может оказаться как AA=aa так и AA!=aa

Как минимум файловая отдача с виндового сервера к регистру не чувствительна. ему пофиг что /inDex.HmM что /Index.HTM

Share this post


Link to post
Share on other sites

Я обновил nfqfilter, добавив автоматическую сборку нужной версии nDPI с наложением необходимых патчей.

Share this post


Link to post
Share on other sites

Блин, а у меня другая проблема. Программа выдала около сотни урлов, которые, по её мнению, не блокируются. Однако, при проверке через браузер, почти все они блокируются. И что теперь делать? Используем SCE2000.

Используем SCE8000. Программа проверки РКН ложно срабатывает на урлы с якорями (#, anchor). Так как нам официально выдали эту программу и проверяющий из РКН регулярно присылает запросы, то в ответах ему пишем, что "Большая часть доступных URL-ов содержит знак решетки #". Наверное, они знают об этом баге и поэтому претензий именно к таким урлам не имеют.

Share this post


Link to post
Share on other sites

Еще http://intpharm.ru/%...b4%d0%be%d0%bb/ не блокируется, хотя также присутсвует в urls.

Конечно не блокируется, т.к. символы в нижнем регистре, а в url попадают в верхнем.

 

Мне кажется что это не правильно.

Даже подставив в URL один тот же самый символ в другом регистре, то ссылка разблокируется. Есть серверы регистронезависимые.

 

Что касается URL кода или не ASCII символов, то их тоже желательно приводит к нижнему регистру при проверке в nfqfilter.

А жесткое сравнение в нижнем регистре по URL кодам невозможно организовать в дополнение к существующему сравнению?

К примеру, сначала переводить url из запроса браузера в нижний регистр, потому делать URL-Encode и сравнивать по URL-кодам из файла urls.

ASCII будет в нижнем регистре и не переведется, а остальное станет URL кодом.

В файле urls так же записать не-ASCII символы в нижнем регистре в URL-код в трех известных нам кодировках (UTF-8, Windows-1251 и KOI8-R).

Или так не получиться и я не прав?

Share this post


Link to post
Share on other sites

Прогнал тест РКН-овской программой фильрацию на nfqfilter'е. Она мне нагенерила ~1700 доступных хостов. На деле оказалось, что все "доступные" URL это https:// и если тыкнуться браузером, то получим естесственный облом, а не картинку. В настройках nfqfilter'а указано "send_rst = true". Можно как-то затюнить настройки, чтобы не случалось таких ложных срабатываний у проверки?

Share this post


Link to post
Share on other sites

Прогнал реестр через nfqfilter, не заблокировало около 250 url`ей. В основном с редиректами.

Например

sls24.cc
mklad24.biz
cpvls.ml
casino-crystal.ru
и т.д.

Это нормально или я чтото недокрутил?

Share this post


Link to post
Share on other sites

Используем SCE8000. Программа проверки РКН ложно срабатывает на урлы с якорями (#, anchor). Так как нам официально выдали эту программу и проверяющий из РКН регулярно присылает запросы, то в ответах ему пишем, что "Большая часть доступных URL-ов содержит знак решетки #". Наверное, они знают об этом баге и поэтому претензий именно к таким урлам не имеют.

Ещё есть ложные срабатывания если в урле есть заглавные буквы. А как Вы на SCE блокируете https?

Edited by Voronok

Share this post


Link to post
Share on other sites

Прогнал реестр через nfqfilter, не заблокировало около 250 url`ей. В основном с редиректами.

Например

sls24.cc
mklad24.biz
cpvls.ml
casino-crystal.ru
и т.д.

Это нормально или я чтото недокрутил?

 

скорее нет поддежки анализа tcp-потока. Кстати, я предлагаю захватывать не один пакет, а к примеру 10 пакетов. И уже по хахваченным пакетам проводить анализ.

Share this post


Link to post
Share on other sites

Ещё есть ложные срабатывания если в урле есть заглавные буквы. А как Вы на SCE блокируете https?

На SCE htts не блокируем. Все виденные мною скрипты, которые заливали на SCE IP адреса https сайтов, работали, на мой взгляд, чрезмерно - они вытягивали конфиг, парсили его, добавляли туда в нужную зону IP, и заливали этот конфиг на SCE.

Share this post


Link to post
Share on other sites

Прогнал реестр через nfqfilter, не заблокировало около 250 url`ей. В основном с редиректами.

Например

sls24.cc
mklad24.biz
cpvls.ml
casino-crystal.ru
и т.д.

Это нормально или я чтото недокрутил?

 

скорее нет поддежки анализа tcp-потока. Кстати, я предлагаю захватывать не один пакет, а к примеру 10 пакетов. И уже по хахваченным пакетам проводить анализ.

 

не умеет npdi анализировать потоки там в целом подход надо менять. но тут дело не в мту.. я вот не вижу, в чем может быть проблема :(

Share this post


Link to post
Share on other sites

Прогнал реестр через nfqfilter, не заблокировало около 250 url`ей. В основном с редиректами.

Например

sls24.cc
mklad24.biz
cpvls.ml
casino-crystal.ru
и т.д.

Это нормально или я чтото недокрутил?

 

Все они блокируются. Версия nfqfilter последняя с github'a?

Share this post


Link to post
Share on other sites

Прогнал реестр через nfqfilter, не заблокировало около 250 url`ей. В основном с редиректами.

Например

sls24.cc
mklad24.biz
cpvls.ml
casino-crystal.ru
и т.д.

Это нормально или я чтото недокрутил?

 

Все они блокируются. Версия nfqfilter последняя с github'a?

Скачивал и собирал на прошлой неделе

Share this post


Link to post
Share on other sites

Прогнал реестр через nfqfilter, не заблокировало около 250 url`ей. В основном с редиректами.

Например

sls24.cc
mklad24.biz
cpvls.ml
casino-crystal.ru
и т.д.

Это нормально или я чтото недокрутил?

 

Все они блокируются. Версия nfqfilter последняя с github'a?

Скачивал и собирал на прошлой неделе

 

Обновитесь до последней с github'а. Я вчера опубликовал новую версию, которая позволяет решить проблему с некоторыми версиями nDPI.

Share this post


Link to post
Share on other sites

почему у меня не блокируется =)) как то отдебажить можно?

 

Снимите tcpdumpом на входном интерфейсе машины с nfqfilter дамп до этого хоста.

root@skyprox-main:~# tcpdump -i real -n -nn -vvvv | grep 104.18.62.37
tcpdump: listening on real, link-type EN10MB (Ethernet), capture size 262144 bytes
   188.130.250.233.54937 > 104.18.62.37.80: Flags [s], cksum 0x4c71 (correct), seq 294567149, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [s], cksum 0x4c71 (correct), seq 294567149, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54938 > 104.18.62.37.80: Flags [s], cksum 0x461e (correct), seq 3379104612, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54938 > 104.18.62.37.80: Flags [s], cksum 0x461e (correct), seq 3379104612, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54939 > 104.18.62.37.80: Flags [s], cksum 0x25d7 (correct), seq 507238104, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54939 > 104.18.62.37.80: Flags [s], cksum 0x25d7 (correct), seq 507238104, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54940 > 104.18.62.37.80: Flags [s], cksum 0x73ab (correct), seq 1427526184, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54940 > 104.18.62.37.80: Flags [s], cksum 0x73ab (correct), seq 1427526184, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54941 > 104.18.62.37.80: Flags [s], cksum 0x995f (correct), seq 261779951, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54941 > 104.18.62.37.80: Flags [s], cksum 0x995f (correct), seq 261779951, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54942 > 104.18.62.37.80: Flags [s], cksum 0x2931 (correct), seq 2397201108, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54942 > 104.18.62.37.80: Flags [s], cksum 0x2931 (correct), seq 2397201108, win 8192, options [mss 1360,nop,wscale 2,nop,nop,sackOK], length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x509d (correct), seq 294567150, ack 1418249872, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x509d (correct), seq 0, ack 1, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [P.], cksum 0x8b1a (correct), seq 0:512, ack 1, win 16660, length 512
   188.130.250.233.54937 > 104.18.62.37.80: Flags [P.], cksum 0x8b1a (correct), seq 0:512, ack 1, win 16660, length 512
   188.130.250.233.54938 > 104.18.62.37.80: Flags [.], cksum 0xf055 (correct), seq 3379104613, ack 3046424440, win 16660, length 0
   188.130.250.233.54938 > 104.18.62.37.80: Flags [.], cksum 0xf055 (correct), seq 0, ack 1, win 16660, length 0
   188.130.250.233.54939 > 104.18.62.37.80: Flags [.], cksum 0xc0bf (correct), seq 507238105, ack 177895874, win 16660, length 0
   188.130.250.233.54939 > 104.18.62.37.80: Flags [.], cksum 0xc0bf (correct), seq 0, ack 1, win 16660, length 0
   188.130.250.233.54940 > 104.18.62.37.80: Flags [.], cksum 0x4d07 (correct), seq 1427526185, ack 1537993277, win 16660, length 0
   188.130.250.233.54940 > 104.18.62.37.80: Flags [.], cksum 0x4d07 (correct), seq 0, ack 1, win 16660, length 0
   188.130.250.233.54941 > 104.18.62.37.80: Flags [.], cksum 0xad9c (correct), seq 261779952, ack 3169144354, win 16660, length 0
   188.130.250.233.54941 > 104.18.62.37.80: Flags [.], cksum 0xad9c (correct), seq 0, ack 1, win 16660, length 0
   188.130.250.233.54942 > 104.18.62.37.80: Flags [.], cksum 0x654f (correct), seq 2397201109, ack 457820125, win 16660, length 0
   188.130.250.233.54942 > 104.18.62.37.80: Flags [.], cksum 0x654f (correct), seq 0, ack 1, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x44db (correct), seq 512, ack 2499, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x44db (correct), seq 512, ack 2499, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x3d27 (correct), seq 512, ack 4471, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x3d27 (correct), seq 512, ack 4471, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x9fe9 (correct), seq 512, ack 4471, win 16660, options [nop,nop,sack 1 {5831:6703}], length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x9fe9 (correct), seq 512, ack 4471, win 16660, options [nop,nop,sack 1 {5831:6703}], length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x3421 (correct), seq 512, ack 6781, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x3094 (correct), seq 512, ack 7994, win 16356, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x3421 (correct), seq 512, ack 6781, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x3094 (correct), seq 512, ack 7994, win 16356, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x2dfb (correct), seq 512, ack 8355, win 16660, length 0
   188.130.250.233.54937 > 104.18.62.37.80: Flags [.], cksum 0x2dfb (correct), seq 512, ack 8355, win 16660, length 0
^C7094 packets captured
7227 packets received by filter
0 packets dropped by kernel

почему то нет ответного пакета, маршруты?

Share this post


Link to post
Share on other sites

почему то нет ответного пакета, маршруты?

 

Есть только tcp пакеты, устанавливающие связь, а самих данных нет. Наверное неправильное подключение фильтра.

Share this post


Link to post
Share on other sites

после обновления этот 24.сс заблокировался. а ndpi у меня был tar.gz 1.7.0 по ссылке доступный ..

Edited by zhenya`

Share this post


Link to post
Share on other sites

Есть только tcp пакеты, устанавливающие связь, а самих данных нет. Наверное неправильное подключение фильтра.

был не верный обратный маршрут, поправил

tcpdump: listening on real, link-type EN10MB (Ethernet), capture size 262144 bytes
   188.130.250.233.60725 > 104.18.62.37.80: Flags [P.], cksum 0xe82f (correct), seq 3560505741:3560506253, ack 1817195809, win 16320, length 512
   188.130.250.233.60725 > 104.18.62.37.80: Flags [P.], cksum 0xe82f (correct), seq 0:512, ack 1, win 16320, length 512
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0xeb4b (correct), seq 1, ack 512, win 39, length 0
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0xeb4b (correct), seq 1, ack 512, win 39, length 0
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0x849f (correct), seq 1:1361, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0x849f (correct), seq 1:1361, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xaa7e (correct), seq 1361:2500, ack 512, win 39, length 1139
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xaa7e (correct), seq 1361:2500, ack 512, win 39, length 1139
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0xa2df (correct), seq 2500:3860, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0xa2df (correct), seq 2500:3860, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0xbb4b (correct), seq 3860:5220, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0xbb4b (correct), seq 3860:5220, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0x022c (correct), seq 5220:6580, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [.], cksum 0x022c (correct), seq 5220:6580, ack 512, win 39, length 1360
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xb040 (correct), seq 6580:6648, ack 512, win 39, length 68
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xb040 (correct), seq 6580:6648, ack 512, win 39, length 68
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xc1ef (correct), seq 6648:6725, ack 512, win 39, length 77
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xc1ef (correct), seq 6648:6725, ack 512, win 39, length 77
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xa72d (correct), seq 6725:7263, ack 512, win 39, length 538
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xa72d (correct), seq 6725:7263, ack 512, win 39, length 538
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0x26ab (correct), seq 7263:7931, ack 512, win 39, length 668
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0x26ab (correct), seq 7263:7931, ack 512, win 39, length 668
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0xa09b (correct), seq 512, ack 2500, win 16660, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0xa09b (correct), seq 512, ack 2500, win 16660, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x95fb (correct), seq 512, ack 5220, win 16660, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x95fb (correct), seq 512, ack 5220, win 16660, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x9067 (correct), seq 512, ack 6648, win 16660, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x9067 (correct), seq 512, ack 6648, win 16660, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x8e9a (correct), seq 512, ack 7263, win 16506, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x8e9a (correct), seq 512, ack 7263, win 16506, length 0
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0x4249 (correct), seq 7931:7997, ack 512, win 39, length 66
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0x4249 (correct), seq 7931:7997, ack 512, win 39, length 66
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0x2281 (correct), seq 7997:8269, ack 512, win 39, length 272
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0x2281 (correct), seq 7997:8269, ack 512, win 39, length 272
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xfbfd (correct), seq 8269:8289, ack 512, win 39, length 20
   104.18.62.37.80 > 188.130.250.233.60725: Flags [P.], cksum 0xfbfd (correct), seq 8269:8289, ack 512, win 39, length 20
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x8c74 (correct), seq 512, ack 7997, win 16322, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x8c74 (correct), seq 512, ack 7997, win 16322, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x89fe (correct), seq 512, ack 8289, win 16660, length 0
   188.130.250.233.60725 > 104.18.62.37.80: Flags [.], cksum 0x89fe (correct), seq 512, ack 8289, win 16660, length 0
^C1224 packets captured
2275 packets received by filter
0 packets dropped by kernel

http://www.nelegalo.biz по прежнему открывается

root@skyprox-main:/etc/nfq/dump# cat urls | grep nelegalo
nelegalo.biz/
www.nelegalo.biz/
nelegalo.biz/index.html
nelegalo.biz/catalog.html

 

Всего доступно URL: 2456 (12,58%). Реестровых записей: 2136 (11,84%)

авторские права 531. Реестровых записей: 211 (9,88%)

азартные игры 214. Реестровых записей: 214 (10,02%)

детская порнография 401. Реестровых записей: 401 (18,77%)

наркотические средства 680. Реестровых записей: 680 (31,84%)

прочее 561. Реестровых записей: 561 (26,26%)

суицид 18. Реестровых записей: 18 (0,84%)

экстремизм 51. Реестровых записей: 51 (2,39%)

Edited by yKpon

Share this post


Link to post
Share on other sites

у меня было дело в нагрузке на nfq. хоть по процу процессы и не упирались.. но похоже процесс не успевал за потоком сознания.. покажите правило в таблесах ?

Share this post


Link to post
Share on other sites

...

 

Версия nfqfilter последняя (я вчера выкладывал обновление)?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now