1. Для блокировка используем

[BobroCoder]

Доброго времени суток!

Планируем запустить extFilter у себя в сети.

Исходящий трафик (правильно понял что входящий пускать на анализ не надо?) ~120Мбит/c и ~350Kpps в пиковые периоды.

Схема простая сейчас: свитч агрегации -> шлюз FreeBSD (PPPoE, биллинг, Quagga) -> вышестоящий провайдер

Так как Вы уже имеете опыт внердрения этой системы - подскажите как наиболее правильно и быстро для нас ввести фильтр. Я пока не до конца осознал всю информацию которую здесь прочитал. Необходимо ставить еще один промежуточный роутер с extFilter или достаточно гнать зеркало исходящего трафика на этот сервер и все?

Буду благодарен за помощь советами. Спасибо!

В наличии есть сервер для тестов i7, 4Гб Ram. В идеале возможно было бы просто сделать виртуалку на том же Xen (используем). Но надо выделить под dpdk для нашего трафика чистых 2 ядра?

[hsvt]

Доброго времени суток!

Планируем запустить extFilter у себя в сети.

Исходящий трафик (правильно понял что входящий пускать на анализ не надо?) ~120Мбит/c и ~350Kpps в пиковые периоды.

Схема простая сейчас: свитч агрегации -> шлюз FreeBSD (PPPoE, биллинг, Quagga) -> вышестоящий провайдер

Так как Вы уже имеете опыт внердрения этой системы - подскажите как наиболее правильно и быстро для нас ввести фильтр. Я пока не до конца осознал всю информацию которую здесь прочитал. Необходимо ставить еще один промежуточный роутер с extFilter или достаточно гнать зеркало исходящего трафика на этот сервер и все?

Буду благодарен за помощь советами. Спасибо!

В наличии есть сервер для тестов i7, 4Гб Ram. В идеале возможно было бы просто сделать виртуалку на том же Xen (используем). Но надо выделить под dpdk для нашего трафика чистых 2 ядра?

 

Со свича агрегации по идее гоните на этот сервер с extfilter. Схема включения такая же как у Carbon Reductor, хотя у них там вариантов тоже много разных, я бы использовал бы физический, 4 будет маловато, мы добавляли память.

[dnvk]

max1976, какую версию dpdk следует использовать? 16.07.2 или 16.11?

[BobroCoder]

Спасибо за ответ! Установил две плашки по 4Гб, Установил CentOS 7 Minimal-ку.

Можно кратко что дальше? Ядро 3.10 чистое или лучше более новое из epel? Или просто на чистый Cent ставить Dpdk, extFilter и погнали. Хотелось бы услышать кто уже работал с фильтром. Может у кого есть краткая инструкция с 0 до "боевого" состояния.

Хотелось бы запустить в кратчайшие сроки, директор поторапливает в этом вопросе.

[Davion]

max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить?

[max1976]

max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить?

 

Надо смотреть ndpi.

[XomA]

max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить?

 

Через extfilter блокируется.

После отработки скрипта extfilter_maker.pl в файле ssl_host появилась запись leonbets-oring-app-mobile-test.dev.leoncorp.net ?

[max1976]

max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить?

 

Через extfilter блокируется.

После отработки скрипта extfilter_maker.pl в файле ssl_host появилась запись leonbets-oring-app-mobile-test.dev.leoncorp.net ?

 

Нет, не блокируется. В nDPI ошибка в разборе сертификата.

[XomA]

max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить?

 

Через extfilter блокируется.

После отработки скрипта extfilter_maker.pl в файле ssl_host появилась запись leonbets-oring-app-mobile-test.dev.leoncorp.net ?

 

Нет, не блокируется. В nDPI ошибка в разборе сертификата.

 

Точно.. прошу прощения. У нас после extfiltra на выходе сети еще squid подстраховывает, вот он и заблокировал.

[max1976]

max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить?

 

Надо смотреть ndpi.

 

Примените патч на ndpi, который устанавливается с extfilter:

--- nDPI.new/src/lib/protocols/ssl.c    2016-11-16 21:39:50.960651510 +0300
+++ nDPI/src/lib/protocols/ssl.c        2017-01-25 16:03:20.632967015 +0300
@@ -276,6 +276,10 @@
                       u_int begin = 0,len;
                       char *server_name = (char*)&packet->payload[offset+extension_offset];

+                       if(packet->payload[offset+extension_offset+2] == 0x00) // host_name
+                       {
+                               begin =+ 5;
+                       }
                       while(begin < extension_len) {
                         if((!ndpi_isprint(server_name[begin]))
                            || ndpi_ispunct(server_name[begin])

[Davion]

max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить?

 

Надо смотреть ndpi.

 

Примените патч на ndpi, который устанавливается с extfilter:

--- nDPI.new/src/lib/protocols/ssl.c    2016-11-16 21:39:50.960651510 +0300
+++ nDPI/src/lib/protocols/ssl.c        2017-01-25 16:03:20.632967015 +0300
@@ -276,6 +276,10 @@
                       u_int begin = 0,len;
                       char *server_name = (char*)&packet->payload[offset+extension_offset];

+                       if(packet->payload[offset+extension_offset+2] == 0x00) // host_name
+                       {
+                               begin =+ 5;
+                       }
                       while(begin < extension_len) {
                         if((!ndpi_isprint(server_name[begin]))
                            || ndpi_ispunct(server_name[begin])

Спасибо большое! Оттестируем отпишемся.

[Rick]

max1976, по поводу недавнего патча, url https://leonbets-ori...ev получил reset,

но возник вопрос с другим url https://www.7ed51b7efdd....htm

или это у меня что-то не отрабатывает?

[dnvk]

Rick, сегодня установил систему с патчиком - блокирует и вашу ссылку.

[Davion]

Да спасибо, блокировка 100%

[swelf]

небольшой баг в make_files.pl

строки 210 211

 

$url11 =~ s/^(.*)\#(.*)$/$1/g;
$url2 =~ s/^(.*)\#(.*)$/$1/g;

url типа http://dummy.ru/#fdsafds#fdsfds'>http://dummy.ru/#fdsafds#fdsfds

превратят в

http://dummy.ru/#fdsafds

что не верно

исправил на

$url11 =~ s/^([^#]*)\#(.*)$/$1/g;
$url2 =~ s/^([^#]*)\#(.*)$/$1/g;

 

я это заметил на примере

http://www.is-news.com/2016/12/20

Изменено 26 января, 2017 пользователем swelf

[Rick]

Rick, сегодня установил систему с патчиком - блокирует и вашу ссылку.

 

Проверил даже в режиме debug, не видно эту ссылку.

Подскажите а у вас какой dpdk и какое ядро linux ?

[dnvk]

Rick

cat /etc/debian_version 
8.7

uname -a
Linux zi-sm2 3.16.0-4-amd64 #1 SMP Debian 3.16.39-1 (2016-12-30) x86_64 GNU/Linux

dpdk-stable-16.07.2

 

но, блин, собиралось в этот раз всё это хозяйство с какими-то бубнами и плясками...

[MATPOC]

небольшой баг в make_files.pl

строки 210 211

$url11 =~ s/^(.*)\#(.*)$/$1/g;
$url2 =~ s/^(.*)\#(.*)$/$1/g;

url типа http://dummy.ru/#fdsafds#fdsfds

превратят в

http://dummy.ru/#fdsafds

что не верно

Я это делаю таким кодом:

$tmpurl =~ s/\#.*//;

[max1976]

небольшой баг в make_files.pl

строки 210 211

 

$url11 =~ s/^(.*)\#(.*)$/$1/g;
$url2 =~ s/^(.*)\#(.*)$/$1/g;

url типа http://dummy.ru/#fdsafds#fdsfds'>http://dummy.ru/#fdsafds#fdsfds

превратят в

http://dummy.ru/#fdsafds

что не верно

исправил на

$url11 =~ s/^([^#]*)\#(.*)$/$1/g;
$url2 =~ s/^([^#]*)\#(.*)$/$1/g;

 

я это заметил на примере

http://www.is-news.com/2016/12/20

 

Мое выражение правильное. Это выражение убирает фрагмент из url. В случае с url, который вы привели в пример, используется экранирование арабских символов.

[Rick]

Rick, сегодня установил систему с патчиком - блокирует и вашу ссылку.

dnvk, а можно вопрос по поводу моей ссылке, вы получаете заглушку

или reset ?

[swelf]

Мое выражение правильное. Это выражение убирает фрагмент из url. В случае с url, который вы привели в пример, используется экранирование арабских символов.

1)А если арабские символы будут во фрагменте?

2)Какая разница, если браузер дальше первой решетки ничего не посылает?

3)У меня есть дамп трафика агента, храню 3 дня для анализа. Так вот, нашел запрос

 

GET /2016/12/20/& HTTP/1.1
Host: www.is-news.com
Connection: close
User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36
Accept-Encoding: identity;q=1.0, *;q=0
Accept-Charset: utf-8;q=1.0, *;q=0.1

как мне разница, откуда в урле решетка, если смотри пункт 2.

 

з.ы. не знаком с деталями, но почему они экранируются с решетками как в make_files.pl так и в агенте, а не %FF как все остальное. wget кстати арабские символы экранирует процентами.

 

разобрался, он уже в таком виде в реестре. Тогда вобще не понятно, к чему пассаж о том что эти решетки должны остаться.

Изменено 27 января, 2017 пользователем swelf

[myth]

браузер дальше первой решетки ничего не посылает?

браузер не посылает, а extfilter ждет урл со всеми решетками. Результат - пропуск

Изменено 27 января, 2017 пользователем myth

[swelf]

Так а я о чем, у себя и поправил.

[st_re]

Кстати не факт что их чекалка не пихнет с решеткой (это браузер не пихает, а с чекалки станется. как минимум в логах от роботов # идут часто.)... т.е. надо отрезать # и далее из URL от клиента перед поиском..

[myth]

url типа http://dummy.ru/#fdsafds#fdsfds'>http://dummy.ru/#fdsafds#fdsfds

превратят в

http://dummy.ru/#fdsafds

таки верно