BobroCoder Опубликовано 25 января, 2017 · Жалоба Доброго времени суток! Планируем запустить extFilter у себя в сети. Исходящий трафик (правильно понял что входящий пускать на анализ не надо?) ~120Мбит/c и ~350Kpps в пиковые периоды. Схема простая сейчас: свитч агрегации -> шлюз FreeBSD (PPPoE, биллинг, Quagga) -> вышестоящий провайдер Так как Вы уже имеете опыт внердрения этой системы - подскажите как наиболее правильно и быстро для нас ввести фильтр. Я пока не до конца осознал всю информацию которую здесь прочитал. Необходимо ставить еще один промежуточный роутер с extFilter или достаточно гнать зеркало исходящего трафика на этот сервер и все? Буду благодарен за помощь советами. Спасибо! В наличии есть сервер для тестов i7, 4Гб Ram. В идеале возможно было бы просто сделать виртуалку на том же Xen (используем). Но надо выделить под dpdk для нашего трафика чистых 2 ядра? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 25 января, 2017 · Жалоба Доброго времени суток! Планируем запустить extFilter у себя в сети. Исходящий трафик (правильно понял что входящий пускать на анализ не надо?) ~120Мбит/c и ~350Kpps в пиковые периоды. Схема простая сейчас: свитч агрегации -> шлюз FreeBSD (PPPoE, биллинг, Quagga) -> вышестоящий провайдер Так как Вы уже имеете опыт внердрения этой системы - подскажите как наиболее правильно и быстро для нас ввести фильтр. Я пока не до конца осознал всю информацию которую здесь прочитал. Необходимо ставить еще один промежуточный роутер с extFilter или достаточно гнать зеркало исходящего трафика на этот сервер и все? Буду благодарен за помощь советами. Спасибо! В наличии есть сервер для тестов i7, 4Гб Ram. В идеале возможно было бы просто сделать виртуалку на том же Xen (используем). Но надо выделить под dpdk для нашего трафика чистых 2 ядра? Со свича агрегации по идее гоните на этот сервер с extfilter. Схема включения такая же как у Carbon Reductor, хотя у них там вариантов тоже много разных, я бы использовал бы физический, 4 будет маловато, мы добавляли память. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 25 января, 2017 · Жалоба max1976, какую версию dpdk следует использовать? 16.07.2 или 16.11? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BobroCoder Опубликовано 25 января, 2017 · Жалоба Спасибо за ответ! Установил две плашки по 4Гб, Установил CentOS 7 Minimal-ку. Можно кратко что дальше? Ядро 3.10 чистое или лучше более новое из epel? Или просто на чистый Cent ставить Dpdk, extFilter и погнали. Хотелось бы услышать кто уже работал с фильтром. Может у кого есть краткая инструкция с 0 до "боевого" состояния. Хотелось бы запустить в кратчайшие сроки, директор поторапливает в этом вопросе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Davion Опубликовано 25 января, 2017 · Жалоба max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 января, 2017 · Жалоба max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить? Надо смотреть ndpi. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XomA Опубликовано 25 января, 2017 · Жалоба max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить? Через extfilter блокируется. После отработки скрипта extfilter_maker.pl в файле ssl_host появилась запись leonbets-oring-app-mobile-test.dev.leoncorp.net ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 января, 2017 · Жалоба max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить? Через extfilter блокируется. После отработки скрипта extfilter_maker.pl в файле ssl_host появилась запись leonbets-oring-app-mobile-test.dev.leoncorp.net ? Нет, не блокируется. В nDPI ошибка в разборе сертификата. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
XomA Опубликовано 25 января, 2017 · Жалоба max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить? Через extfilter блокируется. После отработки скрипта extfilter_maker.pl в файле ssl_host появилась запись leonbets-oring-app-mobile-test.dev.leoncorp.net ? Нет, не блокируется. В nDPI ошибка в разборе сертификата. Точно.. прошу прощения. У нас после extfiltra на выходе сети еще squid подстраховывает, вот он и заблокировал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 января, 2017 · Жалоба max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить? Надо смотреть ndpi. Примените патч на ndpi, который устанавливается с extfilter: --- nDPI.new/src/lib/protocols/ssl.c 2016-11-16 21:39:50.960651510 +0300 +++ nDPI/src/lib/protocols/ssl.c 2017-01-25 16:03:20.632967015 +0300 @@ -276,6 +276,10 @@ u_int begin = 0,len; char *server_name = (char*)&packet->payload[offset+extension_offset]; + if(packet->payload[offset+extension_offset+2] == 0x00) // host_name + { + begin =+ 5; + } while(begin < extension_len) { if((!ndpi_isprint(server_name[begin])) || ndpi_ispunct(server_name[begin]) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Davion Опубликовано 25 января, 2017 · Жалоба max1976, все отлично но не удается заблокировать только это https://leonbets-oring-app-mobile-test.dev.leoncorp.net видимо из за длины адреса, это можно как-то пофиксить? Надо смотреть ndpi. Примените патч на ndpi, который устанавливается с extfilter: --- nDPI.new/src/lib/protocols/ssl.c 2016-11-16 21:39:50.960651510 +0300 +++ nDPI/src/lib/protocols/ssl.c 2017-01-25 16:03:20.632967015 +0300 @@ -276,6 +276,10 @@ u_int begin = 0,len; char *server_name = (char*)&packet->payload[offset+extension_offset]; + if(packet->payload[offset+extension_offset+2] == 0x00) // host_name + { + begin =+ 5; + } while(begin < extension_len) { if((!ndpi_isprint(server_name[begin])) || ndpi_ispunct(server_name[begin]) Спасибо большое! Оттестируем отпишемся. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 26 января, 2017 · Жалоба max1976, по поводу недавнего патча, url https://leonbets-ori...ev получил reset, но возник вопрос с другим url https://www.7ed51b7efdd....htm или это у меня что-то не отрабатывает? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 26 января, 2017 · Жалоба Rick, сегодня установил систему с патчиком - блокирует и вашу ссылку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Davion Опубликовано 26 января, 2017 · Жалоба Да спасибо, блокировка 100% Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swelf Опубликовано 26 января, 2017 (изменено) · Жалоба небольшой баг в make_files.pl строки 210 211 $url11 =~ s/^(.*)\#(.*)$/$1/g; $url2 =~ s/^(.*)\#(.*)$/$1/g; url типа http://dummy.ru/#fdsafds#fdsfds'>http://dummy.ru/#fdsafds#fdsfds превратят в http://dummy.ru/#fdsafds что не верно исправил на $url11 =~ s/^([^#]*)\#(.*)$/$1/g; $url2 =~ s/^([^#]*)\#(.*)$/$1/g; я это заметил на примере http://www.is-news.com/2016/12/20 Изменено 26 января, 2017 пользователем swelf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 26 января, 2017 · Жалоба Rick, сегодня установил систему с патчиком - блокирует и вашу ссылку. Проверил даже в режиме debug, не видно эту ссылку. Подскажите а у вас какой dpdk и какое ядро linux ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 27 января, 2017 · Жалоба Rick cat /etc/debian_version 8.7 uname -a Linux zi-sm2 3.16.0-4-amd64 #1 SMP Debian 3.16.39-1 (2016-12-30) x86_64 GNU/Linux dpdk-stable-16.07.2 но, блин, собиралось в этот раз всё это хозяйство с какими-то бубнами и плясками... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MATPOC Опубликовано 27 января, 2017 · Жалоба небольшой баг в make_files.pl строки 210 211 $url11 =~ s/^(.*)\#(.*)$/$1/g; $url2 =~ s/^(.*)\#(.*)$/$1/g; url типа http://dummy.ru/#fdsafds#fdsfds превратят в http://dummy.ru/#fdsafds что не верно Я это делаю таким кодом: $tmpurl =~ s/\#.*//; Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 27 января, 2017 · Жалоба небольшой баг в make_files.pl строки 210 211 $url11 =~ s/^(.*)\#(.*)$/$1/g; $url2 =~ s/^(.*)\#(.*)$/$1/g; url типа http://dummy.ru/#fdsafds#fdsfds'>http://dummy.ru/#fdsafds#fdsfds превратят в http://dummy.ru/#fdsafds что не верно исправил на $url11 =~ s/^([^#]*)\#(.*)$/$1/g; $url2 =~ s/^([^#]*)\#(.*)$/$1/g; я это заметил на примере http://www.is-news.com/2016/12/20 Мое выражение правильное. Это выражение убирает фрагмент из url. В случае с url, который вы привели в пример, используется экранирование арабских символов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 27 января, 2017 · Жалоба Rick, сегодня установил систему с патчиком - блокирует и вашу ссылку. dnvk, а можно вопрос по поводу моей ссылке, вы получаете заглушку или reset ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swelf Опубликовано 27 января, 2017 (изменено) · Жалоба Мое выражение правильное. Это выражение убирает фрагмент из url. В случае с url, который вы привели в пример, используется экранирование арабских символов. 1)А если арабские символы будут во фрагменте? 2)Какая разница, если браузер дальше первой решетки ничего не посылает? 3)У меня есть дамп трафика агента, храню 3 дня для анализа. Так вот, нашел запрос GET /2016/12/20/& HTTP/1.1 Host: www.is-news.com Connection: close User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 Accept-Encoding: identity;q=1.0, *;q=0 Accept-Charset: utf-8;q=1.0, *;q=0.1 как мне разница, откуда в урле решетка, если смотри пункт 2. з.ы. не знаком с деталями, но почему они экранируются с решетками как в make_files.pl так и в агенте, а не %FF как все остальное. wget кстати арабские символы экранирует процентами. разобрался, он уже в таком виде в реестре. Тогда вобще не понятно, к чему пассаж о том что эти решетки должны остаться. Изменено 27 января, 2017 пользователем swelf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 27 января, 2017 (изменено) · Жалоба браузер дальше первой решетки ничего не посылает? браузер не посылает, а extfilter ждет урл со всеми решетками. Результат - пропуск Изменено 27 января, 2017 пользователем myth Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swelf Опубликовано 27 января, 2017 · Жалоба Так а я о чем, у себя и поправил. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 27 января, 2017 · Жалоба Кстати не факт что их чекалка не пихнет с решеткой (это браузер не пихает, а с чекалки станется. как минимум в логах от роботов # идут часто.)... т.е. надо отрезать # и далее из URL от клиента перед поиском.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 27 января, 2017 · Жалоба url типа http://dummy.ru/#fdsafds#fdsfds'>http://dummy.ru/#fdsafds#fdsfds превратят в http://dummy.ru/#fdsafds таки верно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...