micol

Про 100% это ясно, что это норма. Больше интересно как параметрами управлять. Проверю на выходных, процессор довольно сильный, может и без пропусков будет... Заметил по RegisterCheck-у (и скриншотам страниц) что пропускает https://e621.net... Причем повторяемости результата нет, то блокирует то нет, видимо тоже какая-то проблема с SSL (CN = ssl277549.cloudflaressl.com OU = PositiveSSL Multi-Domain OU = Domain Control Validated) DNS-имя=ssl277549.cloudflaressl.com DNS-имя=*.avanzastrategies.com DNS-имя=*.e621.net DNS-имя=*.fastfit360.com DNS-имя=*.freedoladowania.pl DNS-имя=*.freekod.pl DNS-имя=*.hj-story.com DNS-имя=*.hotair.com.au DNS-имя=*.igdb.com DNS-имя=*.norskfamilie.no DNS-имя=*.nubesicar.mx DNS-имя=*.reol.com DNS-имя=*.rumahprediksibola303.com DNS-имя=*.savavo.com DNS-имя=*.setrics.com DNS-имя=*.shipadick.com DNS-имя=*.sicar.mx DNS-имя=*.stellarjockeys.com DNS-имя=*.zalogowany.pl DNS-имя=avanzastrategies.com DNS-имя=e621.net DNS-имя=fastfit360.com DNS-имя=freedoladowania.pl DNS-имя=freekod.pl DNS-имя=hj-story.com DNS-имя=hotair.com.au DNS-имя=igdb.com DNS-имя=norskfamilie.no DNS-имя=nubesicar.mx DNS-имя=reol.com DNS-имя=rumahprediksibola303.com DNS-имя=savavo.com DNS-имя=setrics.com DNS-имя=shipadick.com DNS-имя=sicar.mx DNS-имя=stellarjockeys.com DNS-имя=zalogowany.pl

Что-то пятница походу... При любом раскладе либо не запускается extFilter и ругается на параметры, либо если все вернуть работает только 2 ядра в 100% Какой-нибудь хелп по параметрам, чтобы понять как ими рулить не наобум и задействовать больше ядер (имеется 6 ядер, либо 12 с HT, но его отключил)

Тестировал на Q9650 @ 3.00GHz работало достаточно не плохо, но трафик больше 3Г был Так что 500 Мбит переварит Q9300 Сегодня перенесу на i7 6800k, трафика будет под 8г, посмотрим)

А у всех блокирует https://antizapret.info/site.php?id=169778 ? у extFilter в логах тишина и как правильно это блокировать? http://37.139.28.143:8001/ без правки protos файла

Найти в zapret.pl строку с содержимым INSERT INTO zap2_domains и добавить там какой надо дебаг хотя бы обычным print-ом либо после my $logger=Log::Log4perl->get_logger(); $logger->level('DEBUG'); либо в конфиге log4perl.category = DEBUG, Logfile

Стоит на BGP с дефолтами, все ок. Вопрос к НАГ-овцам, как такой коммутатор на терминации абонентских вланов себя ведет? Есть ли нюансы настройки? Vlan на дом ~300 шт... Хотелось бы совместить агрегацию и терминацию в одной коробке. Реально?

root@filter:/usr/src/dpdk/tools# ./cpu_layout.py ============================================================ Core and Socket Information (as reported by '/proc/cpuinfo') ============================================================ cores = [0, 3, 2, 1] sockets = [0] Socket 0 -------- Core 0 [0] Core 3 [1] Core 2 [2] Core 1 [3]

2016-11-11 11:50:42.625 [10824] Information ReaderThread 0 - Missed 1 packets, total 974 packets, packets in ring 4095 2016-11-11 11:50:44.403 [10824] Information ReaderThread 0 - Missed 1 packets, total 975 packets, packets in ring 4095 2016-11-11 11:50:44.514 [10824] Information ReaderThread 0 - Missed 2 packets, total 977 packets, packets in ring 4095 2016-11-11 11:50:44.630 [10824] Information ReaderThread 0 - Missed 1 packets, total 978 packets, packets in ring 4095 2016-11-11 11:50:44.732 [10824] Information ReaderThread 0 - Missed 1 packets, total 979 packets, packets in ring 4095 2016-11-11 11:50:44.842 [10824] Information ReaderThread 0 - Missed 1 packets, total 980 packets, packets in ring 4095 2016-11-11 11:50:44.949 [10824] Information ReaderThread 0 - Missed 1 packets, total 981 packets, packets in ring 4095 2016-11-11 11:50:45.176 [10824] Information ReaderThread 0 - Missed 1 packets, total 982 packets, packets in ring 4095 2016-11-11 11:50:45.251 [10824] Information ReaderThread 0 - Missed 1 packets, total 983 packets, packets in ring 4095 2016-11-11 11:50:45.315 [10824] Information ReaderThread 0 - Missed 2 packets, total 985 packets, packets in ring 4095 2016-11-11 11:50:45.891 [10824] Information ReaderThread 0 - Missed 1 packets, total 986 packets, packets in ring 4095 это является свидетельством нехватки процессорного ядра? как вообще понять что оно не справляется с PPS? Процессор знаю заведомо что слабоват, но как диагностировать и расчитывать под PPS? И немного не ясно как использовать больше двух ядер? Сейчас зеркалирую на 10г порт, два ядра в 100% Читал выше, что можно подключить ядер используя rx_queues в кофиге, но что-то не выходит

LDADD в extfilter/src/Makefile.... перенесите в конец -lpcap и все соберется...

Добрый день, можно ли как-то сделать агрегацию по назначению netflow. Например на a.b.c.d/2055 слать как есть, а на x.y.b.c/NNNN слать только агрегированый флоу? Если нет, не знает ли кто как сделать это сторонними утилитами?

только nat и nat-logging (ipt-netflow). ппс можно посчитать, в среднем размер пакета около 1000 байт. если все же интересны точные цифры, могу вечером глянуть, в чнн. по опыту, использование ipt-ratelimit не внесет существенную нагрузку. Понял, спасибо за опыт)

Это только NAT или с tc и зоопаком что расписал? PPS какой?

Подниму темку. Посоветуйте CPU для NAT/шейпера. Не могу определиться. Т.У.: Трафик в ЧНН 5,5Гб / 2.5-3Гб (~800k / ~500k пакетов), сейчас бегает на нескольких НАТ-ах старых. Хочется уплотнить зоопарк и перейти на 10Г порты Из сервисов: nat 10.0.0.0/8 в диапазон реальников с persistent + правила nat адрес в адрес Шейпер на tc htb (есть в планах перейти на полисер ipt-ratelimit, т.к. скорости от 50Мбит по тарифам, и буфферизировать и резать по линейке уже нет особого смысла) ipt_NETFLOW ipset с для блокировки трафика, редиректов на заглушку и прочий мелкий мусор не кушающий CPU -------------------------------- Сетевая Intel x520 порт на вход, второй на выход -------------------------------- Щупал ли кто новый Intel Xeon E3-1280V5 Skylake (3700MHz, LGA1151, L3 8192Kb) (есть ли толк в нем?) Брать ли 1 или 2-х процессорную коробку? 4 или 6-8 ядер на камень соответственно В наличии есть CPU E3-1270 V2 @ 3.50GHz -3.9, но "чет я очкую" с ним :) Как вариант Intel Core i7 - 4960X Extreme Edition (Socket 2011, 6-ядерный, 3600 МГц, Turbo: 4000 МГц, Ivy Bridge-E, Кэш L2 - 1536 Кб, Кэш L3 - 15360 Кб, 22 нм, 130 Вт), но уж больно жаркий десктопный. Либо Intel Xeon E5-2643 v2 (Socket 2011, 6-ядерный, 3500 МГц, Ivy Bridge-EP, Кэш L2 - 1536 Кб, Кэш L3 - 25600 Кб, 22 нм, 130 Вт) поставить в один сокет, если не хватить брать второй, дорого конечно для 6 ядер. В общем запутался слегка в собственных доводах. Укажите вектор в котором работать. Есть ли у кого подобные коробки в продакшене и на каком железе они? По ядру чего порекомендуете может?

Подпишусь

А почему выбрана квага вместе bird-а? с ним как-то мне кажется будет проще, сгенерировать файл с сетями в виде фильтра на экспорт, подцепляется include-ом - что не требует редактирования основного конфига. Есть и небольшое API для управления (перечитать конфиг и применить например). Релоад будет занимать 1-2 секунды, из которых 1 секунда будет уходить на генерацию собственно фильтра сетей на экспорт. С квагой это дюже долго и ресурсоемко... Как руки дойдут переведусь на bird. Или я чего-то недоглядел?

Никак, только рестарт демона. А нельзя сделать релоад? Скажем родителький процес получает релоад (USR1 сигнал), убивает потомка-демона и запускает потомка-демона. Либо нечто подобное

Выше частота, быстрее память, правильные сетевки, горизонтальное масштабирование

Нашел в логе на Centos-е причину неработоспособности nfqfilter 2016-02-11 18:31:33.025 [20711] Fatal nfqThread - Error during nfq_create_queue Куда копать? UPD: обновил libnetfilter и devel... пресобрал фильтр - 2016-02-11 18:55:31.708 [22675] Information nfqThread - NFQ: Binding to queue 0 однако все равно тихо.. ядро не передает пакеты приложению

Маркировка средствами фильтра идет, а дропать в forward-цепочке. Нат где? Это у меня натирование идет на одной из сетей,но mangle то до него срабатывает

Исключено. Эта машина единственный NAT/шейпер на пути абонентского трафика. К тому же счетчики в iptables в mangle растут у данного правила, трафик туда матчится верно. Но в юзерспейс ощущение что не передается. nfqfilter с дебагом не сообщает о том что в очередь попал пакет

На машине с ubuntu все ок, на другой с Centos 6 но не редиректит. В логе тихо. Вместо кваги переделал кусочек кода на заполнение нужными IP адресами определенного IPSET-а Заворачиваем трафик так: -A PREROUTING -i eth10 -p tcp -m set --match-set RKN dst -m tcp -j NFQUEUE --queue-num 0 в логе тишина по поводу редиректов: 2016-02-10 17:23:37.190 [7793] Information Application - nDPI memory (once): 105.48 KB 2016-02-10 17:23:37.190 [7793] Information Application - nDPI memory per flow: 1.91 KB 2016-02-10 17:23:37.190 [7793] Information Application - nDPI current memory usage: 1.85 MB 2016-02-10 17:23:37.190 [7793] Information Application - nDPI maximum memory usage: 1.85 MB 2016-02-10 17:23:37.190 [7793] Information Application - State of task NFQStatisticTask is 2 2016-02-10 17:23:37.190 [7793] Information Application - Thread 'nfqThread': redirected domains 0, redirected urls: 0, marked ssl: 0, marked hosts: 0, rst send: 0 2016-02-10 17:23:37.190 [7793] Information Application - State of task nfqThread is 2 2016-02-10 17:23:37.190 [7793] Information Application - State of task SenderTask is 2 Сайты на IP-адресах из ipset-а не открываются

это попытки добавить через vtysh ip адреса для анонса через BGP а у вас кваги то нет), вот и ругает

да я не хочу блокировать микротиком, он у меня пограничный и BGP, я хочу фильтровать на брасе с дебианом =) Так фильтруйте, если он там один и через него весь трафик идет... Вам квагу надо "выкосить" из генератора и в таблесы правило добавить с репо? 1.4.0 А какую надо? Все, нашел. Сам дурак... Ушел качать 1.7

Если у вас микротик пограничный - то придется к тому же маршрутизацию от источника делать, иначе получите петлю... Если нет - то вроде как есть API у микротика, не знаю только на счет BGP в нем, но если оно там есть - допилить 15 минут будет Linux m-work 3.16.0-38-generic #52~14.04.1-Ubuntu SMP Fri May 8 09:43:57 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

m-work nfqfilter # make Making all in src make[1]: Вход в каталог `/srv/scripts/rzs/nfqfilter/src' CXX main.o CXX nfqstatistictask.o nfqstatistictask.cpp: In member function ‘void NFQStatisticTask::OutStatistic()’: nfqstatistictask.cpp:60:99: error: invalid application of ‘sizeof’ to incomplete type ‘ndpi_detection_module_struct’ app.logger().information("nDPI memory (once): %s",formatBytes(sizeof(ndpi_detection_module_struct))); ^ make[1]: *** [nfqstatistictask.o] Ошибка 1 make[1]: Выход из каталога `/srv/scripts/rzs/nfqfilter/src' make: *** [all-recursive] Ошибка 1 не собирается что-то...