1. Для блокировка используем

[taf_321]

На самом деле странно, вроде блокируется, но если открыть http://playithub.com, а потом идти по этим ссылкам, то не срабатывает блокировка. Пока не нажмёшь ctrl+F5.

Где то фигня )))

Перед такими проверками всегда надо предварительно очистить кэши браузера и ДНС.

[oborot.bolta]

Коллеги, а если подсунуть новую версию nDPI работать будет?

 

И еще заметил, после обновления системы перестал собираться DPDK версий 16.07.01 и 16.07.02, хотя 16.11 собирается нормально, но вылазит ошибка при сборке extFilter, не собирается PcapPlusPlus, ругается на DPDK:

 

/usr/local/dpdk/build/include/rte_pci.h: В функции «void rte_eal_pci_device_name(const rte_pci_addr*, char*, size_t)»:

/usr/local/dpdk/build/include/rte_pci.h:99:27: ошибка: expected «)» before «PRIx16»

#define PCI_PRI_FMT "%.4" PRIx16 ":%.2" PRIx8 ":%.2" PRIx8 ".%" PRIx8

 

Есть лекарства?

[Antares]

Коллеги, а если подсунуть новую версию nDPI работать будет?

 

И еще заметил, после обновления системы перестал собираться DPDK версий 16.07.01 и 16.07.02, хотя 16.11 собирается нормально, но вылазит ошибка при сборке extFilter, не собирается PcapPlusPlus, ругается на DPDK:

 

/usr/local/dpdk/build/include/rte_pci.h: В функции «void rte_eal_pci_device_name(const rte_pci_addr*, char*, size_t)»:

/usr/local/dpdk/build/include/rte_pci.h:99:27: ошибка: expected «)» before «PRIx16»

#define PCI_PRI_FMT "%.4" PRIx16 ":%.2" PRIx8 ":%.2" PRIx8 ".%" PRIx8

 

Есть лекарства?

Ядро какое??? Была такая проблема с родным ядром от центоси, помогло установка ядра с elrepo

C новой версие ndpi собирал, сутки работало на стенде, в бой не стал ставить

[Ivan_83]

#define PCI_PRI_FMT "%.4x:%.2x:%.2x.%x"

[oborot.bolta]

Ядро какое??? Была такая проблема с родным ядром от центоси, помогло установка ядра с elrepo

C новой версие ndpi собирал, сутки работало на стенде, в бой не стал ставить

 

Странно, раньше собиралось.

С elrepo собирается, спасибо. Но хотелось бы на штатном, нет лекарств? А какой лучше пользовать dpdk стабильный, или последний?

[Stiler]

Подскажите, а кто вообще какие DPI решения использует? Хотим внедрить у себя, но не можем определиться.

Благодарствую!

[Стич]

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

[stepan477]

Ребята, а есть у кого-нить выгрузка за 6 и 7 декабря 2016 года?

[dzek.ru]

Ребята, а есть у кого-нить выгрузка за 6 и 7 декабря 2016 года?

пишите в лс свой ящик, скину.

[cREoz]

По аналогии пакетов от Debian сделал DKMS-костыль к само-сборному DPDK 16.07.2 на Fedora 25 (4.9.3-200.fc25.x86_64)

 

 

 

После make install библиотеки и хедеры, по умолчанию, будут лежать в /usr/local

 

Файлы с исходниками для автоматической сборки модулей в DKMS нужно скопировать в папку /usr/src

[dpdk-stable-16.07.2]$ sudo mkdir /usr/src/dpdk-igb-uio-16.07.2
[dpdk-stable-16.07.2]$ sudo cp -rv lib/librte_eal/linuxapp/igb_uio/* /usr/src/dpdk-igb-uio-16.07.2/
[dpdk-stable-16.07.2]$ sudo mkdir /usr/src/dpdk-rte-kni-16.07.2
[dpdk-stable-16.07.2]$ sudo cp -rv lib/librte_eal/linuxapp/kni/* /usr/src/dpdk-rte-kni-16.07.2/

Еще потребуется шелл-скрипт настройки переменных окружения компилятора:

 

/usr/local/share/dpdk/dpdk-sdk-env.sh

export RTE_TARGET="$(uname -m)-native-linuxapp-gcc"
export RTE_SDK="/usr/local/share/dpdk/"
export RTE_INCLUDE="/usr/local/include/dpdk"

 

Для подключения исходников к DKMS так нужны файлы конфигурации:

 

/usr/src/dpdk-igb-uio-16.07.2/dkms.conf

PACKAGE_NAME="dpdk-igb-uio"
PACKAGE_VERSION="16.07.2"
BUILT_MODULE_NAME="igb_uio"
MAKE="source /usr/local/share/dpdk/dpdk-sdk-env.sh; make MODULE_CFLAGS='-I/usr/local/include/dpdk -include /usr/local/include/dpdk/rte_config.h -fno-PIE' RTE_KERNELDIR=/lib/modules/${kernelver}/build"
CLEAN="source /usr/local/share/dpdk/dpdk-sdk-env.sh; make clean"
DEST_MODULE_LOCATION="/extra/dpdk"
AUTOINSTALL="YES"

/usr/src/dpdk-rte-kni-16.07.2/dkms.conf

PACKAGE_NAME="dpdk-rte-kni"
PACKAGE_VERSION="16.07.2"
BUILT_MODULE_NAME="rte_kni"
MAKE="source /usr/local/share/dpdk/dpdk-sdk-env.sh; make MODULE_CFLAGS='-I/usr/local/include/dpdk -include /usr/local/include/dpdk/rte_config.h -I$source_tree/${PACKAGE_NAME}-${PACKAGE_VERSION}/ethtool/ixgbe -I$source_tree/${PACKAGE_NAME}-${PACKAGE_VERSION}/ethtool/igb -fno-PIE' RTE_KERNELDIR=/lib/modules/${kernelver}/build"
CLEAN="source /usr/local/share/dpdk/dpdk-sdk-env.sh; make clean"
DEST_MODULE_LOCATION="/extra/dpdk"
AUTOINSTALL="YES"

 

 

 

Добавляем модули в DKMS, компилируем и устанавливаем для всех версий kernel:

[~]$ sudo dkms add dpdk-igb-uio/16.07.2
[~]$ sudo dkms autoinstall dpdk-igb-uio/16.07.2 --all 
[~]$ sudo dkms add dpdk-rte-kni/16.07.2
[~]$ sudo dkms autoinstall dpdk-rte-kni/16.07.2 --all 

[alexdirty]

Какая-то непонятная бага ядра обнаружилась - периодически (раз в 1-3 часа) уходит в kernel panic при num_threads > 1.

Без nfqfilter, либо с num_threads = 1 падений нет...

На 4.2 и 4.7 проявлялось на НЕКОТОРЫХ машинах.

У нас десяток плюс минус одинаковых (с точки зрения настроек, железо - разное) машин, падает на 2-х, закономерность выявить не удалось.

 

Чё-то фантазии не хватает в какую сторону копать:

Получилось ли решить проблему? Аналогичная ситуация на 3.16 через 3-5 мин. после старта.

 

UP: вроде стало норм после установки

num_threads = 1

90 минут - полёт нормальный!

Изменено 18 января, 2017 пользователем alexdirty

[max1976]

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

 

Я этот фильтр уже не использую, поэтому не буду заниматься его развитием.

[ne-vlezay80]

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

 

Я этот фильтр уже не использую, поэтому не буду заниматься его развитием.

а какой фильтер используешь?

[zhenya`]

на дпдк. extfilter. логично же

[Стич]

max1976

 

Подниму вопрос к max1976

 

Планируется ли версия nfqfilter с новым ndpi?

Или развития nfqfilter не стоит ждать?

 

Я этот фильтр уже не использую, поэтому не буду заниматься его развитием.

 

Существует ли теоретическая возможность использовать extfilter не на отдельной машине на которую зеркалируется трафик,

а на транзитном Linux роутере.

Только из за этой проблемы вынужден использовать nfqfilter, а не extfilter.

 

И планируется ли это в будующем.

[YuryD]

Существует ли теоретическая возможность использовать extfilter не на отдельной машине на которую зеркалируется трафик,

а на транзитном Linux роутере.

Только из за этой проблемы вынужден использовать nfqfilter, а не extfilter.

 

И планируется ли это в будующем.

Зеркало на древнем компе просто не справится. Увы и ах, ответ ревизор получит раньше, чем зеркало выплюнет rst. Моё мнение - ставить только в разрыв. Теоретически конечно.

[myth]

А есть какие-то требования к железу? Трафика 2гига

[RadioSintetica]

Добрый день! max1976 - еще раз спасибо за прекрасный extFilter. Остался один вопрос - при отправке HUP - происходят пропуски. Прочитал уже что можно еще один инстанс поднять. но чтот не понял как. Это поднятие еще одного процесса на соседней сетевой карте?

[RadioSintetica]

А есть какие-то требования к железу? Трафика 2гига

На 2 гига должно i5 хватить. Мне на 2.1 Mpps хватает AMD Opteron 6238

[RadioSintetica]

Пытаюсь запустить еще один процесс extfilter - получаю ошибку : No free hugepages reported in hugepages-1048576kB ... что я делаю не так?

[micol]

что я делаю не так?

 

Совет про еще один инстанс был касательно nfqfilter

[swelf]

приветсвую, как и мноие использую nfqfilter от max1976 и zapret.pl

часто мой zapret.pl получает ошибки

2017-01-20 14:30:06 | ERROR | main  | Soap result not defined, retrying...

снял дамп трафика, выяснил, что когда поылается запрос

 

POST /services/OperatorRequest/ HTTP/1.1
TE: deflate,gzip;q=0.3
Connection: TE, close
Accept: text/xml
Accept: multipart/*
Accept: application/soap
Host: vigruzki.rkn.gov.ru
User-Agent: SOAP::Lite/Perl/1.11
Content-Length: 509
Content-Type: text/xml; charset=utf-8
SOAPAction: "http://vigruzki.rkn.gov.ru/services/OperatorRequest/getLastDumpDateEx"

<?xml version="1.0" encoding="UTF-8"?><soap:Envelope soap:encodingStyle="http://schemas.xmlsoap.org/soap/encoding/" xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/" xmlns:soapenc="http://schemas.xmlsoap.org/soap/encoding/" xmlns:tns="http://vigruzki.rkn.gov.ru/OperatorRequest/" xmlns:wsdl="http://schemas.xmlsoap.org/wsdl/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><soap:Body><tns:getLastDumpDateEx xsi:nil="true" /></soap:Body></soap:Envelope>

т.е.

xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/"

то я получаю норм ответ с датой дампа, но иногда zapret.pl посылает запрос

с

xmlns:soap="http://schemas.xmlsoap.org/wsdl/soap/"

в ответ я получаю

<?xml version="1.0" encoding="UTF-8"?>
<SOAP-ENV:Envelope xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/"><SOAP-ENV:Body><SOAP-ENV:Fault><faultcode>SOAP-ENV:VersionMismatch</faultcode><faultstring>Wrong Version</faultstring></SOAP-ENV:Fault></SOAP-ENV:Body></SOAP-ENV:Envelope>

вместо даты.

Вопрос - кто виноват и что делать?

[XomA]

приветсвую, как и мноие использую nfqfilter от max1976 и zapret.pl

часто мой zapret.pl получает ошибки

2017-01-20 14:30:06 | ERROR | main  | Soap result not defined, retrying...

снял дамп трафика, выяснил, что когда поылается запрос

 

POST /services/OperatorRequest/ HTTP/1.1
TE: deflate,gzip;q=0.3
Connection: TE, close
Accept: text/xml
Accept: multipart/*
Accept: application/soap
Host: vigruzki.rkn.gov.ru
User-Agent: SOAP::Lite/Perl/1.11
Content-Length: 509
Content-Type: text/xml; charset=utf-8
SOAPAction: "http://vigruzki.rkn.gov.ru/services/OperatorRequest/getLastDumpDateEx"

<?xml version="1.0" encoding="UTF-8"?><soap:Envelope soap:encodingStyle="http://schemas.xmlsoap.org/soap/encoding/" xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/" xmlns:soapenc="http://schemas.xmlsoap.org/soap/encoding/" xmlns:tns="http://vigruzki.rkn.gov.ru/OperatorRequest/" xmlns:wsdl="http://schemas.xmlsoap.org/wsdl/" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><soap:Body><tns:getLastDumpDateEx xsi:nil="true" /></soap:Body></soap:Envelope>

т.е.

xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/"

то я получаю норм ответ с датой дампа, но иногда zapret.pl посылает запрос

с

xmlns:soap="http://schemas.xmlsoap.org/wsdl/soap/"

в ответ я получаю

<?xml version="1.0" encoding="UTF-8"?>
<SOAP-ENV:Envelope xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/"><SOAP-ENV:Body><SOAP-ENV:Fault><faultcode>SOAP-ENV:VersionMismatch</faultcode><faultstring>Wrong Version</faultstring></SOAP-ENV:Fault></SOAP-ENV:Body></SOAP-ENV:Envelope>

вместо даты.

Вопрос - кто виноват и что делать?

 

может это поможет?

 

diff --git a/Zapret.pm b/Zapret.pm
index 22c992d..65adb12 100644
--- a/Zapret.pm
+++ b/Zapret.pm
@@ -19,6 +19,7 @@ sub new
       my $self={
               service => SOAP::Lite->service($URL)
       };
+       $self->{service}->envprefix('soap-ENV');
       bless $self,$class;
       return $self;
}

[hsvt]

Extfilter через раз пропускает ссылки

 

Все блокирует. Пробовал по несколько раз

Ревизор думает иначе.

 

Мой ревизор думает что эти ссылки блокированы.

 

Единственный url который не блокируется extfilter'ом это тот, который имеет корявую кодировку арабского языка.

 

А для этого урла возможен выпуск исправления? Ведь если урл не блокируется - логично что фиксируется пропуск :)

Изменено 24 января, 2017 пользователем hsvt

[max1976]

А для этого урла возможен выпуск исправления? Ведь если урл не блокируется - логично что фиксируется пропуск :)

 

У меня нет идей что за экранирование они используют в данном url.