1. Для блокировка используем

[IMPERATOR]

Привет

 

Так и не могу понять , почему начинает пропускать. После запуска все нормально , блочится все , работает как надо от нескольких часов , до дня , но через какое время начинает вообще все пропускать , помогает рестарт extfilter.

Что , как , и где можно посмотреть , железо вроде должно справляться , в логах ничего не пишет. Процессор 4 ядерный Q9550 , сейчас запущено на 2 ядрах, оперативки 8 гб ,

Может что то в системе надо потюнить ? Centos 7

Изменено 23 декабря, 2016 пользователем IMPERATOR

[max1976]

Привет

 

Так и не могу понять , почему начинает пропускать. После запуска все нормально , блочится все , работает как надо от нескольких часов , до дня , но через какое время начинает вообще все пропускать , помогает рестарт extfilter.

Что , как , и где можно посмотреть , железо вроде должно справляться , в логах ничего не пишет. Процессор 4 ядерный Q9550 , сейчас запущено на 2 ядрах, оперативки 8 гб ,

Может что то в системе надо потюнить ? Centos 7

 

Ставьте последнюю версию extfilter, которая устанавливает нужную версию ndpi.

У меня

● extfilter.service - extFilter is a daemon for filtering traffic using DPDK

Loaded: loaded (/etc/systemd/system/extfilter.service; disabled; vendor preset: disabled)

Active: active (running) since Пн 2016-12-05 11:06:16 MSK; 2 weeks 4 days ago

и никаких проблем.

Изменено 23 декабря, 2016 пользователем max1976

[polmax]

max1976

А будет ли extfilter работать под FreeBSD и как нужно оптимизировать исходники чтобы собрать программу в FreeBSD?

Изменено 23 декабря, 2016 пользователем polmax

[ne-vlezay80]

max1976

А будет ли extfilter работать под FreeBSD и как нужно оптимизировать исходники чтобы собрать программу в FreeBSD?

 

Нет - только Linux

[IMPERATOR]

Кто может подсказать что вот это за ерунда

Dec 26 09:00:25 extfilter pcapplusplusapp[18641]: EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles !
Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL: PCI device 0000:05:00.0 on NUMA socket -1
Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL:   probe driver: 8086:105e rte_em_pmd
Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL: PCI device 0000:05:00.1 on NUMA socket -1
Dec 26 09:00:26 extfilter pcapplusplusapp[18641]: EAL:   probe driver: 8086:105e rte_em_pmd

[Antares]

Antares, попробуйте собрать всё на одной.

Попробую, как сетевуха интеловская придёт, а то на bnx2 не взлетает, dpdk не компилится, я так понимаю из-за этого

/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: В функции «igb_ndo_bridge_getlink»:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2290:2: ошибка: слишком мало аргументов в вызове функции «ndo_dflt_bridge_getlink»
 return ndo_dflt_bridge_getlink(skb, pid, seq, dev, mode, 0, 0);
 ^
In file included from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/net/dst.h:13:0,
                from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/net/sock.h:72,
                from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/linux/tcp.h:23,
                from /install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:34:
/usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/linux/rtnetlink.h:100:12: замечание: declared here
extern int ndo_dflt_bridge_getlink(struct sk_buff *skb, u32 pid, u32 seq,
           ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: На верхнем уровне:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2339:2: ошибка: несовместимый тип указателя в инициализации [-Werror]
 .ndo_fdb_add  = igb_ndo_fdb_add,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2339:2: ошибка: (где-то рядом с инициализацией для «igb_netdev_ops.<anonymous>.ndo_fdb_add») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2346:2: ошибка: несовместимый тип указателя в инициализации [-Werror]
 .ndo_bridge_setlink = igb_ndo_bridge_setlink,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2346:2: ошибка: (где-то рядом с инициализацией для «igb_netdev_ops.<anonymous>.ndo_bridge_setlink») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2347:2: ошибка: несовместимый тип указателя в инициализации [-Werror]
 .ndo_bridge_getlink = igb_ndo_bridge_getlink,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2347:2: ошибка: (где-то рядом с инициализацией для «igb_netdev_ops.<anonymous>.ndo_bridge_getlink») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: В функции «igb_ndo_bridge_getlink»:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2295:1: ошибка: control reaches end of non-void function [-Werror=return-type]
}
^
cc1: all warnings being treated as errors
make[8]: *** [/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.o] Ошибка 1
make[7]: *** [_module_/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni] Ошибка 2
make[6]: *** [sub-make] Ошибка 2
make[5]: *** [rte_kni.ko] Ошибка 2
make[4]: *** [kni] Ошибка 2
make[3]: *** [linuxapp] Ошибка 2
make[2]: *** [librte_eal] Ошибка 2
make[1]: *** [lib] Ошибка 2
make: *** [all] Ошибка 2

И так, пришла сетевая двухголовая I350

Пытаюсь скомпилить dpdk

выходит тоже самое

/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: В функции «igb_ndo_bridge_getlink»:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2290:2: ошибка: слишком мало аргументов в вызове фун                                  кции «ndo_dflt_bridge_getlink»
 return ndo_dflt_bridge_getlink(skb, pid, seq, dev, mode, 0, 0);
 ^
In file included from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/net/dst.h:13:0,
                from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/net/sock.h:72,
                from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/linux/tcp.h:23,
                from /install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:34:
/usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/linux/rtnetlink.h:100:12: замечание: declared here
extern int ndo_dflt_bridge_getlink(struct sk_buff *skb, u32 pid, u32 seq,
           ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: На верхнем уровне:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2339:2: ошибка: несовместимый тип указателя в инициа                                  лизации [-Werror]
 .ndo_fdb_add  = igb_ndo_fdb_add,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2339:2: ошибка: (где-то рядом с инициализацией для                                    igb_netdev_ops.<anonymous>.ndo_fdb_add») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2346:2: ошибка: несовместимый тип указателя в инициа                                  лизации [-Werror]
 .ndo_bridge_setlink = igb_ndo_bridge_setlink,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2346:2: ошибка: (где-то рядом с инициализацией для                                    igb_netdev_ops.<anonymous>.ndo_bridge_setlink») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2347:2: ошибка: несовместимый тип указателя в инициа                                  лизации [-Werror]
 .ndo_bridge_getlink = igb_ndo_bridge_getlink,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2347:2: ошибка: (где-то рядом с инициализацией для                                    igb_netdev_ops.<anonymous>.ndo_bridge_getlink») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: В функции «igb_ndo_bridge_getlink»:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2295:1: ошибка: control reaches end of non-void func                                  tion [-Werror=return-type]
}
^
cc1: all warnings being treated as errors
make[8]: *** [/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.o] Ошибка 1
make[7]: *** [_module_/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni] Ошибка 2
make[6]: *** [sub-make] Ошибка 2
make[5]: *** [rte_kni.ko] Ошибка 2
make[4]: *** [kni] Ошибка 2
make[3]: *** [linuxapp] Ошибка 2
make[2]: *** [librte_eal] Ошибка 2
make[1]: *** [lib] Ошибка 2
make: *** [all] Ошибка 2

[Antares]

Блин...dpdk 16.11 собралось, но теперь сам extfiler ругается

In file included from /usr/src/dpdk/build/include/rte_debug.h:47:0,
                from /usr/src/dpdk/build/include/rte_pci.h:85,
                from /usr/src/dpdk/build/include/rte_ethdev.h:182,
                from reader.cpp:4:
/usr/src/dpdk/build/include/rte_pci.h: В функции «void rte_eal_pci_device_name(const rte_pci_addr*, char*, size_t)»:
/usr/src/dpdk/build/include/rte_pci.h:99:27: ошибка: expected «)» before «PRIx16»
#define PCI_PRI_FMT "%.4" PRIx16 ":%.2" PRIx8 ":%.2" PRIx8 ".%" PRIx8
                          ^
/usr/src/dpdk/build/include/rte_branch_prediction.h:67:40: замечание: in definition of macro «unlikely»
#define unlikely(x)  __builtin_expect((x),0)
                                       ^
/usr/src/dpdk/build/include/rte_pci.h:322:2: замечание: in expansion of macro «RTE_VERIFY»
 RTE_VERIFY(snprintf(output, size, PCI_PRI_FMT,
 ^
/usr/src/dpdk/build/include/rte_pci.h:322:36: замечание: in expansion of macro «PCI_PRI_FMT»
 RTE_VERIFY(snprintf(output, size, PCI_PRI_FMT,
                                   ^
/usr/src/dpdk/build/include/rte_pci.h:324:35: предупреждение: в преобразовании в конце формата не указан тип [-Wformat=]
       addr->devid, addr->function) >= 0);
                                  ^
/usr/src/dpdk/build/include/rte_branch_prediction.h:67:40: замечание: in definition of macro «unlikely»
#define unlikely(x)  __builtin_expect((x),0)
                                       ^
/usr/src/dpdk/build/include/rte_pci.h:322:2: замечание: in expansion of macro «RTE_VERIFY»
 RTE_VERIFY(snprintf(output, size, PCI_PRI_FMT,
 ^
/usr/src/dpdk/build/include/rte_pci.h:324:35: предупреждение: слишком много аргументов для форматирования [-Wformat-extra-args]
       addr->devid, addr->function) >= 0);
                                  ^
/usr/src/dpdk/build/include/rte_branch_prediction.h:67:40: замечание: in definition of macro «unlikely»
#define unlikely(x)  __builtin_expect((x),0)
                                       ^
/usr/src/dpdk/build/include/rte_pci.h:322:2: замечание: in expansion of macro «RTE_VERIFY»
 RTE_VERIFY(snprintf(output, size, PCI_PRI_FMT,
 ^
/usr/src/dpdk/build/include/rte_pci.h:324:35: предупреждение: в преобразовании в конце формата не указан тип [-Wformat=]
       addr->devid, addr->function) >= 0);
                                  ^
/usr/src/dpdk/build/include/rte_branch_prediction.h:67:40: замечание: in definition of macro «unlikely»
#define unlikely(x)  __builtin_expect((x),0)
                                       ^
/usr/src/dpdk/build/include/rte_pci.h:322:2: замечание: in expansion of macro «RTE_VERIFY»
 RTE_VERIFY(snprintf(output, size, PCI_PRI_FMT,
 ^
/usr/src/dpdk/build/include/rte_pci.h:324:35: предупреждение: слишком много аргументов для форматирования [-Wformat-extra-args]
       addr->devid, addr->function) >= 0);
                                  ^
/usr/src/dpdk/build/include/rte_branch_prediction.h:67:40: замечание: in definition of macro «unlikely»
#define unlikely(x)  __builtin_expect((x),0)
                                       ^
/usr/src/dpdk/build/include/rte_pci.h:322:2: замечание: in expansion of macro «RTE_VERIFY»
 RTE_VERIFY(snprintf(output, size, PCI_PRI_FMT,
 ^
make[1]: *** [reader.o] Ошибка 1
make[1]: Выход из каталога `/install/extfilter/src'
make: *** [all-recursive] Ошибка 1

 

Есть у кого нибудь мысли?? На персоналке с i7 без проблем собирал неоднократно, а на HP с процом Е5410 ни как не получается поднять

[Antares]

Всё, вопрос снимается, решил проблему

Не мог собрать на ядрах 3.10, хотя на другом сервере без проблем собиралось

Поставил с elrepo 4.4, собралось всё и заработало

[Antares]

del

Изменено 26 декабря, 2016 пользователем Antares

[kisa]

Подскажите пожалуйста, а когда происходит reload nfq_filter с помощью kill -HIP, в этот момент что происходит с запросами? они где-то в очереди копятся? не может быть пропусков из-за этого?

попутно вопрос, как искать причину пропусков, ручная проверка всегда показывает, что все ок блокируется, а ревизор думает иначе, как быть? делать дамп и смотреть что там действительно в трафике было?

[XomA]

Всё, вопрос снимается, решил проблему

Не мог собрать на ядрах 3.10, хотя на другом сервере без проблем собиралось

Поставил с elrepo 4.4, собралось всё и заработало

 

Antares, с ядром 4.4 какая версия dpdk собралась? 16.07.2 ? И PPP нормально собралось?

[myth]

А с pppoe extfilter работает?

[Antares]

Всё, вопрос снимается, решил проблему

Не мог собрать на ядрах 3.10, хотя на другом сервере без проблем собиралось

Поставил с elrepo 4.4, собралось всё и заработало

 

Antares, с ядром 4.4 какая версия dpdk собралась? 16.07.2 ? И PPP нормально собралось?

Да всё нормально собралось, 16.07.2

 

Поделитесь кто-нибудь скриптиком, чтобы дёргать с дампа реестра ресурсы, который только заблокированы по ip. Вариант с bgp не подходит. Блокируем их iptables+ipset

[alibek]

/reg:register/content[@blockType=ip]/ip

[arhead]

Поделитесь кто-нибудь скриптиком, чтобы дёргать с дампа реестра ресурсы, который только заблокированы по ip. Вариант с bgp не подходит. Блокируем их iptables+ipset

 

Писал скрипт для себя. Смысл его он сохраняет в файл заблоченные IP потом при повторном запуске проверяет md5 сумму старого нового и если надо делает обновления. (Функцию тут убрал так как написана для Access-list для cisco asr)

ip_upd.py.zip

Изменено 27 декабря, 2016 пользователем arhead

[Antares]

всем спасибо )))

[Antares]

extfilter пропустил

https://63.221.87.71/

https://91.201.215.208/mtg2/cgi/free.Welcome?lang=rus

пришлось по ip блокировать

Изменено 27 декабря, 2016 пользователем Antares

[max1976]

extfilter пропустил

https://63.221.87.71/

https://91.201.215.208/mtg2/cgi/free.Welcome?lang=rus

пришлось по ip блокировать

Блокируются как надо.

[Antares]

Странно, почему у меня не хочет ловить их

[Antares]

extfilter пропустил

https://63.221.87.71/

https://91.201.215.2...elcome?lang=rus

пришлось по ip блокировать

 

Разобрался, в настройках было block_undetected_ssl = false

Поставил true, заработало

[IMPERATOR]

Привет всем !

Пересобрал вчера по новой extfilter , вроде второй день нету отказов в работе, в отчетах по пропускам с нескольких тысяч осталось десятки сайтов .

 

2 дня подряд не блочатся вот эти , хотя они и раньше не блочились

https://52.29.64.231:16869/en/, 52.29.64.231, GET
https://52.29.64.231:16869/en/, 52.29.64.231, GET
https://52.29.64.231:16869/ru/, 52.29.64.231, GET
https://52.28.27.206:16869/ru/promotions, 52.28.27.206, GET
https://52.28.27.206:16869/ru/odds/today/e-sports, 52.28.27.206, GET
https://52.28.27.206:16869/ru/odds/today/football, 52.28.27.206, GET
https://52.28.27.206:16869/ru/odds-list/, 52.28.27.206, GET
https://52.28.27.206:16869/ru/odds/today/soccer, 52.28.27.206, GET
https://52.50.87.120:16869/ru/, 52.50.87.120, GET
https://52.28.27.206:16869/it/, 52.28.27.206, GET
https://52.50.87.120:16869/en/, 52.50.87.120, GET
https://52.28.27.206:16869/en/, 52.28.27.206, GET
https://52.50.87.120:16869/ru/odds-list/, 52.50.87.120, GET
https://52.50.87.120:16869/ru/odds-list/countries/formula-1, 52.50.87.120, GET
https://52.50.87.120:16869/ru/odds-list/countries/Alpine-Skiing, 52.50.87.120, GET
https://52.28.27.206:16869/ru/odds-list/countries/Entertainment, 52.28.27.206, GET
https://52.29.64.231:16869/ru/odds-list/countries/Entertainment, 52.29.64.231, GET
https://52.50.87.120:16869/ru/odds-list/countries/Entertainment, 52.50.87.120, GET
https://52.28.27.206:16869/ru/odds/match/baseball/usa/mlb, 52.28.27.206, GET
http://knigidarom.ru/domovodstvo_main/domovodstvo/3034/read.htm#book, 69.73.181.191, GET

 

в чем может быть причина ?

Изменено 28 декабря, 2016 пользователем IMPERATOR

[Antares]

У меня блочатся

[ixi]

Подскажите пожалуйста, а когда происходит reload nfq_filter с помощью kill -HIP, в этот момент что происходит с запросами? они где-то в очереди копятся? не может быть пропусков из-за этого?

попутно вопрос, как искать причину пропусков, ручная проверка всегда показывает, что все ок блокируется, а ревизор думает иначе, как быть? делать дамп и смотреть что там действительно в трафике было?

На ранних версиях точно были пропуски. Всегда запускал новый инстанс и заворачивал трафик через него перед обновлением списка.

[max1976]

в чем может быть причина ?

 

Уберите из конфига extfilter параметр protocols. Проверьте, чтобы указанные ip:port были в файле, указанном в hostlist.

 

extfilter пропустил

https://63.221.87.71/

https://91.201.215.2...elcome?lang=rus

пришлось по ip блокировать

 

Разобрался, в настройках было block_undetected_ssl = false

Поставил true, заработало

 

Это неправильно. Проверьте, чтобы была директива hostlist и в указанном файле были указаны, например 63.221.87.71:443.

[Antares]

в чем может быть причина ?

 

Уберите из конфига extfilter параметр protocols. Проверьте, чтобы указанные ip:port были в файле, указанном в hostlist.

 

extfilter пропустил

https://63.221.87.71/

https://91.201.215.2...elcome?lang=rus

пришлось по ip блокировать

 

Разобрался, в настройках было block_undetected_ssl = false

Поставил true, заработало

 

Это неправильно. Проверьте, чтобы была директива hostlist и в указанном файле были указаны, например 63.221.87.71:443.

есть файл hosts, а в конфиге его упоминания нет.

прописать hostlist = /path/hosts

так???