1. Для блокировка используем

[Antares]

2 часа назад, daltech сказал:

Отчет за 21-е число. Список генпрокуратуры вообще мы где брать должны и должны ли?

Что за такой список??? Генпрокуратура в реестр кладёт. Пропуски  на какую запись в реестре ссылаются??

[epollia]

Еще возник вопрос.

allports.missed_packets показывает сколько всего пакетов потерялось с момента запуска extFilter или показывает сколько пакетов поетрялось за период между выводом статы(дельта)?

 

Спасибо. Новую версию еще не опробовал. думаю завтра соберу

 

[max1976]

Только что, epollia сказал:

Еще возник вопрос.

allports.missed_packets показывает сколько всего пакетов потерялось с момента запуска extFilter или показывает сколько пакетов поетрялось за период между выводом статы(дельта)?

 

Спасибо. Новую версию еще не опробовал. думаю завтра соберу

 

Счетчик накопительный - сколько пакетов пропущено с момента запуска фильтра.

[arhead]

А вот кто использует nfqfilter для дополнительной блокировки? Списки от extFilter ему даете?

[myth]

Да

[epollia]

Подскажите примерную производительность extfilter?

 

есть проц Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz

Сетевая х520

24 гб ОЗУ.

 

Интересуюсь потому что пока удалось выжать 1.2 Mpps без потерь. Хочется знать стоит ли дальше подбирать параметры или это предел.

Изменено 23 ноября, 2017 пользователем epollia

[max1976]

3 часа назад, epollia сказал:

Подскажите примерную производительность extfilter?

 

есть проц Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz

Сетевая х520

24 гб ОЗУ.

 

Интересуюсь потому что пока удалось выжать 1.2 Mpps без потерь. Хочется знать стоит ли дальше подбирать параметры или это предел.

Сколько ядер используется в работе фильтра?

[epollia]

8 часов назад, max1976 сказал:

Сколько ядер используется в работе фильтра?

5 ядер и 16 Гб ОЗУ

 

Решил замониторить работу через extFilter_stat и возник еще вопрос.

extfilter.stat[allworkers.total_bytes]

сделал чтобы снимался раз в 5 минут и выводил дельту в секунду.

На выходе получил, что в порт летит 4Гига а stat показывает 2 Гига.

Изменено 24 ноября, 2017 пользователем epollia

[Zarin]

max1976 да, имеено в индексе была проблема. Не было обновлена схема базы.

Спасибо.

[Antares]

После после исправления скрипта extfilter-maker.pl, появились пропуски www.spravka-help.org, откатился на предыдущую версию

[max1976]

4 часа назад, Antares сказал:

После после исправления скрипта extfilter-maker.pl, появились пропуски www.spravka-help.org, откатился на предыдущую версию

Ошибку исправил. Изменения на github'е.

 

8 часов назад, epollia сказал:

5 ядер и 16 Гб ОЗУ

 

1,2 mbps мало для 5 ядер. Можно больше.

[Andrei]

5 часов назад, max1976 сказал:

Изменения на github'е.

На gihub-е не расписано начало работы с ним "с нуля"?

[arhead]

max1976  А какой принцип обработки ссылок с точкой? Скрипт ее убирает или добавляет запись без точки?

[max1976]

В 26.11.2017 в 09:52, arhead сказал:

max1976  А какой принцип обработки ссылок с точкой? Скрипт ее убирает или добавляет запись без точки?

Что внесли в реестр, то и блокируем.

[arhead]

1 минуту назад, max1976 сказал:

Что внесли в реестр, то и блокируем.

Как я понял сейчас опцию удаления точки лучше выключить? Была включена 8 пропусков появилось. Сейчас выключил посмотрим на завтрашние отчеты ревизора. nfqfilter как я понял будет пропускать если ему сейчас файлы подкинуть от extfilter?

[max1976]

Только что, arhead сказал:

Как я понял сейчас опцию удаления точки лучше выключить? Была включена 8 пропусков появилось. Сейчас выключил посмотрим на завтрашние отчеты ревизора. nfqfilter как я понял будет пропускать если ему сейчас файлы подкинуть от extfilter?

Выключить remove_dot и тогда будет блокировка в том виде, что в реестре. Это актуально и для nfqfilter.

[dee]

Спойлер

rnk /tmp # gdb /usr/src/TEST-7/extfilter/src/extFilter --core ./core-ReloadTask-6-0-0-23813-1511501481 
GNU gdb (Gentoo 7.12.1 vanilla) 7.12.1
Copyright (C) 2017 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.  Type "show copying"
and "show warranty" for details.
This GDB was configured as "x86_64-pc-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<https://bugs.gentoo.org/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.
For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from /usr/src/TEST-7/extfilter/src/extFilter...done.
[New LWP 23846]
[New LWP 23820]
[New LWP 23822]
[New LWP 23824]
[New LWP 23825]
[New LWP 23826]
[New LWP 23827]
[New LWP 23828]
[New LWP 23829]
[New LWP 23830]
[New LWP 23831]
[New LWP 23832]
[New LWP 23833]
[New LWP 23834]
[New LWP 23845]
[New LWP 23847]
[New LWP 16571]
[New LWP 23813]
[New LWP 23821]
[New LWP 23818]
[New LWP 23819]
[New LWP 23823]
[New LWP 23816]
[New LWP 23817]
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib64/libthread_db.so.1".
Core was generated by `/usr/src/TEST-7/extfilter/src/extFilter --daemon -f /usr/src/TEST-7/extfilter/e'.
Program terminated with signal SIGABRT, Aborted.
#0  0x00007ff5ea686148 in raise () from /lib64/libc.so.6
[Current thread is 1 (Thread 0x7ff4eeffd700 (LWP 23846))]
(gdb) 

 

 

coredump

[myth]

2 часа назад, arhead сказал:

nfqfilter как я понял будет пропускать если ему сейчас файлы подкинуть от extfilter?

не будет.

[arhead]

Только что, myth сказал:

не будет.

А какой именно используете nfqfilter? От max1976 или другой какой то?

[myth]

Значительных отличий между ними нет

[max1976]

1 час назад, dee сказал:

  Скрыть контент

rnk /tmp # gdb /usr/src/TEST-7/extfilter/src/extFilter --core ./core-ReloadTask-6-0-0-23813-1511501481 
GNU gdb (Gentoo 7.12.1 vanilla) 7.12.1
Copyright (C) 2017 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.  Type "show copying"
and "show warranty" for details.
This GDB was configured as "x86_64-pc-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<https://bugs.gentoo.org/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.
For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from /usr/src/TEST-7/extfilter/src/extFilter...done.
[New LWP 23846]
[New LWP 23820]
[New LWP 23822]
[New LWP 23824]
[New LWP 23825]
[New LWP 23826]
[New LWP 23827]
[New LWP 23828]
[New LWP 23829]
[New LWP 23830]
[New LWP 23831]
[New LWP 23832]
[New LWP 23833]
[New LWP 23834]
[New LWP 23845]
[New LWP 23847]
[New LWP 16571]
[New LWP 23813]
[New LWP 23821]
[New LWP 23818]
[New LWP 23819]
[New LWP 23823]
[New LWP 23816]
[New LWP 23817]
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib64/libthread_db.so.1".
Core was generated by `/usr/src/TEST-7/extfilter/src/extFilter --daemon -f /usr/src/TEST-7/extfilter/e'.
Program terminated with signal SIGABRT, Aborted.
#0  0x00007ff5ea686148 in raise () from /lib64/libc.so.6
[Current thread is 1 (Thread 0x7ff4eeffd700 (LWP 23846))]
(gdb) 

 

 

coredump

В dbg вывод bt приведите.

[dee]

2 часа назад, max1976 сказал:

В dbg вывод bt приведите.

Спойлер

rnk /tmp # gdb /usr/src/TEST-7/extfilter/src/extFilter --core ./core-ReloadTask-6-0-0-23813-1511501481 
GNU gdb (Gentoo 7.12.1 vanilla) 7.12.1
Copyright (C) 2017 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.  Type "show copying"
and "show warranty" for details.
This GDB was configured as "x86_64-pc-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<https://bugs.gentoo.org/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.
For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from /usr/src/TEST-7/extfilter/src/extFilter...done.
[New LWP 23846]
[New LWP 23820]
[New LWP 23822]
[New LWP 23824]
[New LWP 23825]
[New LWP 23826]
[New LWP 23827]
[New LWP 23828]
[New LWP 23829]
[New LWP 23830]
[New LWP 23831]
[New LWP 23832]
[New LWP 23833]
[New LWP 23834]
[New LWP 23845]
[New LWP 23847]
[New LWP 16571]
[New LWP 23813]
[New LWP 23821]
[New LWP 23818]
[New LWP 23819]
[New LWP 23823]
[New LWP 23816]
[New LWP 23817]
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib64/libthread_db.so.1".
Core was generated by `/usr/src/TEST-7/extfilter/src/extFilter --daemon -f /usr/src/TEST-7/extfilter/e'.
Program terminated with signal SIGABRT, Aborted.
#0  0x00007ff5ea686148 in raise () from /lib64/libc.so.6
[Current thread is 1 (Thread 0x7ff4eeffd700 (LWP 23846))]
(gdb) bt
#0  0x00007ff5ea686148 in raise () from /lib64/libc.so.6
#1  0x00007ff5ea6875ca in abort () from /lib64/libc.so.6
#2  0x00007ff5eb630cf5 in Poco::SignalHandler::handleSignal(int) () from /usr/lib64/libPocoFoundation.so.46
#3  <signal handler called>
#4  0x00007ff5ea6c86db in ?? () from /lib64/libc.so.6
#5  0x00007ff5ea6ca152 in ?? () from /lib64/libc.so.6
#6  0x00007ff5ea6cc1f4 in malloc () from /lib64/libc.so.6
#7  0x00007ff5eb1d34e8 in operator new(unsigned long) () from /usr/lib/gcc/x86_64-pc-linux-gnu/5.4.0/libstdc++.so.6
#8  0x00007ff5eb1d3589 in operator new[](unsigned long) () from /usr/lib/gcc/x86_64-pc-linux-gnu/5.4.0/libstdc++.so.6
#9  0x00007ff5eb5ebe17 in Poco::FileStreamBuf::FileStreamBuf() () from /usr/lib64/libPocoFoundation.so.46
#10 0x00007ff5eb5ec258 in Poco::FileIOS::FileIOS(std::_Ios_Openmode) () from /usr/lib64/libPocoFoundation.so.46
#11 0x00007ff5eb5eca15 in Poco::FileInputStream::FileInputStream(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::_Ios_Openmode) () from /usr/lib64/libPocoFoundation.so.46
#12 0x00000000005a448d in ACL::initACL(std::map<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, int, std::less<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::allocator<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const, int> > >&, int, std::set<rte_acl_ctx*, std::less<rte_acl_ctx*>, std::allocator<rte_acl_ctx*> >*) ()
#13 0x000000000057e99a in extFilter::loadACL(std::set<rte_acl_ctx*, std::less<rte_acl_ctx*>, std::allocator<rte_acl_ctx*> >*) ()
#14 0x00000000005a166f in ReloadTask::runTask() ()
#15 0x00007ff5eb63acd6 in Poco::Task::run() () from /usr/lib64/libPocoFoundation.so.46
#16 0x00007ff5eb648657 in Poco::PooledThread::run() () from /usr/lib64/libPocoFoundation.so.46
#17 0x00007ff5eb643cc9 in Poco::ThreadImpl::runnableEntry(void*) () from /usr/lib64/libPocoFoundation.so.46
#18 0x00007ff5ea9f33e4 in start_thread () from /lib64/libpthread.so.0
#19 0x00007ff5ea73aa9d in clone () from /lib64/libc.so.6
(gdb

 bt

 

могу точно сказать , что происходит данная балалайка во время HUP

Изменено 27 ноября, 2017 пользователем dee

[max1976]

2 часа назад, dee сказал:

могу точно сказать , что происходит данная балалайка во время HUP

Какая-то проблема с доступностью файла для ACL (файл из hostlist и/или sslips). Проверьте что с ним, когда даете сигнал HUP.

[daltech]

В 27.11.2017 в 18:26, max1976 сказал:

Выключить remove_dot и тогда будет блокировка в том виде, что в реестре. Это актуально и для nfqfilter.

А можно поподробнее? Где эта настройка? В nfqfilter.ini такой опции не вижу.

[max1976]

3 часа назад, daltech сказал:

А можно поподробнее? Где эта настройка? В nfqfilter.ini такой опции не вижу.

В конфиге никак. Только комментированием в коде со строки https://github.com/max197616/nfqfilter/blob/master/src/pktanalyzer.cpp#L325 по https://github.com/max197616/nfqfilter/blob/master/src/pktanalyzer.cpp#L329