1. Для блокировка используем

[myth]

Nfq на зеркале трафика исходящего работает, а нфк на бгп анонсах

кагбэ наоборот

 

Вот всё что в messages попадает в момент падения

а в логах самого extfilter что?

[Antares]

 

а в логах самого extfilter что?

В том то и дело, что ничего. Включил дебаг, посмотрим....пока 2 часа работает, не падает

[yKpon]

по is-news и подобному чуть выше есть решение

сделал, теперь блокируется

 

но http://www.shortnews.de/beamto/uwww.artnet.de%2FWebServices%2Fimages%2Fll01194lldjRoGFgSJOJ3CfDrCWvaHBOcE30C%2Fjock-sturges-portrait-of-sophie%2C-mylene%2C-charlotte%2C-alice%2C-estelle%2C-et-cecile%2C-montalivet%2C-france.jpg по прежнему не блокирует, открывается, в базе mysql он есть, в файле urls тоже в строке номер 44402

 

то есть пропуск всего 1 урл

Изменено 26 февраля, 2017 пользователем yKpon

[myth]

Выпускай Ревизор в интернет прямо с сервера с фильтром, чтоб пропуски не зависили от анонсов ip.

 

PS. У меня блокируется

[Rick]

по is-news и подобному чуть выше есть решение

сделал, теперь блокируется

 

но http://www.shortnews.de/beamto/uwww.artnet.de%2FWebServices%2Fimages%2Fll01194lldjRoGFgSJOJ3CfDrCWvaHBOcE30C%2Fjock-sturges-portrait-of-sophie%2C-mylene%2C-charlotte%2C-alice%2C-estelle%2C-et-cecile%2C-montalivet%2C-france.jpg по прежнему не блокирует, открывается, в базе mysql он есть, в файле urls тоже в строке номер 44402

 

то есть пропуск всего 1 урл

 

Для этого случая тоже есть решение, добавить строку: $url =~ s/\%2F/\//g; в файл make_files.pl

в секцию sub _encode_sp

[oborot.bolta]

Коллеги! Добрый день!

 

А кто, чем проверяет что записи из реестра нормально блокируются? (не считая самого ревизора)

[yKpon]

Для этого случая тоже есть решение, добавить строку: $url =~ s/\%2F/\//g; в файл make_files.pl

в секцию sub _encode_sp

благодарю, теперь блокирует!

 

как насчёт патча в коммиты?

http://paste.org.ru/?kcgjoa

Изменено 28 февраля, 2017 пользователем yKpon

[v912342001]

Вот все хорошо, все работает, только в логах такая фигня:

 

017-02-28 08:31:03.035 [9153] Information Application - Total seen packets: lu, Total seen bytes: lu, Average packet size: [ERRFMT] bytes, Traffic throughput: [ERRFMT] pps

2017-02-28 08:31:03.035 [9153] Information Application - Total matched by ip/port: lu, Total matched by ssl: lu, Total matched by ssl/ip: lu

2017-02-28 08:31:03.035 [9153] Information Application - Total redirected domains lu, Total redirected urls: lu, Total marked ssl: lu, Total marked hosts: lu, Total rst sended: lu

 

то есть статистику не вижу :(

может кто подскажет куда рыть

[Antares]

Ну чтож, после 2-х суток работы падения возобновились. В логах так же ничего криминального даже при дебаге. Хз даже что и думать

[micol]

Все уже спрашивали тут...

 

https://rkn.gov.ru/press/conference/conf17.htm

 

По существу ответов нет, одна вода и цитаты

Но отвечали что не будут. Ревизор отчеты же лепит, если в отчете будет IP не указанный в реестре - не должны

[Antares]

заметил, что при запуске стал выдавать

EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles !

 

что это??

[Cramac]

А подскажите новичку черного списка.

Ставить сие ПО надо на шлюзе? или где то отдельно можно и на него зеркалить трафик?

что то описание скудное на сайте софтины. Ставить на шлюз, трафик гнать через iptables на нее?

[yKpon]

А подскажите новичку черного списка.

Ставить сие ПО надо на шлюзе? или где то отдельно можно и на него зеркалить трафик?

что то описание скудное на сайте софтины. Ставить на шлюз, трафик гнать через iptables на нее?

исходящий трафик заверните на бордере через mangle в сторону фильтра

 

по теме хорошей блокировке, по отчётам ревизора всё отлично, пропусков нет! но смотрю для примера в урлах https://52.29.64.231:16869/en/, а он с*цуко открывается =)))

[Antares]

запустил не демоном, при падение выдало

8795 Аварийный останов         /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

Что самое интересное, что такая е проблема на другой машине, которая была поставлена взамен старой.

[max1976]

запустил не демоном, при падение выдало

8795 Аварийный останов         /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

Что самое интересное, что такая е проблема на другой машине, которая была поставлена взамен старой.

Добавьте возможность создавать core dump файлы перед запуском extFilter (ulimit -c unlimited). После падения будет создан core файл, который отправите мне на почту.

[Antares]

запустил не демоном, при падение выдало

8795 Аварийный останов         /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

Что самое интересное, что такая е проблема на другой машине, которая была поставлена взамен старой.

Добавьте возможность создавать core dump файлы перед запуском extFilter (ulimit -c unlimited). После падения будет создан core файл, который отправите мне на почту.

Ок. Если теперь упадёт. Я откатился на более старую версию

ps: Для чистоты эксперимента поставил последнюю версию, наблюдаю

Изменено 28 февраля, 2017 пользователем Antares

[NightElf]

In file included from /home/farton/dpdk-stable-16.07.2/lib/librte_eal/common/eal_common_options.c:52:0:

/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:634:13: error: called from here

             _mm_storeu_si128((__m128i *)((uint8_t *)dst + 1 * 16), _mm_alignr_epi8(xmm2, xmm1, offset));    \

             ^

/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:674:16: note: in expansion of macro 'MOVEUNALIGNED_LEFT47_IMM'

     case 0x0F: MOVEUNALIGNED_LEFT47_IMM(dst, src, n, 0x0F); break;    \

                ^

/home/farton/dpdk-stable-16.07.2/build/include/rte_memcpy.h:814:2: note: in expansion of macro 'MOVEUNALIGNED_LEFT47'

  MOVEUNALIGNED_LEFT47(dst, src, n, srcofs);

  ^

make[5]: *** [eal_common_options.o] Error 1

make[4]: *** [eal] Error 2

make[3]: *** [linuxapp] Error 2

make[2]: *** [librte_eal] Error 2

make[1]: *** [lib] Error 2

make: *** [all] Error 2

 

Выдало таки ERROR: This system does not support "SSSE3". Теперь все ясно.

 

Столкнулся с тем же - если я правильно понял - DPDK собирается только на машинах поддерживающих SSSE3?

[myth]

да

 

А работать будет только на 4 физических ядрах, как минимум

[Antares]

запустил не демоном, при падение выдало

8795 Аварийный останов         /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

Что самое интересное, что такая е проблема на другой машине, которая была поставлена взамен старой.

Добавьте возможность создавать core dump файлы перед запуском extFilter (ulimit -c unlimited). После падения будет создан core файл, который отправите мне на почту.

Упало, ничего не создалось :(

[Piyoz]

Тоже столкнулся с тем, что на 3.10.0-327.36.3.el7.x86_64 DPDK 16.07 собирается, а вот уже на 3.10.0-514.6.1.el7.x86_64 не собирается DPDK 16.07.2

 

Патч для сборки DPDK 16.07.2 на Centos 7.3

http://www.dpdk.org/browse/dpdk/commit/lib/librte_eal/linuxapp/kni/ethtool/igb/kcompat.h?id=e30a0178d290a4e83dc01f9c2170d4859339c9cf

[Antares]

Тоже столкнулся с тем, что на 3.10.0-327.36.3.el7.x86_64 DPDK 16.07 собирается, а вот уже на 3.10.0-514.6.1.el7.x86_64 не собирается DPDK 16.07.2

 

Патч для сборки DPDK 16.07.2 на Centos 7.3

http://www.dpdk.org/browse/dpdk/commit/lib/librte_eal/linuxapp/kni/ethtool/igb/kcompat.h?id=e30a0178d290a4e83dc01f9c2170d4859339c9cf

Спасибо. Да собирается ))

На фоне своей проблемы для пробы ушёл на сентосовское ядро и последнюю версию extfilter, будем тестить.

[hsvt]

А в стейбл ветку dpdk это запушили?

[max1976]

запустил не демоном, при падение выдало

8795 Аварийный останов         /usr/local/bin/extFilter --config-file /usr/local/etc/extfilter.ini

Что самое интересное, что такая е проблема на другой машине, которая была поставлена взамен старой.

Добавьте возможность создавать core dump файлы перед запуском extFilter (ulimit -c unlimited). После падения будет создан core файл, который отправите мне на почту.

Упало, ничего не создалось :(

 

Значит приложение завершилось с какой-то ошибкой (например, нехватка памяти) и в логе должна быть запись об этом. Трафика много идет на extfilter (pps)? Сколько памяти в сервере?

[Antares]

Памяти 16 гигов, трафика не много, 150к примерно в пиках. То что было в логах, я писал. Сервак 2 месяца проработал без нареканий, и тут начались подарки на 23 февраля. Какой то закономерности не выявлено, падает даже не в ЧНН. Ядра изолированы под extfilter всё чётко с инструкцией.

 

PS Часть лога во вложении. Упало в 17-30 примерно

extfilter.log.txt

Изменено 2 марта, 2017 пользователем Antares

[oborot.bolta]

да

 

А работать будет только на 4 физических ядрах, как минимум

 

минимум на 3 все зависит от типа сетевых карт