1. Для блокировка используем

[Morphus]

Подскажите, это плохие временные показатели блокировки ?

 

Скрытый текст

2020-07-02 19:20:14.979 [8725] Information Application - Port 0 input packets 81213327, input errors: 0, mbuf errors: 0, missed packets: 0
2020-07-02 19:20:14.979 [8725] Information Application - Port 1 input packets 0, input errors: 0, mbuf errors: 0, missed packets: 0
2020-07-02 19:20:14.980 [8725] Information Application - Worker thread on core 1 statistics:
2020-07-02 19:20:14.980 [8725] Information Application - Thread seen packets: 19221209, IP packets: 19216166 (IPv4 packets: 19216166, IPv6 packets: 0), seen bytes: 2966096002, Average packet size: 154 bytes, Traffic throughput: 15.13 K pps
2020-07-02 19:20:14.980 [8725] Information Application - Thread IPv4 fragments: 40, IPv6 fragments: 0, IPv4 short packets: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread matched by ip/port: 0, ssl SNI: 13, ssl/ip: 0, http IPv4: 138, http IPv6: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread redirected blocked http IPv4: 138, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 94, rst sended IPv6: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread packets latency all packets: 803 cycles (301 ns), unblocked packets: 802 cycles (301 ns), blocked packets: 125292 (46983 ns)
2020-07-02 19:20:14.980 [8725] Information Application - Worker thread on core 2 statistics:
2020-07-02 19:20:14.980 [8725] Information Application - Thread seen packets: 17138551, IP packets: 17138551 (IPv4 packets: 17138551, IPv6 packets: 0), seen bytes: 3248504063, Average packet size: 189 bytes, Traffic throughput: 13.90 K pps
2020-07-02 19:20:14.980 [8725] Information Application - Thread IPv4 fragments: 36, IPv6 fragments: 0, IPv4 short packets: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread matched by ip/port: 0, ssl SNI: 8, ssl/ip: 0, http IPv4: 103, http IPv6: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread redirected blocked http IPv4: 103, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 72, rst sended IPv6: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread packets latency all packets: 809 cycles (303 ns), unblocked packets: 808 cycles (303 ns), blocked packets: 142050 (53267 ns)
2020-07-02 19:20:14.980 [8725] Information Application - Worker thread on core 3 statistics:
2020-07-02 19:20:14.980 [8725] Information Application - Thread seen packets: 17382025, IP packets: 17382025 (IPv4 packets: 17382025, IPv6 packets: 0), seen bytes: 1666117999, Average packet size: 95 bytes, Traffic throughput: 10.01 K pps
2020-07-02 19:20:14.980 [8725] Information Application - Thread IPv4 fragments: 70, IPv6 fragments: 0, IPv4 short packets: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread matched by ip/port: 0, ssl SNI: 14, ssl/ip: 0, http IPv4: 84, http IPv6: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread redirected blocked http IPv4: 84, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 163, rst sended IPv6: 0
2020-07-02 19:20:14.980 [8725] Information Application - Thread packets latency all packets: 819 cycles (307 ns), unblocked packets: 818 cycles (307 ns), blocked packets: 140248 (52591 ns)
2020-07-02 19:20:14.980 [8725] Information Application - Worker thread on core 4 statistics:
2020-07-02 19:20:14.981 [8725] Information Application - Thread seen packets: 12245417, IP packets: 12245417 (IPv4 packets: 12245417, IPv6 packets: 0), seen bytes: 1332906375, Average packet size: 108 bytes, Traffic throughput: 8.83 K pps
2020-07-02 19:20:14.981 [8725] Information Application - Thread IPv4 fragments: 94, IPv6 fragments: 0, IPv4 short packets: 0
2020-07-02 19:20:14.981 [8725] Information Application - Thread matched by ip/port: 0, ssl SNI: 8, ssl/ip: 0, http IPv4: 22, http IPv6: 0
2020-07-02 19:20:14.981 [8725] Information Application - Thread redirected blocked http IPv4: 22, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 47, rst sended IPv6: 0
2020-07-02 19:20:14.981 [8725] Information Application - Thread packets latency all packets: 851 cycles (319 ns), unblocked packets: 851 cycles (319 ns), blocked packets: 210360 (78882 ns)
2020-07-02 19:20:14.981 [8725] Information Application - Worker thread on core 5 statistics:
2020-07-02 19:20:14.981 [8725] Information Application - Thread seen packets: 15229614, IP packets: 15229614 (IPv4 packets: 15229614, IPv6 packets: 0), seen bytes: 6598611192, Average packet size: 433 bytes, Traffic throughput: 12.50 K pps
2020-07-02 19:20:14.981 [8725] Information Application - Thread IPv4 fragments: 4, IPv6 fragments: 0, IPv4 short packets: 0
2020-07-02 19:20:14.981 [8725] Information Application - Thread matched by ip/port: 0, ssl SNI: 13, ssl/ip: 0, http IPv4: 145, http IPv6: 0
2020-07-02 19:20:14.981 [8725] Information Application - Thread redirected blocked http IPv4: 145, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 64, rst sended IPv6: 0
2020-07-02 19:20:14.981 [8725] Information Application - Thread packets latency all packets: 810 cycles (304 ns), unblocked packets: 809 cycles (303 ns), blocked packets: 129350 (48504 ns)
2020-07-02 19:20:14.981 [8725] Information Application - All worker threads seen packets: 81216816, IP packets: 81211773 (IPv4 packets: 81211773, IPv6 packets: 0), seen bytes: 15812235631, traffic throughtput: 60.37 K pps
2020-07-02 19:20:14.981 [8725] Information Application - All worker IPv4 fragments: 244, IPv6 fragments: 0, IPv4 short packets: 0
2020-07-02 19:20:14.981 [8725] Information Application - All worker threads matched by ip/port: 0, matched by ssl SNI: 56, matched by ssl/ip: 0, matched by HTTP: 492
2020-07-02 19:20:14.981 [8725] Information Application - All worker threads redirected blocked http: 492, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 440, rst sended IPv6: 0
 

 

Было у кого-нить что фильтр блокировал что НЕ надо ? Провели модернизацию сети, поставили циску большую. Подключили. МАК сендера сменил. Вроде работает, но начал блокировать наш личный кабинет :) а запрещённые сайты нет. 

Дебаг режим опказывает что отсылает ответ, но блока нет. А когда захожу в личный кабинет, дебаг не показывает ответ, а блок наоборот есть.. 

Имеет смысл белый или нет ип у dpi ?

Изменено 2 июля, 2020 пользователем Morphus

[arhead]

1 час назад, Morphus сказал:

Было у кого-нить что фильтр блокировал что НЕ надо ? Провели модернизацию сети, поставили циску большую. Подключили. МАК сендера сменил. Вроде работает, но начал блокировать наш личный кабинет :) а запрещённые сайты нет. 

Дебаг режим опказывает что отсылает ответ, но блока нет. А когда захожу в личный кабинет, дебаг не показывает ответ, а блок наоборот есть.. 

Имеет смысл белый или нет ип у dpi ?

Было не блокировал если указывал мак адрес не который на аплинка смотрит, или PortChannel на циске. Как указал мак адрес который смотрит на аплинка и влан антег все блокироваться пошло.

 

Изменено 2 июля, 2020 пользователем arhead

[Morphus]

4 часа назад, arhead сказал:

Как указал мак адрес который смотрит на аплинка

Ах, мне дали неправильный мак.. точнее после перенастройки порта с L2 на L3, его мак изменился (это вообще законно ?) Случайно заметил измену, поменял в фильтре - и всё заработало!

UPD:  
Был свитчпорт включен и неявно был дефолтный влан туда подключён. И отображался мак шлюза влана 1

Изменено 2 июля, 2020 пользователем Morphus

[ghost_tel]

Подскажите, кто-нибудь сталкивался с такой проблемой:

Стоит extfilter последней версии, ошибок в логах нигде нет, все вроде бы прекрасно работает, но ревизор показывает каждый день пропуски (плюс минус 100шт).

Начинаю проверять руками список: или все прекрасно блокирует или такого урла вообще нет ни в одной базе блокировок.

Выгрузку пробовал делать, каждый час, каждые 30 минут, каждые 15 минут.

[arhead]

8 часов назад, ghost_tel сказал:

Подскажите, кто-нибудь сталкивался с такой проблемой:

Стоит extfilter последней версии, ошибок в логах нигде нет, все вроде бы прекрасно работает, но ревизор показывает каждый день пропуски (плюс минус 100шт).

Начинаю проверять руками список: или все прекрасно блокирует или такого урла вообще нет ни в одной базе блокировок.

Выгрузку пробовал делать, каждый час, каждые 30 минут, каждые 15 минут.

Возможно ответ прилетает раньше от ресурса чем от фильтра. max1976 говорил что лучше дать ревизору белый ип чем за нат его.

[arhead]

Скрытый текст

hecking whether to use SSE4a... no
yes
yes
checking whether to use popcnt... yes
checking that generated files are newer than configure... done
configure: creating ./config.status
config.status: creating Makefile
config.status: creating marisa.pc
config.status: creating include/Makefile
config.status: creating include/marisa/Makefile
config.status: creating lib/Makefile
config.status: error: cannot find input file: `lib/marisa/Makefile.in'
Making all in include
make[1]: Entering directory '/usr/src/extfilter_0.99.4/marisa/include'
Making all in marisa
make[2]: Entering directory '/usr/src/extfilter_0.99.4/marisa/include/marisa'
make[2]: Nothing to be done for 'all'.
make[2]: Leaving directory '/usr/src/extfilter_0.99.4/marisa/include/marisa'
make[2]: Entering directory '/usr/src/extfilter_0.99.4/marisa/include'
make[2]: Nothing to be done for 'all-am'.
make[2]: Leaving directory '/usr/src/extfilter_0.99.4/marisa/include'
make[1]: Leaving directory '/usr/src/extfilter_0.99.4/marisa/include'
Making all in lib
make[1]: Entering directory '/usr/src/extfilter_0.99.4/marisa/lib'
Making all in marisa
make[2]: Entering directory '/usr/src/extfilter_0.99.4/marisa/lib/marisa'
make[2]: *** No rule to make target 'all'.  Stop.
make[2]: Leaving directory '/usr/src/extfilter_0.99.4/marisa/lib/marisa'
make[1]: *** [Makefile:312: all-recursive] Error 1
make[1]: Leaving directory '/usr/src/extfilter_0.99.4/marisa/lib'
make: *** [Makefile:411: all-recursive] Error 1
/usr/src/extfilter_0.99.4
configure: error: Marisa-trie library not found!

 

Что-то не хочет собираться Marisa-trie. ОС Debian 10

 

[pppoetest]

 pip install marisa-trie ? 

[arhead]

apt-get install libtool  и все собралось.

[ghost_tel]

On 7/3/2020 at 9:28 AM, arhead said:

Возможно ответ прилетает раньше от ресурса чем от фильтра. max1976 говорил что лучше дать ревизору белый ип чем за нат его.

поменял ревизору ип на белый, пропусков стало меньше но они все равно есть....

ни у кого больше нет такой проблемы ?

[arhead]

9 минут назад, ghost_tel сказал:

поменял ревизору ип на белый, пропусков стало меньше но они все равно есть....

ни у кого больше нет такой проблемы ?

Куда включен порт зеркалирования? Куда смотрит порт отправки ответа? Ну и часть списка что не блочится.

[ghost_tel]

1 hour ago, arhead said:

Куда включен порт зеркалирования?

Включен в Catalyst 4500X

1 hour ago, arhead said:

Куда смотрит порт отправки ответа?

Смотрит в сторону бордера (в сторону интерфейса Port-channel в сторону своей сети)

1 hour ago, arhead said:

Ну и часть списка что не блочится.

1. http://igra.life/online/season4-serie1/ не нашел вобще его в списках блокировки

2. http://kinogo.unblocked4u.net/9569-ta-esche-parochka-2019.html  руками проверяю, все блочится.

3. http://bluedols.com/billy-d-shotacon-shota-boys-download-foto-gambar/pureloli.xyz*wp-content*uploads*2017*03*elsecto 23-4.jpg.jsp тоже не нашел в списках

4. http://kinogo.unblocked4u.net/9569-ta-esche-parochka-2019.html руками - все блочится

5. https://2get.ro/ - тоже не нашел в списках

6. http://aslady.de/watch?v=SiWAGJFJCkc  руками - все ок.

7. https://app.protonmail.ch в базах не нашел, да и при проверки руками не работает )

 

Соответсвенно чего нет в списках оно и не блочится...

[arhead]

14 минут назад, ghost_tel сказал:

1. http://igra.life/online/season4-serie1/ не нашел вобще его в списках блокировки

2. http://kinogo.unblocked4u.net/9569-ta-esche-parochka-2019.html  руками проверяю, все блочится.

3. http://bluedols.com/billy-d-shotacon-shota-boys-download-foto-gambar/pureloli.xyz*wp-content*uploads*2017*03*elsecto 23-4.jpg.jsp тоже не нашел в списках

4. http://kinogo.unblocked4u.net/9569-ta-esche-parochka-2019.html руками - все блочится

5. https://2get.ro/ - тоже не нашел в списках

6. http://aslady.de/watch?v=SiWAGJFJCkc  руками - все ок.

7. https://app.protonmail.ch в базах не нашел, да и при проверки руками не работает )

Там есть такая графа адрес перенаправления. В ней чисто?

 

17 минут назад, ghost_tel сказал:

Включен в Catalyst 4500X

Только исходящий трафик от пользователей?

17 минут назад, ghost_tel сказал:

Смотрит в сторону бордера (в сторону интерфейса Port-channel в сторону своей сети)

Вот с port-channel у меня вообще не работало. Прописывал мак адрес который смотрит на аплинкf. Попробуйте отсылать ответ к примеру в порт, а не в port-channel.

[ghost_tel]

1 hour ago, arhead said:

Там есть такая графа адрес перенаправления. В ней чисто?

для п.1,5,7 есть перенаправления, при проверки руками блочится, для п.3 колонка перенаправления пуста

1 hour ago, arhead said:

Только исходящий трафик от пользователей?

Да, именно так.

1 hour ago, arhead said:

Попробуйте отсылать ответ к примеру в порт, а не в port-channel.

ок, попробую так.

[arhead]

Сетевые

Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82574L Gigabit Network Connection 10d3' drv=igb_uio unused=
0000:04:00.0 '82574L Gigabit Network Connection 10d3' drv=igb_uio unused=

проц

Intel(R) Core(TM) i5-4430 CPU @ 3.00GHz

 

Не получится на них запустить последнюю версию фильтра? Или костыли есть? Указать маску не получается для одного рабочего ядра и ядра для отсылки ответа

 

Изменено 9 июля, 2020 пользователем arhead

[ghost_tel]

On 7/8/2020 at 1:44 PM, arhead said:

Попробуйте отсылать ответ к примеру в порт, а не в port-channel.

Попробовал. Ситуация идентичная... все такие же пропуски.

а также появились вот такие:

https://www.google.com/  с Адресом перенаправления: С: http://hoaclip.com/show-clip-_tvmV46qEHrfTg (209.141.38.71), http://www.hoaclip.com/show-clip-_tvmV46qEHrfTg (188.164.131.200), https://google.com (64.233.165.113)

и таких довольно много....

[arhead]

26 минут назад, ghost_tel сказал:

Попробовал. Ситуация идентичная... все такие же пропуски.

а также появились вот такие:

https://www.google.com/  с Адресом перенаправления: С: http://hoaclip.com/show-clip-_tvmV46qEHrfTg (209.141.38.71), http://www.hoaclip.com/show-clip-_tvmV46qEHrfTg (188.164.131.200), https://google.com (64.233.165.113)

и таких довольно много....

Хм. Режим зеркала. А как блокируете IP которые РКН присылает?

[ghost_tel]

Just now, arhead said:

Хм. Режим зеркала. А как блокируете IP которые РКН присылает?

Да, работает в режиме зеркала. Блокировка ипов через BGP, маршруты в blackhole. Список формирует скрипт extfilter-quagga

[EuPhobos]

On 7/3/2020 at 2:21 AM, ghost_tel said:

Подскажите, кто-нибудь сталкивался с такой проблемой:

Стоит extfilter последней версии, ошибок в логах нигде нет, все вроде бы прекрасно работает, но ревизор показывает каждый день пропуски (плюс минус 100шт).

Начинаю проверять руками список: или все прекрасно блокирует или такого урла вообще нет ни в одной базе блокировок.

Выгрузку пробовал делать, каждый час, каждые 30 минут, каждые 15 минут. 

У меня делается проверка изменения реестра каждую минуту, если lastDumpDate или Urgent изменился (хотя в памятки к оператору написано, что минимальный интервал у него 5 минут) - то я выгружаю реестр, провожу парсинг, делаю дельта изменения для оборудования и кормлю уже дальше.
домены блокируются по DNS, IP само собой оборудованием, время реакции с загрузки реестра до полной блокировки - 2-4 минуты. С системой блокировки нет никаких проблем.
И вот где-то в феврале 2020 lastDumpDate стал меняться раз в час.
Само собой я подробно храню логи, когда был запрос, когда был ответ, какой был ответ, так и смог проанализировать почему вдруг у меня начали появляться пропуски.
А пропуски - это добавляют блокировку в реестр и тут же запускается ревизор и детектит нарушение/пропуск ресурса, который у него уже есть, а у оператора ещё нет, т.к. ни lastDumpDate, ни lastDumpDateUrgency не изменились, и по сути оператору говорят "Реестр всё ещё такой-же, что был час назад, но вы нарушили, т.к. не заблокировали ресурс, который появится в Вашем реестре в следующем часу".
Потом они видать это поправили, и всё снова заработало, как должно быть, однако появились другие проблемы.
Да, начали появляться ресурсы в пропусках, которых вообще нет в реестре от 100 до 200 штук, техподдержка говорит, что это проблемы ревизора, и оператор эти 100/200 строк может игнорировать.

Про их обход операторского ДНС я вообще молчу. Они получают другие IP к ресурсу, не те которые прописаны в реестре.

И вот теперь изюминка.
Куча нарушений  с ошибкой HTTP 429, то есть если не 200, значит проблема оператора, хотя ресурс сам уже блокирует этот ревизор отдавая ошибку 429 Too Many Requests, и оператор тут вообще никак не виноват.
Пока это продолжается неделю, посмотрим как будет дальше развиваться ситуация.

А меня интересует, есть ли ещё у кого такая же проблема?
Кто ещё своими силами блокирует реестр?
Кто ни будь пользуется Дельта-пакетами выгрузки реестра?

[ixi]

Интервал обновления 20 минут. Так же время всегда обновляется раз в час, даже без изменений.

Изредка extfiter (версия весьма старая) пропускает старые ссылки, раз в 2-3 дня в отчётах 1 строка. Свежих пропусков не было очень давно. 429 нет.

Изменено 14 сентября, 2020 пользователем ixi

[ke1evra]

а в сторону PcapPlusPlus кто-то смотрел? Судя по их бенчмаркам, libpcap далеко впереди, но интересно было бы сравнить производительность конкретно в этой задаче

[EuPhobos]

54 minutes ago, ke1evra said:

а в сторону PcapPlusPlus кто-то смотрел? Судя по их бенчмаркам, libpcap далеко впереди, но интересно было бы сравнить производительность конкретно в этой задаче

Если я не ошибаюсь extfilter использует libpcap

 

19 hours ago, ixi said:

Интервал обновления 20 минут. Так же время всегда обновляется раз в час, даже без изменений.

Изредка extfiter (версия весьма старая) пропускает старые ссылки, раз в 2-3 дня в отчётах 1 строка. Свежих пропусков не было очень давно. 429 нет.

 

Исправил, путём изменения препендов на аплинках.
Скорее всего ближайший сервер youtube, на который попадал ревизор был так настроен, что отбивался почти сразу же от нагрузки ошибкой 429.

[ghost_tel]

Подскажите, только у меня такая проблема вылезла ?

Было все ок, пока не появились пропуски нескольких ипов:

18.158.182.103, 52.59.99.214, 52.28.218.253

В базе выгрузки ркн присутсвют, в базе фильтра их нет... соответсвенно нет в конфиге кваги...

Данные ипы у всех блокируются ?

[EuPhobos]

1 hour ago, ghost_tel said:

Подскажите, только у меня такая проблема вылезла ?

Было все ок, пока не появились пропуски нескольких ипов:

18.158.182.103, 52.59.99.214, 52.28.218.253

В базе выгрузки ркн присутсвют, в базе фильтра их нет... соответсвенно нет в конфиге кваги...

Данные ипы у всех блокируются ?

18.158.182.103 - есть в реестре id 2260596

    <ip ts="2020-09-16T22:00:00+03:00">18.158.182.103</ip>

Остальных нет

[ghost_tel]

1 hour ago, EuPhobos said:

Остальных нет

Остальные тоже есть:

<ip ts="2020-09-15T19:00:00+03:00">52.59.99.214</ip>

<ip ts="2020-09-15T19:00:00+03:00">52.28.218.253</ip>

[epollia]

Добрый день. Подскажите, у меня с 19 числа обновлений реестра не было, хотя скрипт работает. У всех так?