myth Опубликовано 6 июля, 2017 · Жалоба Разобрался. Кэш браузера виноват был. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 6 июля, 2017 · Жалоба Проверь и потом отпишись о результатах. Обновился. Проблем не увидел. BlockCheck v0.0.9.5 Для получения корректных результатов используйте DNS-сервер провайдера и отключите средства обхода блокировок. Проверка работоспособности IPv6: IPv6 недоступен. IP: 8x.xxx.x.xxx, провайдер: XXXXXXXXXXXXXXXXXXXXXXXXXX [O] Тестируем IPv4 DNS Через системный DNS: ['104.24.10.70', '104.24.11.70', '184.173.146.95', '195.8.215.136', '195.82.146.214', '5.178.68.100', '67.202.114.133', '67.202.114.134'] Через Google DNS: ['104.24.10.70', '104.24.11.70', '184.173.146.95', '195.8.215.136', '195.82.146.214', '5.178.68.100', '67.202.114.133', '67.202.114.134'] Через Google API: ['104.24.10.70', '104.24.11.70', '184.173.146.95', '195.8.215.136', '195.82.146.214', '5.178.68.100', '67.202.114.133', '67.202.114.134'] Несуществующий DNS не вернул адресов (это не ошибка) [✓] DNS-записи не подменяются [✓] DNS не перенаправляется [O] Тестируем HTTP Открываем http://a.putinhuylo.com/ [☠] Получен неожиданный ответ, скорее всего, страница-заглушка провайдера. Пробуем через прокси. [☠] Получен неожиданный ответ, скорее всего, страница-заглушка провайдера. Считаем заблокированным. Проверяем доступность через isup.me [⁇] Не удалось распознать ответ от isup.me Открываем http://furry.booru.org/index.php?page=post&s=view&id=111173 [☠] Получен неожиданный ответ, скорее всего, страница-заглушка провайдера. Пробуем через прокси. [✓] Сайт открывается через прокси Открываем http://furry.booru.org/ [✓] Сайт открывается Открываем http://pbooru.com/ [✓] Сайт открывается Открываем http://pbooru.com/index.php?page=post&s=view&id=303026 [☠] Получен неожиданный ответ, скорее всего, страница-заглушка провайдера. Пробуем через прокси. [✓] Сайт открывается через прокси Открываем http://rutracker.org/forum/index.php [☠] Получен неожиданный ответ, скорее всего, страница-заглушка провайдера. Пробуем через прокси. [☠] Получен неожиданный ответ, скорее всего, страница-заглушка провайдера. Считаем заблокированным. Проверяем доступность через isup.me [☠] Сайт доступен, проблемы только у нас [O] Тестируем HTTPS Открываем https://www.dailymotion.com/ [☠] Сайт не открывается Открываем https://rutracker.org/forum/index.php [☠] Сайт не открывается Открываем https://e621.net/ [☠] Сайт не открывается Открываем https://lolibooru.moe/ [☠] Сайт не открывается [O] Тестируем обход DPI Пробуем способ «перенос строки в заголовках в UNIX-стиле» на pbooru.com [☠] Сайт не открывается Пробуем способ «точка в конце домена» на pbooru.com [☠] Сайт не открывается Пробуем способ «дополнительный пробел после GET» на pbooru.com [☠] Сайт не открывается Пробуем способ «фрагментирование заголовка, hoSt и отсутствие пробела одновременно» на pbooru.com [☠] Сайт не открывается Пробуем способ «перенос строки перед GET» на pbooru.com [☠] Сайт не открывается Пробуем способ «отсутствие пробела между двоеточием и значением заголовка Host» на pbooru.com [☠] Сайт не открывается Пробуем способ «табуляция в конце домена» на pbooru.com [☠] Сайт не открывается Пробуем способ «заголовок hoSt вместо Host» на pbooru.com [☠] Сайт не открывается Пробуем способ «необычный порядок заголовков» на pbooru.com [☠] Сайт не открывается Пробуем способ «фрагментирование заголовка» на pbooru.com [☠] Сайт не открывается Пробуем способ «перенос строки в заголовках в UNIX-стиле» на rutracker.org [☠] Сайт не открывается Пробуем способ «точка в конце домена» на rutracker.org [☠] Сайт не открывается Пробуем способ «дополнительный пробел после GET» на rutracker.org [☠] Сайт не открывается Пробуем способ «фрагментирование заголовка, hoSt и отсутствие пробела одновременно» на rutracker.org [☠] Сайт не открывается Пробуем способ «перенос строки перед GET» на rutracker.org [☠] Сайт не открывается Пробуем способ «отсутствие пробела между двоеточием и значением заголовка Host» на rutracker.org [☠] Сайт не открывается Пробуем способ «табуляция в конце домена» на rutracker.org [☠] Сайт не открывается Пробуем способ «заголовок hoSt вместо Host» на rutracker.org [☠] Сайт не открывается Пробуем способ «необычный порядок заголовков» на rutracker.org [☠] Сайт не открывается Пробуем способ «фрагментирование заголовка» на rutracker.org [☠] Сайт не открывается [!] Результат: [⚠] Ваш провайдер полностью блокирует доступ к HTTPS-сайтам из реестра. [⚠] У вашего провайдера "полный" DPI. Он отслеживает ссылки даже внутри прокси, поэтому вам следует использовать любое шифрованное соединение, например, VPN или Tor. Все прекрасно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 7 июля, 2017 · Жалоба Но растет rx missed и процессора жрет больше. Было 3-5%, стало 30. Резко вырастает после нескольких минут работы появляется еще один процесс extfilter. И уже он жрет 20-40% цпу Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 7 июля, 2017 · Жалоба Видимо из-за reassemble Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 7 июля, 2017 · Жалоба пробовал выключать, не помогает. Откатываюсь пока назад Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ixi Опубликовано 7 июля, 2017 · Жалоба на тестовой ext 0.8, в content id="565165" блокируются первые две ссылки и не блокируются три последние. nfqfilter блокирует все пять ещё одно наблюдение с тестовой системы, после reload появляются и начинают постоянно расти missed packets. 4Гб памяти похоже мало, на reload появляется и больше не исчезает небольшой своп. restart всё нормализует. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 7 июля, 2017 · Жалоба на тестовой ext 0.8, в content id="565165" блокируются первые две ссылки и не блокируются три последние. nfqfilter блокирует все пять ещё одно наблюдение с тестовой системы, после reload появляются и начинают постоянно расти missed packets. 4Гб памяти похоже мало, на reload появляется и больше не исчезает небольшой своп. restart всё нормализует. может конфиг для extfilter сформировался не правельно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 июля, 2017 · Жалоба на тестовой ext 0.8, в content id="565165" блокируются первые две ссылки и не блокируются три последние. nfqfilter блокирует все пять ещё одно наблюдение с тестовой системы, после reload появляются и начинают постоянно расти missed packets. 4Гб памяти похоже мало, на reload появляется и больше не исчезает небольшой своп. restart всё нормализует. Все записи блокируются без проблем. Памяти нужно много - при перезагрузке списков загружается вторая копия списков. Но растет rx missed и процессора жрет больше. Было 3-5%, стало 30. Резко вырастает после нескольких минут работы появляется еще один процесс extfilter. И уже он жрет 20-40% цпу При использовании dpdk рабочие ядра всегда будут 100%, где вы увидели 3-5% или даже 20-40? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 7 июля, 2017 · Жалоба Вопрос - а вот в момент перезапуска extfilter при изменении списков скриптом extfilter_maker будут пропуски пакетов или нет? Не должны быть Как-то не очень уверенно :) max1976, скажите, плиз, какая логика обновления списков? Возможны ли пропуски при обновлении? Если возможны, как их минимизировать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 июля, 2017 · Жалоба Как-то не очень уверенно :) max1976, скажите, плиз, какая логика обновления списков? Возможны ли пропуски при обновлении? Если возможны, как их минимизировать? Логика очень проста - загружаются все списки, а затем просто меняются указатели с текущих на новые. При замене указателей используется mutex, и если он залочен, то worker не будет проверять по данному списку. У себя я перегружаю списки в extfilter ~ 35 минут каждого часа и никаких пропусков по ревизору нет, и так же нет missed packets: 2017-07-07 16:22:11.486 [3463] Information Application - Port 0 input packets 71313925541, input errors: 5, mbuf errors: 0, missed packets: 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 7 июля, 2017 · Жалоба Где взять ревизор, если я не являюсь оператором связи? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 7 июля, 2017 · Жалоба Где взять ревизор, если я не являюсь оператором связи? Нигде. Он, вообще-то, регистрируется в ЛК и для регистрации нужна лицензия связи. А зачем? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ixi Опубликовано 7 июля, 2017 · Жалоба может конфиг для extfilter сформировался не правельно все эти адреса в конфиге присутствуют, проверял. продублировал намерено, в логе появился как дубль Все записи блокируются без проблем. Как это проверить? на уровне дебага в логах никаких подробностей нет. Кстати, в дебаг логах полно сообщений с лишним переводом строки после номера порта; работающий способ обхода? Debug WorkerThread-1 - An SyntaxException occured: 'Bad URI syntax: bad or invalid port number: 80 ' on URI: 'http://1.2.3.4:80 /api' Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 7 июля, 2017 · Жалоба где вы увидели 3-5% или даже 20-40? на системном ядре. Подчеркнул процесс, который на 0.70 отъедает до 5%, а на 0.80 - до 45%. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 июля, 2017 (изменено) · Жалоба на системном ядре. Подчеркнул процесс, который на 0.70 отъедает до 5%, а на 0.80 - до 45%. На системном ядре в extfilter нет задач, которые могут потреблять много процессорного времени. Единственная тяжелая задача для системного ядра это перечитывание списков по HUP сигналу. Так же сами задачи что на 0.70, что на 0.80, ничем не отличаются. Как это проверить? на уровне дебага в логах никаких подробностей нет. Кстати, в дебаг логах полно сообщений с лишним переводом строки после номера порта; работающий способ обхода? Debug WorkerThread-1 - An SyntaxException occured: 'Bad URI syntax: bad or invalid port number: 80 ' on URI: 'http://1.2.3.4:80 /api' Вы сами готовите файл с url? Не надо включать debug. Нормализатор uri в poco соответствует rfc, а отхождение от rfc есть нарушение. Изменено 7 июля, 2017 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 7 июля, 2017 · Жалоба max1976, могу ночью скрин сделать. И там будет на подчеркнутом процессе до 45% проца. Скрин из Мунина прилагаю. Все видно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 8 июля, 2017 (изменено) · Жалоба Собрал extfilter 0.80 и DPDK = 17.05.01 . Работает не корректно , рутрекер то открывается то нет, в статистике pps завышен в 3 раза и быстро растет счетчик matched by ssl/ip: Машину перезагружал. 2017-07-08 14:38:41.175 [5919] Information Application - Port 0 input packets 51179967, input errors: 0, mbuf errors: 0, missed packets: 133248 2017-07-08 14:38:41.175 [5919] Information Application - Worker thread on core 2 statistics: 2017-07-08 14:38:41.175 [5919] Information Application - Thread seen packets: 51180198, IP packets: 51144111 (IPv4 packets: 51144099, IPv6 packets: 12), seen bytes: 5938458717, Average packet size: 116 bytes, Traffic throughput: 152.34 K pps 2017-07-08 14:38:41.175 [5919] Information Application - Thread IPv4 fragments: 156443, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 14:38:41.175 [5919] Information Application - Thread matched by ip/port: 0, matched by ssl: 274, matched by ssl/ip: 32016803, matched by domain: 4, matched by url: 0 2017-07-08 14:38:41.175 [5919] Information Application - Thread redirected domains: 4, redirected urls: 0, rst sended: 32017077 2017-07-08 14:38:41.175 [5919] Information Application - Thread active flows: 18683 (IPv4 flows: 18683, IPv6 flows: 0), already detected blocked: 0 2017-07-08 14:38:41.175 [5919] Information Application - Thread packets latency all packets: 39784 cycles (24864 ns), blocked packets: 39965 (24977 ns) 2017-07-08 14:38:41.175 [5919] Information Application - All worker threads seen packets: 51180198, IP packets: 51144111 (IPv4 packets: 51144099, IPv6 packets: 12), seen bytes: 5938458717, traffic throughtput: 152.34 K pps 2017-07-08 14:38:41.175 [5919] Information Application - All worker IPv4 fragments: 156443, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 14:38:41.175 [5919] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 274, matched by ssl/ip: 32016803, matched by domain: 4, matched by url: 0 2017-07-08 14:38:41.175 [5919] Information Application - All worker threads redirected domains: 4, redirected urls: 0, rst sended: 32017077 2017-07-08 14:38:41.175 [5919] Information Application - All worker threads active flows: 18683 (IPv4 flows: 18683, IPv6 flows: 0) 2017-07-08 14:39:41.176 [5919] Information Application - Port 0 input packets 60462879, input errors: 0, mbuf errors: 0, missed packets: 157150 2017-07-08 14:39:41.176 [5919] Information Application - Worker thread on core 2 statistics: 2017-07-08 14:39:41.176 [5919] Information Application - Thread seen packets: 60463113, IP packets: 60420305 (IPv4 packets: 60420293, IPv6 packets: 12), seen bytes: 7091573039, Average packet size: 117 bytes, Traffic throughput: 154.71 K pps 2017-07-08 14:39:41.176 [5919] Information Application - Thread IPv4 fragments: 182258, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 14:39:41.176 [5919] Information Application - Thread matched by ip/port: 0, matched by ssl: 314, matched by ssl/ip: 37672790, matched by domain: 4, matched by url: 0 2017-07-08 14:39:41.176 [5919] Information Application - Thread redirected domains: 4, redirected urls: 0, rst sended: 37673104 2017-07-08 14:39:41.176 [5919] Information Application - Thread active flows: 18924 (IPv4 flows: 18924, IPv6 flows: 0), already detected blocked: 0 2017-07-08 14:39:41.176 [5919] Information Application - Thread packets latency all packets: 39568 cycles (24729 ns), blocked packets: 39752 (24844 ns) 2017-07-08 14:39:41.176 [5919] Information Application - All worker threads seen packets: 60463113, IP packets: 60420305 (IPv4 packets: 60420293, IPv6 packets: 12), seen bytes: 7091573039, traffic throughtput: 154.71 K pps 2017-07-08 14:39:41.176 [5919] Information Application - All worker IPv4 fragments: 182258, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 14:39:41.176 [5919] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 314, matched by ssl/ip: 37672790, matched by domain: 4, matched by url: 0 2017-07-08 14:39:41.176 [5919] Information Application - All worker threads redirected domains: 4, redirected urls: 0, rst sended: 37673104 2017-07-08 14:39:41.176 [5919] Information Application - All worker threads active flows: 18924 (IPv4 flows: 18924, IPv6 flows: 0) # cat /usr/lib/tuned/dpdk-tune/tuned.conf [main] include=latency-performance [bootloader] cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=2 # cat /etc/rc.local touch /var/lock/subsys/local mount -t hugetlbfs nodev /mnt/huge echo 512 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages modprobe uio insmod /root/dpdk/build/kmod/igb_uio.ko /root/dpdk/usertools/dpdk-devbind.py -b igb_uio 0000:06:00.0 mkdir /var/run/extfilter-stat touch /var/run/extfilter-stat/readers touch /var/run/extfilter-stat/workers sleep 5 systemctl start extfilter Загружает два ядра, конфиг не менял. DPDK и extfilter собрались с первого раза . Сетевая карта 82571EB + Xeon E5310 + 4Gb ram. Что может быть не так ? Изменено 8 июля, 2017 пользователем flow-control Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 8 июля, 2017 · Жалоба Не надо включать debug. Нормализатор uri в poco соответствует rfc, а отхождение от rfc есть нарушение. А чем чревато включение debug, кроме вот этого мусора в логах? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 8 июля, 2017 · Жалоба Снижением производительности Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 8 июля, 2017 (изменено) · Жалоба Работает не корректно , рутрекер то открывается то нет, в статистике pps завышен в 3 раза и быстро растет счетчик matched by ssl/ip: Pps завышен по сравнению с чем? В отличии от предыдущих версий, новой версии необходимо анализировать все tcp пакеты, включая пакеты установки соединения. По ssl/ip - у вас включен block_undetected_ssl и совпадения из файла ssl_ips - вы его сами готовите? Судя по логам у вас один worker работает. И посмотрите на latency - он слишком большой. Для сравнения: 2017-07-08 18:27:11.633 [3463] Information Application - Thread packets latency all packets: 788 cycles (225 ns), blocked packets: 25702 (7335 ns) Изменено 8 июля, 2017 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 8 июля, 2017 · Жалоба Pps завышен по сравнению с прошлой версией (0,70), файлы создает extfilter_maker.pl zapret.pl , как увеличить количество воркеров ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bat Опубликовано 8 июля, 2017 · Жалоба А у нас еще больше latency, но missed равен 0: 2017-07-08 19:04:31.701 [15237] Information Application - Port 0 input packets 17884690473, input errors: 0, mbuf errors: 0, missed packets: 0 2017-07-08 19:04:31.701 [15237] Information Application - Worker thread on core 1 statistics: 2017-07-08 19:04:31.701 [15237] Information Application - Thread seen packets: 4488715683, IP packets: 4488696207 (IPv4 packets: 4488696207, IPv6 packets: 0), seen bytes: 805973115158, Average packet size: 179 bytes, Traffic throughput: 31.44 K pps 2017-07-08 19:04:31.701 [15237] Information Application - Thread IPv4 fragments: 1541112, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 19:04:31.701 [15237] Information Application - Thread matched by ip/port: 781, matched by ssl: 69558, matched by ssl/ip: 0, matched by domain: 139177, matched by url: 225723 2017-07-08 19:04:31.701 [15237] Information Application - Thread redirected domains: 139177, redirected urls: 225723, rst sended: 70339 2017-07-08 19:04:31.701 [15237] Information Application - Thread active flows: 11761 (IPv4 flows: 11761, IPv6 flows: 0), already detected blocked: 0 2017-07-08 19:04:31.701 [15237] Information Application - Thread packets latency all packets: 30252 cycles (11635 ns), blocked packets: 112772 (43374 ns) 2017-07-08 19:04:31.701 [15237] Information Application - Worker thread on core 2 statistics: 2017-07-08 19:04:31.701 [15237] Information Application - Thread seen packets: 4327654340, IP packets: 4327654340 (IPv4 packets: 4327654340, IPv6 packets: 0), seen bytes: 796615203967, Average packet size: 184 bytes, Traffic throughput: 32.28 K pps 2017-07-08 19:04:31.701 [15237] Information Application - Thread IPv4 fragments: 1511142, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 19:04:31.701 [15237] Information Application - Thread matched by ip/port: 761, matched by ssl: 69506, matched by ssl/ip: 0, matched by domain: 139815, matched by url: 225137 2017-07-08 19:04:31.701 [15237] Information Application - Thread redirected domains: 139815, redirected urls: 225137, rst sended: 70267 2017-07-08 19:04:31.701 [15237] Information Application - Thread active flows: 11490 (IPv4 flows: 11490, IPv6 flows: 0), already detected blocked: 0 2017-07-08 19:04:31.701 [15237] Information Application - Thread packets latency all packets: 31215 cycles (12006 ns), blocked packets: 111357 (42830 ns) 2017-07-08 19:04:31.701 [15237] Information Application - Worker thread on core 3 statistics: 2017-07-08 19:04:31.701 [15237] Information Application - Thread seen packets: 4497661496, IP packets: 4497661496 (IPv4 packets: 4497661496, IPv6 packets: 0), seen bytes: 855910337635, Average packet size: 190 bytes, Traffic throughput: 32.49 K pps 2017-07-08 19:04:31.702 [15237] Information Application - Thread IPv4 fragments: 1528847, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 19:04:31.702 [15237] Information Application - Thread matched by ip/port: 817, matched by ssl: 69826, matched by ssl/ip: 0, matched by domain: 139364, matched by url: 225096 2017-07-08 19:04:31.702 [15237] Information Application - Thread redirected domains: 139364, redirected urls: 225096, rst sended: 70643 2017-07-08 19:04:31.702 [15237] Information Application - Thread active flows: 11811 (IPv4 flows: 11811, IPv6 flows: 0), already detected blocked: 0 2017-07-08 19:04:31.702 [15237] Information Application - Thread packets latency all packets: 16403 cycles (6309 ns), blocked packets: 99955 (38444 ns) 2017-07-08 19:04:31.702 [15237] Information Application - Worker thread on core 4 statistics: 2017-07-08 19:04:31.702 [15237] Information Application - Thread seen packets: 4571312167, IP packets: 4571312167 (IPv4 packets: 4571312167, IPv6 packets: 0), seen bytes: 846621582442, Average packet size: 185 bytes, Traffic throughput: 31.44 K pps 2017-07-08 19:04:31.702 [15237] Information Application - Thread IPv4 fragments: 1624914, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 19:04:31.702 [15237] Information Application - Thread matched by ip/port: 871, matched by ssl: 69503, matched by ssl/ip: 0, matched by domain: 138829, matched by url: 224945 2017-07-08 19:04:31.702 [15237] Information Application - Thread redirected domains: 138829, redirected urls: 224945, rst sended: 70374 2017-07-08 19:04:31.702 [15237] Information Application - Thread active flows: 11533 (IPv4 flows: 11533, IPv6 flows: 0), already detected blocked: 0 2017-07-08 19:04:31.702 [15237] Information Application - Thread packets latency all packets: 14004 cycles (5386 ns), blocked packets: 94121 (36200 ns) 2017-07-08 19:04:31.702 [15237] Information Application - All worker threads seen packets: 17885343686, IP packets: 17885324210 (IPv4 packets: 17885324210, IPv6 packets: 0), seen bytes: 3305120239202, traffic throughtput: 127.66 K pps 2017-07-08 19:04:31.702 [15237] Information Application - All worker IPv4 fragments: 6206015, IPv6 fragments: 0, IPv4 short packets: 0 2017-07-08 19:04:31.702 [15237] Information Application - All worker threads matched by ip/port: 3230, matched by ssl: 278393, matched by ssl/ip: 0, matched by domain: 557185, matched by url: 900901 2017-07-08 19:04:31.702 [15237] Information Application - All worker threads redirected domains: 557185, redirected urls: 900901, rst sended: 281623 2017-07-08 19:04:31.702 [15237] Information Application - All worker threads active flows: 46595 (IPv4 flows: 46595, IPv6 flows: 0) Чем чревато? У нас пока эта система работает в паре с другой, поэтому не могу однозначно сказать - пропускает она или нет. На что расчитывать, если только ее оставить? Не могут быть пропуски? У нас вообще все поднято на виртуалке, даже карты сетевые и те полностью виртуальные. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 8 июля, 2017 (изменено) · Жалоба А все-таки из-за чего может сильно грузиться системное ядро? Если опустить интерфейс, через который идут ответы, то все нормализуется. На 0.70 все нормально. Обещанный скрин прилагаю. Немного трафика тоже. Проявляется на HTTPS трафике - после первого же RST(на pornhub.com в 100% случаев) наблюдается это. 02:20:08.400783 IP 104.28.6.166.https > 62.33.14.77.33290: Flags [R.], seq 1, ack 0, win 239, length 0 02:20:08.400783 IP 104.28.6.166.https > 62.33.14.77.33188: Flags [R.], seq 4294965844, ack 1, win 239, length 0 02:20:08.400785 IP 104.18.61.143.https > 80.237.7.93.49641: Flags [R.], seq 1, ack 0, win 239, length 0 02:20:08.400790 IP 104.18.61.143.https > 80.237.7.93.49640: Flags [R.], seq 4294967159, ack 1, win 239, length 0 02:20:08.400791 IP 62.33.14.77.33290 > 104.28.6.166.https: Flags [R.], seq 0, ack 1, win 239, length 0 02:20:08.400793 IP 80.237.7.93.49640 > 104.18.61.143.https: Flags [R.], seq 1, ack 4294967159, win 239, length 0 02:20:08.400795 IP 31.192.120.36.https > 80.237.7.203.52880: Flags [R.], seq 362, ack 1, win 239, length 0 02:20:08.400796 IP 5.79.102.221.https > 62.33.14.171.51277: Flags [R.], seq 4294964393, ack 0, win 239, length 0 02:20:08.400798 IP 80.237.7.203.52880 > 31.192.120.36.https: Flags [R.], seq 1, ack 362, win 239, length 0 02:20:08.400802 IP 80.237.7.93.49641 > 104.18.61.143.https: Flags [R.], seq 0, ack 1, win 239, length 0 02:20:08.400804 IP 62.33.14.171.51277 > 5.79.102.221.https: Flags [R.], seq 0, ack 4294964393, win 239, length 0 02:20:08.400813 IP 80.237.7.203.52878 > 31.192.120.36.https: Flags [R.], seq 0, ack 4294966935, win 239, length 0 02:20:08.400818 IP 80.237.7.93.49641 > 104.18.61.143.https: Flags [R.], seq 0, ack 4294967160, win 239, length 0 02:20:08.400823 IP 31.192.120.36.https > 80.237.7.203.52879: Flags [R.], seq 0, ack 1, win 239, length 0 02:20:08.400829 IP 5.79.102.221.8041 > 62.33.14.171.51278: Flags [R.], seq 1, ack 0, win 239, length 0 02:20:08.400835 IP 5.79.102.221.8041 > 62.33.14.171.51278: Flags [R.], seq 4294966950, ack 0, win 239, length 0 02:20:08.400845 IP 62.33.14.171.51277 > 5.79.102.221.https: Flags [R.], seq 1578, ack 748, win 239, length 0 02:20:08.400845 IP 62.33.14.171.51278 > 5.79.102.221.8041: Flags [R.], seq 0, ack 4294965183, win 239, length 0 02:20:08.400912 IP 80.237.7.162.27974 > 104.18.61.143.https: Flags [R.], seq 1, ack 0, win 239, length 0 02:20:08.400912 IP 80.237.7.93.49640 > 104.18.61.143.https: Flags [R.], seq 1, ack 0, win 239, length 0 02:20:08.400915 IP 104.18.61.143.https > 80.237.7.162.27974: Flags [R.], seq 0, ack 1, win 239, length 0 02:20:08.400919 IP 104.18.61.143.https > 80.237.7.162.27974: Flags [R.], seq 0, ack 2, win 239, length 0 02:20:08.400921 IP 5.79.102.221.8041 > 62.33.14.171.51278: Flags [R.], seq 4294962279, ack 0, win 239, length 0 02:20:08.400922 IP 31.192.120.36.https > 80.237.7.203.52877: Flags [R.], seq 1, ack 0, win 239, length 0 02:20:08.400926 IP 62.33.14.171.51278 > 5.79.102.221.8041: Flags [R.], seq 0, ack 4294962279, win 239, length 0 02:20:08.400930 IP 80.237.7.203.52877 > 31.192.120.36.https: Flags [R.], seq 0, ack 1, win 239, length 0 02:20:08.400932 IP 80.237.7.162.27974 > 104.18.61.143.https: Flags [R.], seq 2, ack 0, win 239, length 0 02:20:08.400942 IP 31.192.120.36.https > 80.237.7.203.52877: Flags [R.], seq 364, ack 0, win 239, length 0 02:20:08.400943 IP 5.79.102.221.https > 62.33.14.171.51277: Flags [R.], seq 748, ack 0, win 239, length 0 02:20:08.400945 IP 80.237.7.203.52877 > 31.192.120.36.https: Flags [R.], seq 0, ack 364, win 239, length 0 02:20:08.400971 IP 62.33.14.171.51278 > 5.79.102.221.8041: Flags [R.], seq 0, ack 1, win 239, length 0 02:20:08.400988 IP 104.28.6.166.https > 62.33.14.77.33188: Flags [R.], seq 4294965844, ack 1, win 239, length 0 02:20:08.401002 IP 80.237.7.93.49640 > 104.18.61.143.https: Flags [R.], seq 1, ack 4294967159, win 239, length 0 02:20:08.401003 IP 31.192.120.36.https > 80.237.7.203.52880: Flags [R.], seq 362, ack 1, win 239, length 0 02:20:08.401010 IP 80.237.7.93.49641 > 104.18.61.143.https: Flags [R.], seq 0, ack 1, win 239, length 0 02:20:08.401076 IP 104.18.61.143.https > 80.237.7.93.49641: Flags [R.], seq 4294964280, ack 0, win 239, length 0 02:20:08.401078 IP 5.79.102.221.https > 62.33.14.171.51277: Flags [R.], seq 4294964393, ack 0, win 239, length 0 02:20:08.401078 IP 80.237.7.93.49641 > 104.18.61.143.https: Flags [R.], seq 0, ack 4294964280, win 239, length 0 02:20:08.401081 IP 104.28.6.166.https > 62.33.14.77.33297: Flags [R.], seq 1, ack 0, win 239, length 0 02:20:08.401092 IP 31.192.120.36.https > 80.237.7.203.52878: Flags [R.], seq 4294966935, ack 0, win 239, length 0 02:20:08.401093 IP 62.33.14.77.33297 > 104.28.6.166.https: Flags [R.], seq 0, ack 1, win 239, length 0 PS. Разборки показали, что всему виной - block_undetected_ssl=true. При выключении все нормализуется... Изменено 9 июля, 2017 пользователем myth Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 9 июля, 2017 · Жалоба Генерится нехилый такой DDoS. У меня разогналось до 1,4 Mpps Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 9 июля, 2017 (изменено) · Жалоба Генерится нехилый такой DDoS. Похоже образуется своего рода петля, extfilter шлет rst на собственный rst. да... input packets на bgp сервере сразу увеличивается. netstat -I ix1 -hw 1 input ix1 output packets errs idrops bytes packets errs bytes colls 33k 0 0 22M 43k 0 38M 0 35k 0 0 24M 42k 0 35M 0 32k 0 0 23M 36k 0 27M 0 31k 0 0 22M 38k 0 33M 0 30k 0 0 22M 35k 0 29M 0 31k 0 0 24M 36k 0 29M 0 31k 0 0 24M 37k 0 30M 0 35k 0 0 26M 43k 0 37M 0 39k 0 0 27M 46k 0 40M 0 36k 0 0 29M 39k 0 29M 0 35k 0 0 26M 40k 0 33M 0 31k 0 0 23M 38k 0 31M 0 31k 0 0 23M 38k 0 31M 0 30k 0 0 21M 36k 0 29M 0 30k 0 0 21M 36k 0 30M 0 31k 0 0 23M 37k 0 29M 0 32k 0 0 22M 40k 0 35M 0 31k 0 0 23M 43k 0 39M 0 34k 0 0 21M 44k 0 40M 0 82k 0 0 26M 47k 0 41M 0 131k 0 0 29M 35k 0 26M 0 input ix1 output packets errs idrops bytes packets errs bytes colls 96k 0 0 27M 47k 0 43M 0 123k 0 0 28M 45k 0 41M 0 72k 0 0 26M 35k 0 27M 0 126k 0 0 28M 32k 0 25M 0 128k 0 0 28M 36k 0 29M 0 131k 0 0 26M 41k 0 38M 0 134k 0 0 28M 44k 0 40M 0 41k 0 0 22M 47k 0 44M 0 88k 0 0 25M 46k 0 43M 0 33k 0 0 22M 43k 0 38M 0 88k 0 0 24M 34k 0 29M 0 133k 0 0 30M 41k 0 36M 0 128k 0 0 30M 37k 0 29M 0 133k 0 0 31M 44k 0 38M 0 131k 0 0 28M 44k 0 39M 0 136k 0 0 32M 45k 0 41M 0 131k 0 0 32M 39k 0 33M 0 132k 0 0 30M 39k 0 33M 0 112k 0 0 28M 48k 0 44M 0 33k 0 0 24M 40k 0 33M 0 31k 0 0 24M 37k 0 31M 0 input ix1 output packets errs idrops bytes packets errs bytes colls 37k 0 0 24M 47k 0 44M 0 33k 0 0 24M 42k 0 38M 0 33k 0 0 21M 42k 0 38M 0 32k 0 0 22M 40k 0 35M 0 31k 0 0 21M 40k 0 34M 0 30k 0 0 23M 36k 0 29M 0 32k 0 0 22M 41k 0 37M 0 32k 0 0 21M 42k 0 40M 0 31k 0 0 24M 39k 0 33M 0 33k 0 0 24M 40k 0 34M 0 37k 0 0 25M 43k 0 37M 0 37k 0 0 24M 51k 0 48M 0 34k 0 0 23M 48k 0 45M 0 Изменено 9 июля, 2017 пользователем flow-control Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...