Morphus Опубликовано 28 ноября, 2018 (изменено) · Жалоба 1. Буду разбираться со своим DNS 42 минуты назад, epollia сказал: не "сюда", а от сюда, на veesecurity.com Вот это я косяк конечно. Большая благодарность за подробное разъяснение! 2. Однако, у меня добавлена 2018-10-20 14:45:59, а не пройдена вчера. С разных узлов сети пробовал - везде заглушка. На фильтре ошибок и пропусков нет. Чертовщина какая-то.. Изменено 28 ноября, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 28 ноября, 2018 · Жалоба 5 минут назад, Morphus сказал: 1. Буду разбираться со своим DNS Вот это я косяк конечно. Большая благодарность за подробное разъяснение! 2. Однако, у меня добавлена 2018-10-20 14:45:59, а не пройдена вчера. На фильтре ошибок и пропусков нет. Чертовщина какая-то.. добавлено постонавление или сама запись? я вам скинул когда добавлена сама запись. Соменваюсь что реестры у нас такие разные я себе сделал отдельную таблицу в базе, туда пишу что и когда доабвлено. Именно записи (url, domain, ip) и время когда добавлена. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 28 ноября, 2018 · Жалоба 8 минут назад, epollia сказал: добавлено постонавление или сама запись? я вам скинул когда добавлена сама запись. Соменваюсь что реестры у нас такие разные domains выглядит так: id date_add record_id domain domain_fixed 50 493 2018-10-20 14:45:59 85 102 lol_a_pochemu_v_telegu_nezahodit.***rkn.us [NULL] records для этого id такой: id date_add decision_id decision_date decision_num decision_org include_time entry_type hash 85 102 2018-10-20 14:45:59 925 567 2018-04-16 27-31-2018/Ид2971-18 Генпрокуратура 2018-05-19T14:57:54 3 77DA5E19101F94E14A0CB38BABB76222 Или я опять путаюсь.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 28 ноября, 2018 · Жалоба Коллеги, добрый день! А не планируется загружать по логину/паролю, а не по подписанному запросу? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 28 ноября, 2018 (изменено) · Жалоба extFilter не блокируются url'и c кириллицей. Подскажите у вас такое блокируется? Изменено 28 ноября, 2018 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 28 ноября, 2018 · Жалоба Блокирует. Вставил вашу ссылку в curl получил редирект Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 3 декабря, 2018 · Жалоба Вопросы по extFilter Периодически после подачи HUP для обновления настроек. Начинает постоянно сыпаться в log вот такое: Error TriesManager - Exception occured while search http: trie.cc:149: MARISA_STATE_ERROR: trie_.get() == NULL От частоты подачи HUP вроде не зависит я наблюдал и через 5 и через 20мин Как это побороть? Как определить когда можно подать HUP без последствий? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 3 декабря, 2018 · Жалоба 1 час назад, Стич сказал: Как это побороть? Как определить когда можно подать HUP без последствий? Проверьте корректность списков для блокировки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 5 декабря, 2018 (изменено) · Жалоба В 03.12.2018 в 14:05, max1976 сказал: Проверьте корректность списков для блокировки. Да, Вы оказались правы, были ошибки в urls. Возникла следующая проблема: идут missed packets Как я понял отчеты показывают что все пакеты обрабатываются одним ядром. 2018-12-05 15:05:14.460 [3249] Information Application - Port 1 input packets 139319334, input errors: 0, mbuf errors: 0, missed packets: 8064 2018-12-05 15:05:14.460 [3249] Information Application - Worker thread on core 6 statistics: 2018-12-05 15:05:14.460 [3249] Information Application - Thread seen packets: 133863442, IP packets: 133858584 (IPv4 packets: 133834345, IPv6 packets: 24239), seen bytes: 20290266010, Averag e packet size: 151 bytes, Traffic throughput: 446.21 K pps Worker thread on core 7 statistics: 2018-12-05 15:31:15.853 [3052] Information Application - Thread seen packets: 0, IP packets: 0 (IPv4 packets: 0, IPv6 packets: 0), seen bytes: 0, Average packet size: 0 bytes, Traffic throug hput: 0.00 pps Это нормально? Настройки: scale = 8 memory_channels = 1 core_mask = 65521 queues = 0,6; 1,7; 2,8; 3,9; 4,10; 5,11; 6,12; 7,13; 8,14; 9,15 Подскажите куда дальше крутить? Изменено 5 декабря, 2018 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aalexanderr Опубликовано 5 декабря, 2018 (изменено) · Жалоба 2 часа назад, Стич сказал: Настройки: scale = 8 memory_channels = 1 core_mask = 65521 Странный какой core_mask должен же быть 32705 - нет ? и лог побольше выложи, чтобы посмотреть всех воркеров и суммарку. Изменено 5 декабря, 2018 пользователем aalexanderr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 5 декабря, 2018 · Жалоба 2 часа назад, Стич сказал: Подскажите куда дальше крутить? Сколько процессоров в сервере? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 5 декабря, 2018 (изменено) · Жалоба 27 минут назад, max1976 сказал: Сколько процессоров в сервере? Процессоров два по восемь ядер. ( product: Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz) По статистике вижу что работает только одно ядро из десяти выделенных. Пробовал выделить только один первый процессор и соответственно 8 ядер, результат такой же работало одно ядро. Сетевая Intel x710-da2 Изменено 5 декабря, 2018 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 5 декабря, 2018 · Жалоба 2 часа назад, Стич сказал: Процессоров два по восемь ядер. ( product: Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz) По статистике вижу что работает только одно ядро из десяти выделенных. Пробовал выделить только один первый процессор и соответственно 8 ядер, результат такой же работало одно ядро. Сетевая Intel x710-da2 Настраивайте на первом процессоре. Убедитесь, что сетевая карта подключена к первому процессору. В выводе лога вы привели пример только для порта 1. Какая статистика для порта 0? Приведите полный конфиг для портов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 6 декабря, 2018 (изменено) · Жалоба Похоже в сетевой карте по какой то причине весь трафик попадает в одну нулевую очередь. Может нужна какая то спец настройка для x710? Сейчас карту ни как не настраиваю кроме dpdk-devbind.py --bind=igb_uio 0000:02:00.0 dpdk-devbind.py --bind=igb_uio 0000:02:00.1 Изменено 6 декабря, 2018 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 6 декабря, 2018 · Жалоба Похоже проблема была с Intel x710, как то не работает она с dpdk правильно, направляя весь трафик в одну очередь. После замены на x520 всё заработало корректно. Надеюсь :) max1976 спасибо за extFilter. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Troj Опубликовано 6 декабря, 2018 · Жалоба второй день подрят один и тотже пропуск http://w.kyzdar.net вчера добавили, в списке есть, а не блокируется, extfilter 0.99a в режиме зеркала Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 7 декабря, 2018 (изменено) · Жалоба 4 часа назад, Troj сказал: второй день подрят один и тотже пропуск http://w.kyzdar.net вчера добавили, в списке есть, а не блокируется, extfilter 0.99a в режиме зеркала Я посмотрел дамп для этого ресурса. Смысл такой, что сам сервер выставляет параметры соединения с Windows Size 10, тем самым весь get запрос не влезает в один пакет, когда клиент отправляет первую часть запроса, сервер шлет ask и сразу же отвечается http 301. Тем самым получается, что сервер не ждет параметров host и URL, а клиент не пытается их отправить из-за ответа самого сервера. Я у себя заблокировал по IP. Других вариантов нет. Изменено 7 декабря, 2018 пользователем epollia Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 7 декабря, 2018 (изменено) · Жалоба За вчера всплекс нарушений, сегодня тоже. И все по url.В фильтре ошибок и пропусков нету. С сети проверяю - заглушка выходит. http://tarsik.blogspot.com/, 173.194.73.197, GET Генпрокуратура 24 Дек, 2015 10:49:15 200 С: http://tarsik.blogspot.be/ (74.125.131.132) https://postskriptum.org/2016/ 07/15/nice-4/, 35.185.44.232, GET Генпрокуратура 27 Авг, 2016 10:24:55 200 С: http://postskriptum.org/ 2016/07/15/nice-4/ (35.185.44. 232) http://newsofchechenia. blogspot.com/, 173.194.222.132, GET Генпрокуратура 25 Окт, 2016 14:21:51 200 С: http://newsofchechenia. blogspot.ru/ (173.194.73.132) Но ревизор пишет в ошибки. Раньше схема была такая: из таблицы domains вносились данные в DNS с редиректом на заглушку, но так же парсились домены из url и тоже вносились. Вчера оставили только из доменов и понеслось. Фильтр при этом блокирует. Но до ревизоров как-будто не доходит.. Могло ли быть так, что фильтр отвечал позже, но спасали dns. а сейчас их нет и фильтр опаздывает.. Ревизоры воткнуты в свитч, который оптикой напрямую в серверную идет, а там циска зеркалит.. Что можно посмотреть или поправить в конфиге ? Изменено 7 декабря, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 7 декабря, 2018 · Жалоба @Morphus у меня наоборот вчера спад. Всего 8 пропусков. и то не таких Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 декабря, 2018 · Жалоба 6 часов назад, epollia сказал: Я посмотрел дамп для этого ресурса. Смысл такой, что сам сервер выставляет параметры соединения с Windows Size 10, тем самым весь get запрос не влезает в один пакет, когда клиент отправляет первую часть запроса, сервер шлет ask и сразу же отвечается http 301. Тем самым получается, что сервер не ждет параметров host и URL, а клиент не пытается их отправить из-за ответа самого сервера. Я у себя заблокировал по IP. Других вариантов нет. Всё верно. Я добавил в zapret.pl функционал, позволяющий добавлять ip адреса в собственный список блокировки для блокировки по ip. 1 час назад, Morphus сказал: За вчера всплекс нарушений, сегодня тоже. И все по url.В фильтре ошибок и пропусков нету. С сети проверяю - заглушка выходит. 1 час назад, Cramac сказал: у меня наоборот вчера спад. Всего 8 пропусков. и то не таких Писал уже много раз одно и то же: используйте современные процессоры, используйте кратчайший путь по доставке сообщений абонентам. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 7 декабря, 2018 · Жалоба 6 минут назад, max1976 сказал: Всё верно. Я добавил в zapret.pl функционал, позволяющий добавлять ip адреса в собственный список блокировки для блокировки по ip. Писал уже много раз одно и то же: используйте современные процессоры, используйте кратчайший путь по доставке сообщений абонентам. Неужто такого мало ? Intel(R) Xeon(R) CPU X5650 @ 2.67GHz Путь и так кратчайший: в инет ходят: циска - шейпер - инет. фильтр подключен к циске, которая и зеркалит весь трафик котоырй идет на шейпер на него. Не ответить раньше, я не знаю... =\ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 7 декабря, 2018 · Жалоба @max1976 Я правильно понял что в файле конфигурации запрета нужно указать путь к файлу со своими правилами our_blacklist = ... ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 декабря, 2018 · Жалоба 2 минуты назад, Morphus сказал: Неужто такого мало ? Intel(R) Xeon(R) CPU X5650 @ 2.67GHz Вы шутите? Процессор почти 9 летней давности. 1 минуту назад, epollia сказал: @max1976 Я правильно понял что в файле конфигурации запрета нужно указать путь к файлу со своими правилами our_blacklist = ... ? Да, именно так. Формат описал в README. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 7 декабря, 2018 · Жалоба 10 минут назад, Morphus сказал: Intel(R) Xeon(R) CPU X5650 @ 2.67GHz У меня Intel(R) Xeon(R) CPU X5670 @ 2.93GHz. Зеркалю аплинки но у меня дополнительно ревизор еще на всякий случай за nfqfilter Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 7 декабря, 2018 (изменено) · Жалоба 15 минут назад, max1976 сказал: Вы шутите? Процессор почти 9 летней давности. в логах фильтра должны же быть missed пакеты ? 4 Гбита трафика. pps тысяч по 800 Скрытый текст Port 0 input packets 1589548915209, input errors: 1, mbuf errors: 0, missed packets: 0 2018-12-07 16:45:45.369 [31040] Information Application - Port 1 input packets 0, input errors: 0, mbuf errors: 0, missed packets: 0 2018-12-07 16:45:45.369 [31040] Information Application - Worker thread on core 1 statistics: 2018-12-07 16:45:45.369 [31040] Information Application - Thread seen packets: 396781317317, IP packets: 396757814445 (IPv4 packets: 396757814445, IPv6 packets: 0), seen bytes: 58471383880216, Average packet size: 147 bytes, Traffic$ 2018-12-07 16:45:45.369 [31040] Information Application - Thread IPv4 fragments: 86658106, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-07 16:45:45.369 [31040] Information Application - Thread matched by ip/port: 2, ssl SNI: 46186, ssl/ip: 0, http IPv4: 1394653, http IPv6: 0 2018-12-07 16:45:45.369 [31040] Information Application - Thread redirected blocked http IPv4: 1394653, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 980011, rst sended IPv6: 0 2018-12-07 16:45:45.369 [31040] Information Application - Thread packets latency all packets: 958 cycles (359 ns), unblocked packets: 958 cycles (359 ns), blocked packets: 14833 (5562 ns) 2018-12-07 16:45:45.369 [31040] Information Application - Worker thread on core 2 statistics: 2018-12-07 16:45:45.369 [31040] Information Application - Thread seen packets: 392183662802, IP packets: 392174099520 (IPv4 packets: 392174099520, IPv6 packets: 0), seen bytes: 58432741464018, Average packet size: 148 bytes, Traffic$ 2018-12-07 16:45:45.369 [31040] Information Application - Thread IPv4 fragments: 90970496, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-07 16:45:45.369 [31040] Information Application - Thread matched by ip/port: 0, ssl SNI: 117751, ssl/ip: 0, http IPv4: 1390104, http IPv6: 0 2018-12-07 16:45:45.369 [31040] Information Application - Thread redirected blocked http IPv4: 1390104, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 1504707, rst sended IPv6: 0 2018-12-07 16:45:45.369 [31040] Information Application - Thread packets latency all packets: 954 cycles (358 ns), unblocked packets: 954 cycles (358 ns), blocked packets: 14821 (5558 ns) 2018-12-07 16:45:45.370 [31040] Information Application - Worker thread on core 3 statistics: 2018-12-07 16:45:45.370 [31040] Information Application - Thread seen packets: 399842113325, IP packets: 399833767665 (IPv4 packets: 399833767665, IPv6 packets: 0), seen bytes: 71240521709098, Average packet size: 178 bytes, Traffic$ 2018-12-07 16:45:45.370 [31040] Information Application - Thread IPv4 fragments: 93202317, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-07 16:45:45.370 [31040] Information Application - Thread matched by ip/port: 0, ssl SNI: 68759, ssl/ip: 0, http IPv4: 1119524, http IPv6: 0 2018-12-07 16:45:45.370 [31040] Information Application - Thread redirected blocked http IPv4: 1119524, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 1067491, rst sended IPv6: 0 2018-12-07 16:45:45.370 [31040] Information Application - Thread packets latency all packets: 958 cycles (359 ns), unblocked packets: 958 cycles (359 ns), blocked packets: 14572 (5464 ns) 2018-12-07 16:45:45.370 [31040] Information Application - Worker thread on core 4 statistics: 2018-12-07 16:45:45.370 [31040] Information Application - Thread seen packets: 400741823845, IP packets: 400732555081 (IPv4 packets: 400732555081, IPv6 packets: 0), seen bytes: 62580444472289, Average packet size: 156 bytes, Traffic$ 2018-12-07 16:45:45.370 [31040] Information Application - Thread IPv4 fragments: 109363327, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-07 16:45:45.370 [31040] Information Application - Thread matched by ip/port: 0, ssl SNI: 57611, ssl/ip: 0, http IPv4: 1107517, http IPv6: 0 2018-12-07 16:45:45.370 [31040] Information Application - Thread redirected blocked http IPv4: 1107517, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 1107498, rst sended IPv6: 0 2018-12-07 16:45:45.370 [31040] Information Application - Thread packets latency all packets: 967 cycles (363 ns), unblocked packets: 967 cycles (363 ns), blocked packets: 14450 (5419 ns) 2018-12-07 16:45:45.370 [31040] Information Application - All worker threads seen packets: 1589548917289, IP packets: 1589498236711 (IPv4 packets: 1589498236711, IPv6 packets: 0), seen bytes: 250725091525621, traffic throughtput: 1.$ 2018-12-07 16:45:45.370 [31040] Information Application - All worker IPv4 fragments: 380194246, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-07 16:45:45.370 [31040] Information Application - All worker threads matched by ip/port: 2, matched by ssl SNI: 290307, matched by ssl/ip: 0, matched by HTTP: 5011798 2018-12-07 16:45:45.370 [31040] Information Application - All worker threads redirected blocked http: 5011798, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 4659707, rst sended IPv6: 0 Изменено 7 декабря, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...