Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

1. Буду разбираться со своим DNS

 

42 минуты назад, epollia сказал:

не "сюда", а от сюда, на veesecurity.com

Вот это я косяк конечно.

Большая благодарность за подробное разъяснение!

2. Однако, у меня добавлена  2018-10-20 14:45:59, а не пройдена вчера. С разных узлов сети пробовал - везде заглушка.

На фильтре ошибок и пропусков нет. Чертовщина какая-то..

Изменено пользователем Morphus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

5 минут назад, Morphus сказал:

1. Буду разбираться со своим DNS

 

Вот это я косяк конечно.

Большая благодарность за подробное разъяснение!

2. Однако, у меня добавлена  2018-10-20 14:45:59, а не пройдена вчера.

На фильтре ошибок и пропусков нет. Чертовщина какая-то..

 

добавлено постонавление или сама запись?

я вам скинул когда добавлена сама запись. Соменваюсь что реестры у нас такие разные

 

я себе сделал отдельную таблицу в базе, туда пишу что и когда доабвлено. Именно записи (url, domain, ip) и время когда добавлена.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 минут назад, epollia сказал:

добавлено постонавление или сама запись?

я вам скинул когда добавлена сама запись. Соменваюсь что реестры у нас такие разные

domains выглядит так:

id	date_add	record_id	domain	domain_fixed
50 493	2018-10-20 14:45:59	85 102	lol_a_pochemu_v_telegu_nezahodit.***rkn.us	[NULL]

records для этого id такой:

 

id	date_add	decision_id	decision_date	decision_num	decision_org	include_time	entry_type	hash
85 102	2018-10-20 14:45:59	925 567	2018-04-16	27-31-2018/Ид2971-18	Генпрокуратура	2018-05-19T14:57:54	3	77DA5E19101F94E14A0CB38BABB76222

Или я опять путаюсь.. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, добрый день!

 

А не планируется загружать по логину/паролю, а не по подписанному запросу?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

extFilter не блокируются url'и c кириллицей.

Подскажите у вас такое блокируется?

Изменено пользователем Стич

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Блокирует. Вставил вашу ссылку в curl получил редирект

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вопросы по extFilter

 

Периодически после подачи HUP для обновления настроек.

Начинает постоянно сыпаться в log вот такое:

Error TriesManager - Exception occured while search http: trie.cc:149: MARISA_STATE_ERROR: trie_.get() == NULL

От частоты подачи HUP вроде не зависит я наблюдал и через 5 и через 20мин

 

Как это побороть?

Как определить когда можно подать HUP без последствий?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, Стич сказал:

Как это побороть?

Как определить когда можно подать HUP без последствий?

Проверьте корректность списков для блокировки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 03.12.2018 в 14:05, max1976 сказал:

Проверьте корректность списков для блокировки.

Да, Вы оказались правы, были ошибки в urls.

 

 

Возникла следующая проблема: идут missed packets

Как я понял отчеты показывают что все пакеты обрабатываются одним ядром.

 

2018-12-05 15:05:14.460 [3249] Information Application - Port 1 input packets 139319334, input errors: 0, mbuf errors: 0, missed packets: 8064

2018-12-05 15:05:14.460 [3249] Information Application - Worker thread on core 6 statistics:

2018-12-05 15:05:14.460 [3249] Information Application - Thread seen packets: 133863442, IP packets: 133858584 (IPv4 packets: 133834345, IPv6 packets: 24239), seen bytes: 20290266010, Averag

e packet size: 151 bytes, Traffic throughput: 446.21 K pps

 

Worker thread on core 7 statistics:
2018-12-05 15:31:15.853 [3052] Information Application - Thread seen packets: 0, IP packets: 0 (IPv4 packets: 0, IPv6 packets: 0), seen bytes: 0, Average packet size: 0 bytes, Traffic throug
hput: 0.00 pps

 

 

Это нормально?

 

Настройки:

scale = 8

memory_channels = 1

core_mask = 65521

queues = 0,6; 1,7; 2,8; 3,9; 4,10; 5,11; 6,12; 7,13; 8,14; 9,15

 

Подскажите куда дальше крутить?

 

Изменено пользователем Стич

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, Стич сказал:

 

 

Настройки:

scale = 8

memory_channels = 1

core_mask = 65521

Странный какой core_mask должен же быть 32705 - нет ?

 

и лог побольше выложи, чтобы посмотреть всех воркеров и суммарку.

Изменено пользователем aalexanderr

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, Стич сказал:

 

Подскажите куда дальше крутить?

Сколько процессоров в сервере? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

27 минут назад, max1976 сказал:

Сколько процессоров в сервере? 

Процессоров два по восемь ядер. ( product: Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz)

 

По статистике вижу что работает только одно ядро из десяти выделенных. Пробовал выделить только один первый процессор и соответственно 8 ядер, результат такой же работало одно ядро.

Сетевая Intel x710-da2

 

 

Изменено пользователем Стич

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, Стич сказал:

Процессоров два по восемь ядер. ( product: Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz)

 

По статистике вижу что работает только одно ядро из десяти выделенных. Пробовал выделить только один первый процессор и соответственно 8 ядер, результат такой же работало одно ядро.

Сетевая Intel x710-da2

 

 

Настраивайте на первом процессоре. Убедитесь, что сетевая карта подключена к первому процессору. В выводе лога вы привели пример только для порта 1. Какая статистика для порта 0? Приведите полный конфиг для портов. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Похоже в сетевой карте по какой то причине весь трафик попадает в одну нулевую очередь.

Может нужна какая то спец настройка для x710?

 

Сейчас карту ни как не настраиваю кроме

dpdk-devbind.py --bind=igb_uio 0000:02:00.0
dpdk-devbind.py --bind=igb_uio 0000:02:00.1

Изменено пользователем Стич

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Похоже проблема была с Intel x710, как то не работает она с dpdk правильно, направляя весь трафик в одну очередь.

После замены на x520 всё заработало корректно. Надеюсь :)

 

max1976 спасибо за extFilter.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

второй день подрят один и тотже пропуск 

http://w.kyzdar.net

вчера добавили, в списке есть, а  не блокируется, extfilter 0.99a в режиме зеркала

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 часа назад, Troj сказал:

второй день подрят один и тотже пропуск 


http://w.kyzdar.net

вчера добавили, в списке есть, а  не блокируется, extfilter 0.99a в режиме зеркала

Я посмотрел дамп для этого ресурса. Смысл такой, что сам сервер выставляет параметры соединения с Windows Size 10, тем самым весь get запрос не влезает в один пакет, когда клиент отправляет первую часть запроса, сервер шлет ask и сразу же отвечается http 301. Тем самым получается, что сервер не ждет параметров host и URL, а клиент не пытается их отправить из-за ответа самого сервера. Я у себя заблокировал по IP. Других вариантов нет.

Изменено пользователем epollia

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

За вчера всплекс нарушений, сегодня тоже. И все по url.В фильтре ошибок и пропусков нету. С сети проверяю - заглушка выходит.

http://tarsik.blogspot.com/,
173.194.73.197, GET Генпрокуратура 24 Дек, 2015 10:49:15 200 С: http://tarsik.blogspot.be/
(74.125.131.132)

https://postskriptum.org/2016/
07/15/nice-4/, 35.185.44.232,
GET Генпрокуратура 27 Авг, 2016 10:24:55 200 С: http://postskriptum.org/
2016/07/15/nice-4/ (35.185.44.
232)

http://newsofchechenia.
blogspot.com/, 173.194.222.132,
GET Генпрокуратура 25 Окт, 2016 14:21:51 200 С: http://newsofchechenia.
blogspot.ru/ (173.194.73.132)

Но ревизор пишет в ошибки.

Раньше схема была такая: из таблицы domains вносились данные в DNS с редиректом на заглушку, но так же парсились домены из url и тоже вносились.

Вчера оставили только из доменов и понеслось.

Фильтр при этом блокирует. Но до ревизоров как-будто не доходит..

Могло ли быть так, что фильтр отвечал позже, но спасали dns. а сейчас их нет и фильтр опаздывает.. Ревизоры воткнуты в свитч, который оптикой напрямую в серверную идет, а там циска зеркалит..

Что можно посмотреть или поправить в конфиге ? 

 

Изменено пользователем Morphus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Morphus у меня наоборот вчера спад. Всего 8 пропусков. и то не таких

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

6 часов назад, epollia сказал:

Я посмотрел дамп для этого ресурса. Смысл такой, что сам сервер выставляет параметры соединения с Windows Size 10, тем самым весь get запрос не влезает в один пакет, когда клиент отправляет первую часть запроса, сервер шлет ask и сразу же отвечается http 301. Тем самым получается, что сервер не ждет параметров host и URL, а клиент не пытается их отправить из-за ответа самого сервера. Я у себя заблокировал по IP. Других вариантов нет.

Всё верно. Я добавил в zapret.pl функционал, позволяющий добавлять ip адреса в собственный список блокировки для блокировки по ip.

 

1 час назад, Morphus сказал:

За вчера всплекс нарушений, сегодня тоже. И все по url.В фильтре ошибок и пропусков нету. С сети проверяю - заглушка выходит.

 

1 час назад, Cramac сказал:

 у меня наоборот вчера спад. Всего 8 пропусков. и то не таких

Писал уже много раз одно и то же: используйте современные процессоры, используйте кратчайший путь по доставке сообщений абонентам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

6 минут назад, max1976 сказал:

Всё верно. Я добавил в zapret.pl функционал, позволяющий добавлять ip адреса в собственный список блокировки для блокировки по ip.

 

 

Писал уже много раз одно и то же: используйте современные процессоры, используйте кратчайший путь по доставке сообщений абонентам.

Неужто такого мало ? Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz

Путь и так кратчайший: в инет ходят: циска - шейпер - инет. фильтр подключен к циске, которая и зеркалит весь трафик котоырй идет на шейпер на него. Не ответить раньше, я не знаю... =\

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@max1976 Я правильно понял что в файле конфигурации запрета нужно указать путь к файлу со своими правилами

our_blacklist = ...

?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 минуты назад, Morphus сказал:

Неужто такого мало ? Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz

Вы шутите? Процессор почти 9 летней давности.

 

1 минуту назад, epollia сказал:

@max1976 Я правильно понял что в файле конфигурации запрета нужно указать путь к файлу со своими правилами

our_blacklist = ...

?

Да, именно так. Формат описал в README.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

10 минут назад, Morphus сказал:

Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz

У меня Intel(R) Xeon(R) CPU  X5670  @ 2.93GHz. Зеркалю аплинки но у меня дополнительно ревизор еще на всякий случай за nfqfilter

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

15 минут назад, max1976 сказал:

Вы шутите? Процессор почти 9 летней давности.

в логах фильтра должны же быть missed пакеты ? 4 Гбита трафика. pps тысяч по 800

Скрытый текст

Port 0 input packets 1589548915209, input errors: 1, mbuf errors: 0, missed packets: 0
2018-12-07 16:45:45.369 [31040] Information Application - Port 1 input packets 0, input errors: 0, mbuf errors: 0, missed packets: 0
2018-12-07 16:45:45.369 [31040] Information Application - Worker thread on core 1 statistics:
2018-12-07 16:45:45.369 [31040] Information Application - Thread seen packets: 396781317317, IP packets: 396757814445 (IPv4 packets: 396757814445, IPv6 packets: 0), seen bytes: 58471383880216, Average packet size: 147 bytes, Traffic$
2018-12-07 16:45:45.369 [31040] Information Application - Thread IPv4 fragments: 86658106, IPv6 fragments: 0, IPv4 short packets: 0
2018-12-07 16:45:45.369 [31040] Information Application - Thread matched by ip/port: 2, ssl SNI: 46186, ssl/ip: 0, http IPv4: 1394653, http IPv6: 0
2018-12-07 16:45:45.369 [31040] Information Application - Thread redirected blocked http IPv4: 1394653, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 980011, rst sended IPv6: 0
2018-12-07 16:45:45.369 [31040] Information Application - Thread packets latency all packets: 958 cycles (359 ns), unblocked packets: 958 cycles (359 ns), blocked packets: 14833 (5562 ns)
2018-12-07 16:45:45.369 [31040] Information Application - Worker thread on core 2 statistics:
2018-12-07 16:45:45.369 [31040] Information Application - Thread seen packets: 392183662802, IP packets: 392174099520 (IPv4 packets: 392174099520, IPv6 packets: 0), seen bytes: 58432741464018, Average packet size: 148 bytes, Traffic$
2018-12-07 16:45:45.369 [31040] Information Application - Thread IPv4 fragments: 90970496, IPv6 fragments: 0, IPv4 short packets: 0
2018-12-07 16:45:45.369 [31040] Information Application - Thread matched by ip/port: 0, ssl SNI: 117751, ssl/ip: 0, http IPv4: 1390104, http IPv6: 0
2018-12-07 16:45:45.369 [31040] Information Application - Thread redirected blocked http IPv4: 1390104, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 1504707, rst sended IPv6: 0
2018-12-07 16:45:45.369 [31040] Information Application - Thread packets latency all packets: 954 cycles (358 ns), unblocked packets: 954 cycles (358 ns), blocked packets: 14821 (5558 ns)
2018-12-07 16:45:45.370 [31040] Information Application - Worker thread on core 3 statistics:
2018-12-07 16:45:45.370 [31040] Information Application - Thread seen packets: 399842113325, IP packets: 399833767665 (IPv4 packets: 399833767665, IPv6 packets: 0), seen bytes: 71240521709098, Average packet size: 178 bytes, Traffic$
2018-12-07 16:45:45.370 [31040] Information Application - Thread IPv4 fragments: 93202317, IPv6 fragments: 0, IPv4 short packets: 0
2018-12-07 16:45:45.370 [31040] Information Application - Thread matched by ip/port: 0, ssl SNI: 68759, ssl/ip: 0, http IPv4: 1119524, http IPv6: 0
2018-12-07 16:45:45.370 [31040] Information Application - Thread redirected blocked http IPv4: 1119524, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 1067491, rst sended IPv6: 0
2018-12-07 16:45:45.370 [31040] Information Application - Thread packets latency all packets: 958 cycles (359 ns), unblocked packets: 958 cycles (359 ns), blocked packets: 14572 (5464 ns)
2018-12-07 16:45:45.370 [31040] Information Application - Worker thread on core 4 statistics:
2018-12-07 16:45:45.370 [31040] Information Application - Thread seen packets: 400741823845, IP packets: 400732555081 (IPv4 packets: 400732555081, IPv6 packets: 0), seen bytes: 62580444472289, Average packet size: 156 bytes, Traffic$
2018-12-07 16:45:45.370 [31040] Information Application - Thread IPv4 fragments: 109363327, IPv6 fragments: 0, IPv4 short packets: 0
2018-12-07 16:45:45.370 [31040] Information Application - Thread matched by ip/port: 0, ssl SNI: 57611, ssl/ip: 0, http IPv4: 1107517, http IPv6: 0
2018-12-07 16:45:45.370 [31040] Information Application - Thread redirected blocked http IPv4: 1107517, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 1107498, rst sended IPv6: 0
2018-12-07 16:45:45.370 [31040] Information Application - Thread packets latency all packets: 967 cycles (363 ns), unblocked packets: 967 cycles (363 ns), blocked packets: 14450 (5419 ns)
2018-12-07 16:45:45.370 [31040] Information Application - All worker threads seen packets: 1589548917289, IP packets: 1589498236711 (IPv4 packets: 1589498236711, IPv6 packets: 0), seen bytes: 250725091525621, traffic throughtput: 1.$
2018-12-07 16:45:45.370 [31040] Information Application - All worker IPv4 fragments: 380194246, IPv6 fragments: 0, IPv4 short packets: 0
2018-12-07 16:45:45.370 [31040] Information Application - All worker threads matched by ip/port: 2, matched by ssl SNI: 290307, matched by ssl/ip: 0, matched by HTTP: 5011798
2018-12-07 16:45:45.370 [31040] Information Application - All worker threads redirected blocked http: 5011798, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 4659707, rst sended IPv6: 0
 

 

Изменено пользователем Morphus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.