Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

На что влиляет резольвинг ? Нужно ли его включить обратно , пускай проверяет даже долго или мне он вообще не нужен ?
Сегодня ночью прошли проверки, с утра в отчете всего 3 пропуска , сайты\урлы в файлах extFiltra есть , гл почему то не заблочились.
 

http://www.libros.am./book/read/id/357319/slug/russkijj-mirovjj-poryadok1
http://purposechem.com./  (с точкой в конце - в браузере не открывается)
https://ispovednik.org/    (идет редиректом вот с такого адреса http://www.ispovednik.com./prilozhenie-no-2 )

что с ними не так ? видел где то в конфиге настройку "Удалять точку в конце домена "  - может надо включить её ?

И по поводу ядер , почему с маской 7 , работает только 1 ядро из 4 , сетевая карта  82571EB Gigabit Ethernet Controller 105e ?

Изменено пользователем IMPERATOR

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

конфиг покажите

не знаю как на 82571, но у меня на 82574 всего одна очередь, тоже только одно ядро

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В  старом фильтре было выставлено

; количество потоков по анализу трафика
number_of_workers=2

; Какие ядра использовать. Default: все ядра, кроме management.
; core_mask = 7

Было загружено 2 ядра.
В новом:
core_mask = 7
[port 0]
queues = 0,1

пробовал queues = 0,1; 1,2  все  равно 1 ядро. Может конечно дело и в самой сетевой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, IMPERATOR сказал:

82571EB Gigabit Ethernet Controller

На этой карте одна очередь

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 часа назад, IMPERATOR сказал:

что с ними не так ? видел где то в конфиге настройку "Удалять точку в конце домена "  - может надо включить её ?

Покажите полный конфиг

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вот

Спойлер

./extfilter.ini
[root@extfilter etc]# cat extfilter.ini
; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/local/etc/extfilter/domains
urllist = /usr/local/etc/extfilter/urls
ssllist = /usr/local/etc/extfilter/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/local/etc/extfilter/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/ssl_ips

; если false, то будет послан rst пакет вместо редиректа. Default: false
http_redirect = true

redirect_url = Наш сайт/файл с заглушкой

; HTTP код ответа. default: 302 Moved Temporarily
http_code = 302 Found

; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего
url_additional_info = none

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = false

; Default: 0 - disable
statistic_interval = 300

; Default: false
match_url_exactly = false

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
; core_mask = 7
core_mask = 7

; файл статистики (для extfilter-cacti)
;statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500


; количество тредов для отсылки уведомлений о блокировке
; num_of_senders = 1
num_of_senders = 1

; делать ли нормализацию url
; url_normalization = true

; удалять ли точку в конце имени хоста
; remove_dot = true

; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
 memory_channels = 2

; notify_enabled = false
; Формат файла ip/mask @group_id, где group_id группа оповещения. Например:
; 192.168.0.0/24 @0
; 10.0.0.0/24 @0
; 10.20.0.0/24 @1
; notify_acl_file = /usr/local/etc/extfilter/notify_acl

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
;[port 0]
;queues = 0,1; 1,2

[port 0]
queues = 0,1

; Порт для отправки уведомлений через dpdk
;[port 1]
[port 1]
;type = sender
; На какой mac адрес отправлять пакеты
;mac = 00:01:02:03:04:05

; Группа оповещения 0
;[notify 0]
;http_code = 302 Found
;redirect_url = http://announce.example.com/?
;rst_to_server = false
; через какое время делать редирект (секунды)
;period = 1800
; количество редиректов, если 0 - не ограничено
;repeat = 0

[dpi]
; Максимальное количество обрабатываемых потоков (flow)
; max_active_flows_ipv4 = 1000000
; max_active_flows_ipv6 = 1000000

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
; fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
; tcp_reordering = true

[logging]
loggers.root.level = information
;loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у меня так, пропусков нет

rst_to_server = true

remove_dot = false

 

extfilter-maker и zapret последний из git???

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

да , скрипты полностью обновил до новых  версий.  сегодня опять 4 пропуска , хорошо что не тысячи как было до этого . А вообще выписали повестку в куда то в управление, или в суд ,  вроде как хотят штрафануть , но может и предупреждением отделаемся .

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

31 минуту назад, IMPERATOR сказал:

да , скрипты полностью обновил до новых  версий.  сегодня опять 4 пропуска , хорошо что не тысячи как было до этого . А вообще выписали повестку в куда то в управление, или в суд ,  вроде как хотят штрафануть , но может и предупреждением отделаемся .

А что за железо у Вас???

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, Antares сказал:

А что за железо у Вас???

zapret  - на  виртуалке ( 2 ядра , 4 Гб памяти)
сам extfilter    - стареньком intel  Q9550 , 8Гб память , сеть 82571EB - для зеркального трафика,  ну и встроенная  в сторону клиентов какая )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

да уж, слабоват

трафика сколько? в логах missed packets по-нулям???

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

graph.thumb.png.3f33c7f893a68c369da5d3abaadaab41.png

В 11.08.2017 в 08:12, Zarin сказал:

 

Да, скоре всего неверно выделяется память. Чуть позже попробую на однопроцессорной системе.

Но после последнего обновления, с текущими настройками и 4-мя очередями почти исчезли мисы (не более 50-100 тыс пакетов в сутки), пакетов в пике 2.8 мппс.

 

Такие результаты получил на Dell R410 2x X5650, 16 gb ddr3 1133 mhz. До обновления, в ЧНН мисов было больше чем полезного трафика на этой конфигурации.

На графике динамика missed packets с 22 августа была версия 9eada92ede8ab396f6c5905018cd0fc3002f8147, с 19 сентября уже 12bcc9aaa84aa2a62a640a0a768dd8b219671d5e

 

У вас удалось довести до ума конфиг с двумя физическими процессорами и выделением памяти ? Я вот бьюсь, но на других ядрах получаю тоже всегда.

2017-09-22 17:35:15.902 [5995] Fatal WorkerThread-13 - Not enough memory for flows pool. Tried to allocate 59840352 bytes
2017-09-22 17:35:15.902 [5995] Error Application - Exception: Not enough memory for flows pool
./cpu_layout.py
======================================================================
Core and Socket Information (as reported by '/sys/devices/system/cpu')
======================================================================
cores =  [0, 1, 2, 3, 4, 5, 6, 7]
sockets =  [0, 1]
       Socket 0    Socket 1
       --------    --------
Core 0 [0]         [8]
Core 1 [1]         [9]
Core 2 [2]         [10]
Core 3 [3]         [11]
Core 4 [4]         [12]
Core 5 [5]         [13]
Core 6 [6]         [14]
Core 7 [7]         [15]
P.S. без HT

Sep 22 14:29:40 dpi extFilter[47922]: EAL: Probing VFIO support...
Sep 22 14:29:47 dpi extFilter[47922]: EAL: PCI device 0000:07:00.0 on NUMA socket 0
Sep 22 14:29:47 dpi extFilter[47922]: EAL:   probe driver: 8086:10fb net_ixgbe
Sep 22 14:29:47 dpi extFilter[47922]: EAL: PCI device 0000:07:00.1 on NUMA socket 0
Sep 22 14:29:47 dpi extFilter[47922]: EAL:   probe driver: 8086:10fb net_ixgbe

Вроде как запускается на 0 сокете и карточка там же.

 

Но в логах всё равно socket 0 и socket 1

 

При четырёх воркерах и 4 сендерах с 1 по 4 ядра счётчики missed растут переодически.

 

2017-09-22 14:29:47.498 [47922] Information ACL - Preparing 53 rules for IPv4 ACL
2017-09-22 14:29:47.500 [47922] Information Application - Setting mbuf size to 16384
2017-09-22 14:29:47.510 [47922] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2017-09-22 14:29:47.512 [47922] Information Application - Allocated memory pool (16384 entries) for packet info on sockets 0
2017-09-22 14:29:47.526 [47922] Information Application - Allocated mbuf pool (16384 entries) on socket 1
2017-09-22 14:29:47.529 [47922] Information Application - Allocated memory pool (16384 entries) for packet info on sockets 1
2017-09-22 14:29:47.529 [47922] Information Application - Port 0 creating queues: rx queue=2, tx queue=2
2017-09-22 14:29:47.529 [47922] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=1
2017-09-22 14:29:47.529 [47922] Information Application - port=0 tx_queueid=0 nb_txd=512 core=1
2017-09-22 14:29:47.529 [47922] Information Application - port=0 rx_queueid=1 nb_rxd=256 core=2
2017-09-22 14:29:47.529 [47922] Information Application - port=0 tx_queueid=1 nb_txd=512 core=2
2017-09-22 14:29:47.689 [47922] Information Application - Port 1 creating queues: rx queue=2, tx queue=2
2017-09-22 14:29:47.689 [47922] Information Application - port=1 rx_queueid=0 nb_rxd=256 core=3
2017-09-22 14:29:47.689 [47922] Information Application - port=1 tx_queueid=0 nb_txd=512 core=3
2017-09-22 14:29:47.689 [47922] Information Application - port=1 rx_queueid=1 nb_rxd=256 core=4
2017-09-22 14:29:47.690 [47922] Information Application - port=1 tx_queueid=1 nb_txd=512 core=4

cat /sys/devices/system/node/node1/hugepages/hugepages-1048576kB/nr_hugepages
16
cat /sys/devices/system/node/node0/hugepages/hugepages-1048576kB/nr_hugepages
16

 

Изменено пользователем hsvt
файл

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну вот запустил в боевом режиме на 2х процессорной системе с 7ю очередями , вроде пока работает , будем посмотреть .

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ребят, повторюсь, что-то решилось по поводу пропусков? http://paste.org.ru/?2mmy01

 

nfqfilter, может его кто допиливал? ведь есть же наверно кто не большой трафик обрабатывает, ребят очень надо, ответьте плиз кто пофиксил

 

спасибо

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Переходи на extfilter. Перешел и забыл где сервер блокировок находится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

19 часов назад, myth сказал:

Переходи на extfilter. Перешел и забыл где сервер блокировок находится.

всё бы ничего, да у меня сервер блокировки это виртуалка на проксмоксе

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 24.09.2017 в 12:54, myth сказал:

Ну, Пентиумы нынче недорогие

дело было не в самом фильтре, а в скрипте nfqfilter_config

 

прикрутил к nfqfilter скрипт extfilter-maker и extfilter-quagga, только чуток пропатчив для запуска http://paste.org.ru/?psgtyj и всё стало ок :p

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

http://34.203.199.136, 34.203.199.136, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 12:46:44 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:47:32 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:50:56 ЦФО_Б_З_01_
http://34.233.125.249, 34.233.125.249, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:42:01 ЦФО_Б_З_01_
http://34.229.218.199, 34.229.218.199, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:54:53 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:41:30 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:49:48
http://34.234.75.69, 34.234.75.69, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 

вчера как активировал полностью extfilter  вот такие записи в отчете , их как то по особому нужно ловить ?

 

http://34.203.199.136, 34.203.199.136, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 12:46:44 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:47:32 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:50:56 ЦФО_Б_З_01_
http://34.233.125.249, 34.233.125.249, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:42:01 ЦФО_Б_З_01_
http://34.229.218.199, 34.229.218.199, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:54:53 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:41:30 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:49:48
http://34.234.75.69, 34.234.75.69, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 

вчера как активировал полностью extfilter  вот такие записи в отчете , их как то по особому нужно ловить ?

но у меня эти хосты не открываются ни в браузере ни в wget 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 минуты назад, dee сказал:

вчера как активировал полностью extfilter  вот такие записи в отчете , их как то по особому нужно ловить ?

Для полной блокировки по ip надо использовать другой механизм - анонс через bgp блокированных ip на основной маршрутизатор. Для этого в комплекте с extfilter есть скрипт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

21 минуту назад, dee сказал:

http://34.203.199.136, 34.203.199.136, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 12:46:44 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:47:32 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:50:56 ЦФО_Б_З_01_
http://34.233.125.249, 34.233.125.249, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:42:01 ЦФО_Б_З_01_
http://34.229.218.199, 34.229.218.199, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:54:53 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:41:30 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:49:48
http://34.234.75.69, 34.234.75.69, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 

вчера как активировал полностью extfilter  вот такие записи в отчете , их как то по особому нужно ловить ?

 


http://34.203.199.136, 34.203.199.136, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 12:46:44 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:47:32 ЦФО_Б_З_01_
http://54.159.121.162, 54.159.121.162, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 13:50:56 ЦФО_Б_З_01_
http://34.233.125.249, 34.233.125.249, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:42:01 ЦФО_Б_З_01_
http://34.229.218.199, 34.229.218.199, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 18:54:53 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:41:30 ЦФО_Б_З_01_
http://54.243.23.20, 54.243.23.20, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 25 Сен, 2017 19:49:48
http://34.234.75.69, 34.234.75.69, GET Генпрокуратура 01 Сен, 2017 06:16:37 200 

вчера как активировал полностью extfilter  вот такие записи в отчете , их как то по особому нужно ловить ?

но у меня эти хосты не открываются ни в браузере ни в wget 

Эти ip задним числом вносят в реестр, от того и пропуски. Ревизор их раньше выкачивает, чем вы

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

имею вопрос касаемо структуры самого реестра . 

Там почти в каждой <content  > есть поле с <ip> , но так же есть отдельный элемент blockType , где указывается по какому признаку блокировать ресурс (из текста сопроводительной пдф  http://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf сказано , что есть тип default (но не сказано что это значит , вот вопрос , по какому признаку блокируется этот тип ?) . Так же в догонку с <ip> <ipSubnets> , эти записи имеются у многих контенсов , и доменов и урлов , вопрос - зачем они там нужны ? т.к есть отдельный тип blockType="ip" где как раз и есть списки ip  адресов , которые необходимо фаерволить , или же нужно фаерволить и <ip> из blockType="domain" ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В шпаргалке все написано.

Блокировать нужно только то, что соответствует типу блокировки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 9/23/2017 в 00:48, hsvt сказал:

У вас удалось довести до ума конфиг с двумя физическими процессорами и выделением памяти ? Я вот бьюсь, но на других ядрах получаю тоже всегда.

 

Я запустил на одном процессоре (в двух процессорном сервере), pcie контроллер которого используеться сетевой картой, как рекомендует гайд по dpdk.

Проблема с огромным количеством мисор решилась после каммита ceaca4cc7f005bc249f32825aa36f768a0af469d , дальше не обновлялся. Видимо поменялся механизм выделения памяти.

Мисы есть, но их количество на фоне общего трафика достаточно мало. Ревизор перестал видеть пропуски.

 

Чуть позже, думаем поставить самосбор на Core i7-7820X. 

Изменено пользователем Zarin
Правки

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.