Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

34 минуты назад, max1976 сказал:

Нашел баг при загрузке списков с маской для ssl.

Ошибка исправлена. Изменение на github'е.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1xbet.mobi похоже постоянно меняет ip  т.к домен в списке есть , а ip на который он резолвится нет (81.91.185.1)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 минуты назад, dee сказал:

1xbet.mobi похоже постоянно меняет ip  т.к домен в списке есть , а ip на который он резолвится нет (81.91.185.1)

Это не имеет значения. Данный сайт блокируется по http/sni.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну новая сборка постоянно падает при попытке запуска 

 

Скрытый текст

/usr/src/TEST-103/extfilter/src/extFilter -f /usr/src/TEST-103/extfilter/etc/extfilter.ini
EAL: Detected 16 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:06:00.0 on NUMA socket 0
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:06:00.1 on NUMA socket 0
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:09:00.0 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.1 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.2 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.3 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:83:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:83:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:85:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:85:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:89:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:89:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10fb net_ixgbe
acl context <extFilter-ipv4-acl0-0>@0x7f780b2d8000
  socket_id=0
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=46
  num_categories=1
  num_tries=1
RING: Cannot reserve memory
HASH: memory allocation failed
Аварийный останов (core dumped

 

______________________________________

 

2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocate 149952 bytes (3124 entries, element size 48) for flow hash ipv6
2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocating 24992 bytes (3124 entries) for ipv6_flows
2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocate 149952 bytes (3124 entries, element size 48) for flow hash ipv6
2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV6 - Allocating 24992 bytes (3124 entries) for ipv6_flows
2018-08-30 14:14:24.237 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.239 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.248 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.250 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.260 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.262 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.272 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.274 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.283 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.285 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.295 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.297 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.306 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.308 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.318 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.319 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.329 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.331 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.341 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.342 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.352 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.354 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.364 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.365 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.375 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.377 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.386 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.388 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.398 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.400 [12451] Information FlowStorageIPV4 - Allocating 4999992 bytes (624999 entries) for ipv4_flows
2018-08-30 14:14:24.412 [12451] Information FlowStorageIPV4 - Allocate 9999984 bytes (624999 entries, element size 16) for flow hash ipv4
2018-08-30 14:14:24.412 [12451] Fatal FlowStorageIPV4 - Unable to create ipv4 flow hash
 

 

 

предыдущая версия всё гут , конфиг одинаковый ( памяти выделано одинаково , файлы блокировки одинаковые

Изменено пользователем dee

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Только что, dee сказал:

ну новая сборка постоянно падает при попытке запуска

Мало памяти для dpdk (huge pages).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

33 minutes ago, max1976 said:
; Использовать jumbo frames
; jumbo_frames = false
 
; Максимальная длина ethernet фрейма при включенном jumbo_frames

; max_pkt_len = 9600

 

Включите эту опцию.

 

 

Ага, оно. Ошибок стало 0.

Натыкался на упоминания о том что оно не работает в dpdk, поэтому выключал.

 

17 minutes ago, max1976 said:

Ошибка исправлена. Изменение на github'е.

 

https://1xbet.mobi, https://www.1xbet.mobi - банятся.

Зато перестал баниться http://1xbet.mobi - улетаю редиректом сайта на https, и вижу не заглушку а ресет.

 

Причём, похоже это только этот сайт из проверенных.

Остальные упоминавшиеся выше:

https://www.paripartners162.com/

https://paripartners162.com/

 

https://www.mygreatmarathon.win/

 

https://www.leonbets8u.website/

 

банятся нормально.

Изменено пользователем atdp03

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 минуту назад, max1976 сказал:

Мало памяти для dpdk (huge pages).

тогда вопрос - сколько же ей теперь нужно ? 

cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
10000
 

cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
10000

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 минуту назад, atdp03 сказал:

Зато перестал баниться http://1xbet.mobi - улетаю редиректом сайта на https, и вижу не заглушку а ресет.

Такого сайта нет в списке.  *.xbet.mobi это другая маска.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 minutes ago, max1976 said:

Такого сайта нет в списке.  *.xbet.mobi это другая маска.

/reg:register/content/@id=1059333
/reg:register/content/@includeTime=2018-08-21T06:25:18
/reg:register/content/@entryType=1
/reg:register/content/@blockType=domain-mask
/reg:register/content/@hash=057091A582193EB9762A3B8AC78A74E0
/reg:register/content/decision/@date=2016-05-13
/reg:register/content/decision/@number=2-6-27/ 2016-05-05-24-АИ
/reg:register/content/decision/@org=ФНС
/reg:register/content/domain=*.1xbet.mobi

 

Апдейт, был невнимателен.

При обращении к https://www.1xbet.mobi сайт редиректит на https://1xbet.mobi который успешно банится.

Изменено пользователем atdp03

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 минуту назад, dee сказал:

тогда вопрос - сколько же ей теперь нужно ?

Памяти нужно много, т.к. это dpi и нужна большая скорость. Если вы использовали предыдущие версии, то необходимо адаптировать конфиг. Убрать все параметры из секции [dpi] и оставить только scale (от 1 до 10). Это значение подставляется ~ на каждый гигабит трафика.

 

Только что, atdp03 сказал:

/reg:register/content/@id=1059333
/reg:register/content/@includeTime=2018-08-21T06:25:18
/reg:register/content/@entryType=1
/reg:register/content/@blockType=domain-mask
/reg:register/content/@hash=057091A582193EB9762A3B8AC78A74E0
/reg:register/content/decision/@date=2016-05-13
/reg:register/content/decision/@number=2-6-27/ 2016-05-05-24-АИ
/reg:register/content/decision/@org=ФНС
/reg:register/content/domain=*.1xbet.mobi

 

Ну так я же написал что сайта x1bet.mobi нет в реестре, поэтому он и не блокируется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Потёр, кеш браузера.

Изменено пользователем atdp03

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 минуты назад, atdp03 сказал:

Потёр, кеш браузера.

 

Он блокируется:

Цитата

curl -v "http://1xbet.mobi"
* About to connect() to 1xbet.mobi port 80 (#0)
*   Trying 81.91.185.1...
* Connected to 1xbet.mobi (81.91.185.1) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 1xbet.mobi
> Accept: */*
>
< HTTP/1.1 302 Moved Temporarily
< Location: http://notify.example.com/blacklist
< Content-Length: 0
< Connection: close
<
* Closing connection 0

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

версия extFilter version 0.95 
ела конфиг :

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
; scale = 10

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
 fragmentation_ipv4_state = true
 fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
 tcp_reordering = true
 

а версия extFilter version 0.99a

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10

 scale = 5

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
; fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
 tcp_reordering = true

 

не знаю будет ли разница в работе , но последняя версия с конфигом от предыдущей всегда падала .

 

 

памяти осталось одинаковое количество :

cat   /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
5000

cat   /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages
100

cat /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
5100
 

Изменено пользователем dee

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 минуты назад, dee сказал:

не знаю будет ли разница в работе , но последняя версия с конфигом от предыдущей всегда падала .

Смотрите сообщение в логе. Последняя версия работает с отправкой редиректов только через dpdk интерфейс (дополнительный).

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

7 minutes ago, max1976 said:

Он блокируется:

 

Да, подтверждаю. Браузер закешировал, как и упоминавшееся ранее:

19 minutes ago, atdp03 said:

При обращении к https://www.1xbet.mobi сайт редиректит на https://1xbet.mobi который успешно банит

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

7 минут назад, max1976 сказал:

Смотрите сообщение в логе. Последняя версия работает с отправкой редиректов только через dpdk интерфейс (дополнительный).

 

да уже всё лето стояла версия с отправкой через dpdk , я же выложил как бы версии 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

28 минут назад, dee сказал:

да уже всё лето стояла версия с отправкой через dpdk , я же выложил как бы версии

Ответил выше - мало памяти. 2 гига не хватит для работы фильтра.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

46 minutes ago, max1976 said:

Ответил выше - мало памяти. 2 гига не хватит для работы фильтра.

Авоткстати.

 

Есть примерные рекомендации?

Типа:

100-500-1000к пакетов в секунду на входе, M (физических?) ядер по N Ghz, P гигабайт памяти, Q из них под hugepages, X очередей в extfilter, scale = Y, memory_channels = Z.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, atdp03 сказал:

Авоткстати.

 

Есть примерные рекомендации?

Типа:

100-500-1000к пакетов в секунду на входе, M (физических?) ядер по N Ghz, P гигабайт памяти, Q из них под hugepages, X очередей в extfilter, scale = Y, memory_channels = Z.

Всё смешали в кучу. Memory_channels зависит от платформы и количества установленных модулей памяти. Сколько pps вытянет одно ядро - зависит от процессора и памяти. Как писал выше, 1 scale ~ равен 1 гбит/с. Объем памяти под dpdk - минимум 8 Гб (зависит от scale и других дополнительных параметров из секции  [dpi]). 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Можно подвести промежуточные итоги.

Старая система: Xeon 1270v3+16G, extfilter от 2 февраля 2018.

Новая: Xeon 1270v5+32G, extfilter от 30го августа 2018.

Сетевухи идентичны, зеркало то же.

 

Старая машина жевала объём в один поток (num_of_workers=1).

Новой понадобилось 3, чтобы избавиться от фантомных пропусков. По факту сделал 4, с запасом.

core_mask = 31

[port 1]
queues = 0,1; 1,2; 2,3; 3,4

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

патчи от мельдаунов и прочих не появились на второй машине? Если появились, то может попробовать отключить ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

42 minutes ago, st_re said:

патчи от мельдаунов и прочих не появились на второй машине? Если появились, то может попробовать отключить ?

Логично, не подумал.

Единственное существенное отличие между старой и новой системами - 16.04 и 18.04.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 часа назад, atdp03 сказал:

Можно подвести промежуточные итоги.

Старая система: Xeon 1270v3+16G, extfilter от 2 февраля 2018.

Новая: Xeon 1270v5+32G, extfilter от 30го августа 2018.

Сетевухи идентичны, зеркало то же.

 

Старая машина жевала объём в один поток (num_of_workers=1).

Новой понадобилось 3, чтобы избавиться от фантомных пропусков. По факту сделал 4, с запасом.

core_mask = 31

[port 1]
queues = 0,1; 1,2; 2,3; 3,4

 

Надо смотреть количество missed пакетов на интерфейсе, который используется для приёма трафика. Если значение больше 0, то необходимо увеличить количество рабочих процессов. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

9 minutes ago, max1976 said:

Надо смотреть количество missed пакетов на интерфейсе, который используется для приёма трафика. Если значение больше 0, то необходимо увеличить количество рабочих процессов. 

Стерильно:

 

2018-09-04 19:03:56.150 [1440] Information Application - Port 1 input packets 8115511114, input errors: 0, mbuf errors: 0, missed packets: 0

 

Собственно, там и было стерильно, но фантомные пропуски были - тупо прокликиваю раз 20 одну и ту же ссыль - раз 8 открывается, остальное блочится.

В отчётах ревизора - рандомные пропуски, каждый день разные, штук по 200.

После подъёма числа очередей с 2х до 3х - пропуски исчезли.

При этом scale - закомментировано.

Изменено пользователем atdp03

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Уважаемый @max1976. Планируется ли обновление скрипта https://github.com/max197616/zapret под 2.4 версию дампа ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.