Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Выражение "волосатые лапы" получило новый смысл.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 16.06.2021 в 14:53, sdy_moscow сказал:

Посчитали, прослезились, подумали и отказались.

Именно. Тупо бюджетных бабок не хватило всем раздавать эти балалайки. Ну и на том "спасибо".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Доброго

на чём сейчас актуально из актуального всё собирается без бубна?

или ставить Центос7 ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На сколько законно заворачивать DNS трафик на свой, чтобы подменять выдаваемый адрес домена из реестра и его блочить ?
Вроде как это же атака на клиента, но похоже выбора не оставляют.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А какая необходимость перехватывать DNS-трафик?

Тем более, что он и так уже мигрирует в шифрованный трафик и скоро перехватывать его не получится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

=

Изменено пользователем dryukov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Генеральная прокуратура России требует заблокировать 173 сайта, в том числе https://www.youtube.com/channel/.......
Всем добра )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

19 часов назад, dryukov сказал:

Генеральная прокуратура России требует заблокировать 173 сайта, в том числе https://www.youtube.com/channel/.......
Всем добра )

Не слышал

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, по каким критериям трафик раскладывается по очередям сетевой карты?

Есть сервер - 8 физических ядер на 1 сокете, карта XL710, в которую подключены 2 линка 40GE с трафиком со стороны абонентов (трафика в обоих примерно одинаково по pps). В конфиге extfilter трафик раскладывается с одного порта на первые 3 ядра, со второго порта на следующие 4 ядра. Но в логе статистика показывает достаточно высокое расхождение в количестве трафика на разных ядрах, больше всего трафика в первой для порта очереди:

Worker thread on core 1 statistics:
Traffic throughput: 2.41 M pps
Worker thread on core 2 statistics:
Traffic throughput: 1.05 M pps
Worker thread on core 3 statistics:
Traffic throughput: 787.60 K pps


Worker thread on core 4 statistics:
Traffic throughput: 2.38 M pps
Worker thread on core 5 statistics:
Traffic throughput: 595.22 K pps
Worker thread on core 6 statistics:
Traffic throughput: 610.53 K pps
Worker thread on core 7 statistics:
Traffic throughput: 557.20 K pps

Изменено пользователем Marku5
pps

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 28.09.2021 в 11:08, Marku5 сказал:

Подскажите, по каким критериям трафик раскладывается по очередям сетевой карты?

Есть сервер - 8 физических ядер на 1 сокете, карта XL710, в которую подключены 2 линка 40GE с трафиком со стороны абонентов (трафика в обоих примерно одинаково по pps). В конфиге extfilter трафик раскладывается с одного порта на первые 3 ядра, со второго порта на следующие 4 ядра. Но в логе статистика показывает достаточно высокое расхождение в количестве трафика на разных ядрах, больше всего трафика в первой для порта очереди:

Worker thread on core 1 statistics:
Traffic throughput: 2.41 M pps
Worker thread on core 2 statistics:
Traffic throughput: 1.05 M pps
Worker thread on core 3 statistics:
Traffic throughput: 787.60 K pps


Worker thread on core 4 statistics:
Traffic throughput: 2.38 M pps
Worker thread on core 5 statistics:
Traffic throughput: 595.22 K pps
Worker thread on core 6 statistics:
Traffic throughput: 610.53 K pps
Worker thread on core 7 statistics:
Traffic throughput: 557.20 K pps

 

Посмотрите здесь. Алгоритм распределение по процессам задается здесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Здравствуйте. Помогите понять, почему extfilter вылетает на старте, если rx queue >1?

CPU: E5-1650 v2 @ 3.50GHz (1 сокет 6 ядер),  сетевая Intel 82599ES (2x10 Gbit).

ядро стартует с crashkernel=auto rhgb quiet nopti isolcpus=1,2,3,4,5 default_hugepagesz=1G hugepagesz=1G hugepages=4
 

При настройках одной очереди работает, если добавляю вторую - вылет. Эта карта в dpdk не поддерживает очереди приема больше одной? Или я что-то пропустил? Извините, новичок в этом вопросе.

 

Вот лог при двух очередях:

 

[port 0]
queues = 0,1; 1,2

 

Spoiler
2021-11-12 11:49:09.855 [3243] Debug Application - DPDK command line: extFilter
2021-11-12 11:49:09.855 [3243] Debug Application - DPDK command line: -n
2021-11-12 11:49:09.855 [3243] Debug Application - DPDK command line: 2
2021-11-12 11:49:09.855 [3243] Debug Application - DPDK command line: -c
2021-11-12 11:49:09.855 [3243] Debug Application - DPDK command line: 0x1f
2021-11-12 11:49:09.855 [3243] Debug Application - DPDK command line: --master-lcore
2021-11-12 11:49:09.855 [3243] Debug Application - DPDK command line: 0
2021-11-12 11:49:10.675 [3243] Information ACL - Memory usage before acl read: realmem 9476 peakrealmem: 9476 curVirtMem: 4279724 peakVirtMem: 9480416
2021-11-12 11:49:10.675 [3243] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts
2021-11-12 11:49:10.675 [3243] Information ACL - Used 64 bytes of memory for acl4 rules (1 entries)
2021-11-12 11:49:10.675 [3243] Information ACL - Used 0 bytes of memory for acl6 rules (0 entries)
2021-11-12 11:49:10.675 [3243] Information ACL - Memory usage after acl read: realmem 9960 peakrealmem: 9960 curVirtMem: 4279724 peakVirtMem: 9480416
2021-11-12 11:49:10.675 [3243] Information ACL - Memory usage bedore acl setup: realmem 9960 peakrealmem: 9960 curVirtMem: 4279724 peakVirtMem: 9480416
2021-11-12 11:49:10.675 [3243] Information ACL - Memory usage after acl setup: realmem 9960 peakrealmem: 9960 curVirtMem: 4279724 peakVirtMem: 9480416
2021-11-12 11:49:10.675 [3243] Information TriesControl - Loaded 1 lines from the domains file '/usr/local/etc/extfilter/domains'
2021-11-12 11:49:10.675 [3243] Information TriesControl - Loaded 1 lines from the urls file '/usr/local/etc/extfilter/urls'
2021-11-12 11:49:10.675 [3243] Information TriesControl - URLS: #keys 2, #nodes 3
2021-11-12 11:49:10.675 [3243] Information TriesControl - Set active trie in the slot 0
2021-11-12 11:49:10.675 [3243] Information TriesControl - Loaded 3 lines from the domains file '/usr/local/etc/extfilter/ssl_host'
2021-11-12 11:49:10.675 [3243] Information TriesControl - URLS: #keys 3, #nodes 5
2021-11-12 11:49:10.675 [3243] Information TriesControl - Set active trie in the slot 0
2021-11-12 11:49:10.675 [3243] Information Application - Setting mbuf size to 16384
2021-11-12 11:49:10.684 [3243] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2021-11-12 11:49:10.684 [3243] Information Application - Set number of entries of the sender buffer to 8192
2021-11-12 11:49:10.688 [3243] Information Application - Port 0 creating queues: rx queue=2, tx queue=5
2021-11-12 11:49:10.688 [3243] Information Application - port=0 tx_queueid=0 nb_txd=512 core=0
2021-11-12 11:49:10.688 [3243] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=1
2021-11-12 11:49:10.688 [3243] Information Application - port=0 tx_queueid=1 nb_txd=512 core=1
2021-11-12 11:49:10.688 [3243] Information Application - port=0 rx_queueid=1 nb_rxd=256 core=2
2021-11-12 11:49:10.688 [3243] Information Application - port=0 tx_queueid=2 nb_txd=512 core=2
2021-11-12 11:49:10.688 [3243] Information Application - port=0 tx_queueid=3 nb_txd=512 core=3
2021-11-12 11:49:10.689 [3243] Information Application - port=0 tx_queueid=4 nb_txd=512 core=4
2021-11-12 11:49:10.851 [3243] Information Application - Port 0 MAC: 90:e2:ba:7a:ae:0c
2021-11-12 11:49:10.852 [3243] Information Application - sender port=1 rx_queueid=0 nb_rxd=256
2021-11-12 11:49:10.852 [3243] Information Application - sender port=1 tx_queueid=0 tb_rxd=512
2021-11-12 11:49:10.852 [3243] Information Application - sender port=1 tx_queueid=1 tb_rxd=512
2021-11-12 11:49:10.852 [3243] Information Application - Port 1 MAC: 90:e2:ba:7a:ae:0d
2021-11-12 11:49:11.011 [3243] Information Application - Create pool 'DPIHTTPPool' for the http dissector with number of entries: 166667, element size 960 size: 160000320 bytes
2021-11-12 11:49:11.016 [3243] Information Application - Create pool 'DPISSLPool' for the ssl dissector with number of entries: 310000, element size 320 size: 99200000 bytes
2021-11-12 11:49:11.024 [3243] Information Application - Allocating 2165333184 bytes (4833333 entries) for ipv4 flow pool
2021-11-12 11:49:11.140 [3243] Information Application - Allocating 11946816 bytes (26667 entries) for ipv6 flow pool
2021-11-12 11:49:11.141 [3243] Information FlowStorageIPV4 - Allocate 14499984 bytes (906249 entries, element size 16) for flow hash ipv4
2021-11-12 11:49:11.143 [3243] Information FlowStorageIPV4 - Allocating 7249992 bytes (906249 entries) for ipv4_flows
2021-11-12 11:49:11.166 [3243] Information FlowStorageIPV4 - Allocate 14499984 bytes (906249 entries, element size 16) for flow hash ipv4
2021-11-12 11:49:11.168 [3243] Information FlowStorageIPV4 - Allocating 7249992 bytes (906249 entries) for ipv4_flows
2021-11-12 11:49:11.190 [3243] Information FlowStorageIPV4 - Allocate 14499984 bytes (906249 entries, element size 16) for flow hash ipv4
2021-11-12 11:49:11.192 [3243] Information FlowStorageIPV4 - Allocating 7249992 bytes (906249 entries) for ipv4_flows
2021-11-12 11:49:11.214 [3243] Information FlowStorageIPV4 - Allocate 14499984 bytes (906249 entries, element size 16) for flow hash ipv4
2021-11-12 11:49:11.216 [3243] Information FlowStorageIPV4 - Allocating 7249992 bytes (906249 entries) for ipv4_flows
2021-11-12 11:49:11.239 [3243] Information FlowStorageIPV6 - Allocate 479952 bytes (9999 entries, element size 48) for flow hash ipv6
2021-11-12 11:49:11.239 [3243] Information FlowStorageIPV6 - Allocating 79992 bytes (9999 entries) for ipv6_flows
2021-11-12 11:49:11.239 [3243] Information FlowStorageIPV6 - Allocate 479952 bytes (9999 entries, element size 48) for flow hash ipv6
2021-11-12 11:49:11.239 [3243] Information FlowStorageIPV6 - Allocating 79992 bytes (9999 entries) for ipv6_flows
2021-11-12 11:49:11.239 [3243] Information FlowStorageIPV4 - Allocate 14499984 bytes (906249 entries, element size 16) for flow hash ipv4
2021-11-12 11:49:11.241 [3243] Information FlowStorageIPV4 - Allocating 7249992 bytes (906249 entries) for ipv4_flows
2021-11-12 11:49:11.264 [3243] Information FlowStorageIPV4 - Allocate 14499984 bytes (906249 entries, element size 16) for flow hash ipv4
2021-11-12 11:49:11.266 [3243] Information FlowStorageIPV4 - Allocating 7249992 bytes (906249 entries) for ipv4_flows
2021-11-12 11:49:11.277 [3243] Fatal Application - Unable to init FlowStorageIPV4
2021-11-12 11:49:11.277 [3243] Error Application - Exception: Unable to init FlowStorageIPV4
2021-11-12 11:49:11.277 [3243] Debug Application - Shutting down
2021-11-12 11:49:11.277 [3243] Debug Application - Uninitializing subsystem: Logging Subsystem

 

 

Изменено пользователем Dmitry76

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 12.11.2021 в 12:51, Dmitry76 сказал:
2021-11-12 11:49:11.277 [3243] Fatal Application - Unable to init FlowStorageIPV4

Не хватает свободной памяти для старта приложения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

On 11/15/2021 at 10:06 AM, max1976 said:

Не хватает свободной памяти для старта приложения.

@max1976 речь идет о hugepagesz*hugepages?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 16.11.2021 в 14:13, Dmitry76 сказал:

@max1976 речь идет о hugepagesz*hugepages?

Да

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Проверьте, пожалуйста, ссылки - открываются ли:

 

 

Изменено пользователем Piyoz
добавление

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 25.11.2021 в 18:23, Piyoz сказал:

ссылки - открываются ли

толку от того что по http блокируются мало, современные браузеры могут по нему идти пытаться в последнюю очередь, по https не запрещены и открываются

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@max1976 

On 11/17/2021 at 9:21 PM, max1976 said:

Да

Спасибо. Заработало нормально.

Вопрос общего плана: а как понять, что сервер нормально справляется с нагрузкой по процессору? Ведь по extfilter нагрузка видится максимальной и вроде как это нормально. Нет этих вот полок с ksoftirq как в классическом кернел форвардинге/роутинге.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 29.11.2021 в 17:15, Dmitry76 сказал:

@max1976 

Спасибо. Заработало нормально.

Вопрос общего плана: а как понять, что сервер нормально справляется с нагрузкой по процессору? Ведь по extfilter нагрузка видится максимальной и вроде как это нормально. Нет этих вот полок с ksoftirq как в классическом кернел форвардинге/роутинге.

Смотреть ошибки в логе. Ошибки могут означать что процессы не успевают анализировать данные с карты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день.

Подскажите в связи с новыми требованиями от РКН (теперь в выгрузке будет, перечень социально значимых информационных ресурсов), текущая версия скрипта для выгрузки реестров, сможет с ними работать?
https://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 01.02.2022 в 14:56, nevsik сказал:

Добрый день.

Подскажите в связи с новыми требованиями от РКН (теперь в выгрузке будет, перечень социально значимых информационных ресурсов), текущая версия скрипта для выгрузки реестров, сможет с ними работать?
https://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf

В памятке операторе нет информации о формате записи для СЗИ. Сам еще не понял, нафига они тогда рассылали уведомления.

Изменено пользователем morf

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 01.02.2022 в 14:59, morf сказал:

В памятке операторе нет информации о формате записи для СЗИ. Сам еще не понял, нафига они тогда рассылали уведомления.

 

Выходи что последние изменения были в 2020 году, добавили новый код типа реестра 8 «реестр СМИиноагентов».

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

вы бы по СЗИ  в https://forum.nag.ru/index.php?/topic/160721-prinyat-zakon-o-besplatnom-dostupe-k-socialno-znachimym-saytam/ ушли... а то тут всё же про блокировку :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Народ, что-то extfilter перестал втягивать данные для блокировок. 

2022-03-16 11:36:08.712 [15039] Information Application - Got HUP signal - reload data
2022-03-16 11:36:08.712 [15039] Information ReloadTask - Reloading data from files...
2022-03-16 11:36:08.712 [15039] Information ACL - Memory usage before acl read: realmem 67008 peakrealmem: 74012 curVirtMem: 17189396 peakVirtMem: 33637116
2022-03-16 11:36:08.712 [15039] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts

это ему памяти не хватает? Где ему подкрутить памяти? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 16.03.2022 в 11:42, wed сказал:

Народ, что-то extfilter перестал втягивать данные для блокировок. 

2022-03-16 11:36:08.712 [15039] Information Application - Got HUP signal - reload data
2022-03-16 11:36:08.712 [15039] Information ReloadTask - Reloading data from files...
2022-03-16 11:36:08.712 [15039] Information ACL - Memory usage before acl read: realmem 67008 peakrealmem: 74012 curVirtMem: 17189396 peakVirtMem: 33637116
2022-03-16 11:36:08.712 [15039] Information ACL - Building ACL from file /usr/local/etc/extfilter/hosts

это ему памяти не хватает? Где ему подкрутить памяти? 

про память тут:
https://github.com/max197616/extfilter
 

Цитата
  • Создаем в dpdk-tune файл tuned.conf:

[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=4

isolcpus=1,2,3 - Какие ядра освободить для работы dpdk/extfilter. default_hugepagesz=1G hugepagesz=1G - Размер страницы памяти для dpdk/extfilter. hugepages=4 - Количество страниц памяти для dpdk/extfilter (в данном примере под dpdk/extfilter будет выделено 4 Гигабайта памяти).

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Похоже что дело в файле hosts в строке

2a03:2880:0000:0000:0000:0000:0000:0000/31, 6/0xfe

Если ее удалить - сразу начинает работать... 

 

А точно дело в памяти? Обычно extfilter явно вываливается - говорит мало памяти. Тут просто залипает и все. 

Hugepages  у меня выделено 8 гб. 

 

как убрать работу с ipv6? у меня он пока не используется.

 

upd. 

убрать можно в скрипте extfilter_maker - там блок закомментировать связанный с ipv6

upd2. 

У меня там был включена опция добавлять все ip для блокировки в режиме моста. 

выключил - все стало хорошо помещаться. 

 

не грузил acl в себя ext все таки по памяти. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.