Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

2 часа назад, oborot.bolta сказал:

Коллеги, а как в новой версии extFilter отправлять редиректы и ресеты с менеджмент интерфейса, а не с DPDK. (как и раньше) ?

Просто на машинке всего два интерфейса, один смотрит зеркало (DPDK) а второй менеджмент в ядре

в дпдк теперь нужно 2 интерфейса

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 16.08.2018 в 13:49, dee сказал:

в дпдк теперь нужно 2 интерфейса

Тоесть теперь машинка должна с тремя интерфейсами?

 

И соответственно памяти должно быть в два раза больше?

 

Тогда вот еще такой вопрос, а как на второй ДПДК интерфейс меньше памяти выделить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А я так понял там память на весь процесс выделяется, а вот одно ядро придется отжать для интерфейса, который будет отправлять rst пакеты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

7 часов назад, epollia сказал:

а вот одно ядро придется отжать для интерфейса, который будет отправлять rst пакеты.

Совсем не так. Процесс, обрабатывающий пакеты и отправляет ответы.

 

8 часов назад, oborot.bolta сказал:

Тогда вот еще такой вопрос, а как на второй ДПДК интерфейс меньше памяти выделить?

Причем тут количество интерфейсов и объем  выделяемой памяти под dpdk? Вы выделяете память под приложения dpdk, а не под интерфейсы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, max1976 сказал:

Совсем не так. Процесс, обрабатывающий пакеты и отправляет ответы.

 

Причем тут количество интерфейсов и объем  выделяемой памяти под dpdk? Вы выделяете память под приложения dpdk, а не под интерфейсы.

я думаю человек где то запустался , дело в том что память выделяется под физические процессоры (не ядра) , можно конкретно указать ноды :

#echo 1536 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages # (delit na 2 cpu)
echo 5000 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages # cpu0
echo 100 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages # cpu1
(ну типа того)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги,

столкнулись с проблемой получения дампа. Получили новую ЭЦП для организации, выпущенную по новому ГОСТу (2012), и с ней перестала работать выгрузка. В логах пишет про "неверный алгоритм ЭП", при ручной выгрузке тоже.

При этом проверка подписи запроса на https://www.gosuslugi.ru/pgu/eds проходит корректно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 22.08.2018 в 11:06, Marku5 сказал:

Коллеги,

столкнулись с проблемой получения дампа. Получили новую ЭЦП для организации, выпущенную по новому ГОСТу (2012), и с ней перестала работать выгрузка. В логах пишет про "неверный алгоритм ЭП", при ручной выгрузке тоже.

При этом проверка подписи запроса на https://www.gosuslugi.ru/pgu/eds проходит корректно.

Столкнулся с аналогичной проблемой, такая ситуация предполагалась, поэтому наш УЦ пишет на носитель сразу два ключа ГОСТ 2001 и ГОСТ 2012. У нас при запросе с подписью по ГОСТ 2012 запрос принимает и даже выдает ID для загрузки реестра, но при попытке запросить реестр по ID, вместо реестра отдает ошибку "запрос принят" и все.

 

При попытке сделать запрос в ручном режиме, так же запрос принимает и выдает ID, но при проверке по ID вот такое:

5b8467d57f11e_screenshot(12).thumb.jpg.c03690aba9b95ece139ffa3f95c4d0b6.jpg

 

Так же сразу встал вопрос поддержки ГОСТ 2012 в openssl, его нужно апгрейдить до 1.1.

Было бы неплохо, чтобы в zapret.pl была возможность положить уже готовые req_file и sig_file, а не генерировать их при каждом запуске. Например опцию в конфиг добавить. Сервис все равно не проверяет дату в xml файле. Тогда была бы возможность подписать один раз запрос в любом Крипто АРМе и положить рядом с zapret.pl.

Изменено пользователем SokolovS

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

7 часов назад, SokolovS сказал:

положить уже готовые req_file и sig_file, а не генерировать их при каждом запуске

так в req_file попадает время запроса.

Года 4 назад я написал универсальный скрипт, который сам выкачивает. Могу подключиться и настроить.

 

7 часов назад, SokolovS сказал:

Сервис все равно не проверяет дату в xml файле

Не уверен. Первый раз я получил за этот баг.

 

Изменено пользователем default_vlan

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 часов назад, SokolovS сказал:

Было бы неплохо

открыть .pl-файл, закомментировать одну строку?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

10 hours ago, SokolovS said:

Столкнулся с аналогичной проблемой, такая ситуация предполагалась, поэтому наш УЦ пишет на носитель сразу два ключа ГОСТ 2001 и ГОСТ 2012. У нас при запросе с подписью по ГОСТ 2012 запрос принимает и даже выдает ID для загрузки реестра, но при попытке запросить реестр по ID, вместо реестра отдает ошибку "запрос принят" и все.

 

При попытке сделать запрос в ручном режиме, так же запрос принимает и выдает ID, но при проверке по ID вот такое:

5b8467d57f11e_screenshot(12).thumb.jpg.c03690aba9b95ece139ffa3f95c4d0b6.jpg

 

Так же сразу встал вопрос поддержки ГОСТ 2012 в openssl, его нужно апгрейдить до 1.1.

Было бы неплохо, чтобы в zapret.pl была возможность положить уже готовые req_file и sig_file, а не генерировать их при каждом запуске. Например опцию в конфиг добавить. Сервис все равно не проверяет дату в xml файле. Тогда была бы возможность подписать один раз запрос в любом Крипто АРМе и положить рядом с zapret.pl.

По openssl и ГОСТ 2012 - там ситуация чуть сложнее, чем просто обновление до 1.1.

Помимо openssl запрос автоматически можно подписывать утилитой cryptcp от КриптоПро. В таком случае отпадает надобность в конвертации ключа из контейнера КриптоПро в формат PEM. К тому же утилита, которой ранее производили экспорт ЭЦП в pkcs12/pfx и которая находится в относительно свободном доступе, не умеет в новый ГОСТ.

Изменено пользователем Marku5
опечатки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 часа назад, default_vlan сказал:

Не уверен. Первый раз я получил за этот баг.

 

Я уверен. Т.к. помимо zapret.pl есть еще один загрузчик реестра, который всегда отправляет один и тот же запрос с подписью. На нем вчера и проверял ГОСТ 2012.

 

15 минут назад, Marku5 сказал:

К тому же утилита, которой ранее производили экспорт ЭЦП в pkcs12/pfx и которая находится в относительно свободном доступе, не умеет в новый ГОСТ.

Вчера все успешно сконвертировал с помощью p12fromgostcsp. Мне кажется, что сам ключ в бинарном виде просто конвертируется из одного представления в другое вот и все, т.е. сам криптоалгоритм с помощью которого сгенерирован ключ тут не важен. CSP и PEM это же только формат хранения ключа и сертификата.

 

2 часа назад, dnvk сказал:

открыть .pl-файл, закомментировать одну строку?

Все так. Но опция в конфиге првильней.

Изменено пользователем SokolovS

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

17 минут назад, SokolovS сказал:

Мне кажется, что сам ключ в бинарном виде просто конвертируется из одного представления в другое вот и все

Там не просто "ключ", там объекты, закодированные в asn1. Посмотреть их можно примерно так:

 /opt/itcs/bin/openssl asn1parse -in my.pfx -inform DER 

где my.pfx - файл в формате PFX/PKCS12, сгенерированный p12fromgostcsp.

Это я так, для информации...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 часа назад, default_vlan сказал:

Не уверен. Первый раз я получил за этот баг.

 

У меня качается с момента появления этой байды с одним и тем же файлом весь год. новый файл появляется вместе с новым ключем по факту протухания старого ключа. Приватного ключа даже рядом с машиной, которая качает, небыло никогда. туда кладется запрос и подпись к нему. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Обновляюсь на свежий extfilter.

 

Не фильтруются записи domain mask при обращении к https. По http эти записи фильтруются, остальные https - тоже.

 

extfilter.ini:


 

Spoiler

 

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false
url_normalization = true
remove_dot = true

domainlist = /root/reestr/extfilter/configs/domains
urllist = /root/reestr/extfilter/configs/urls
ssllist = /root/reestr/extfilter/configs/ssl_host

; файл с ip:port для блокировки
hostlist = /root/reestr/extfilter/configs/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /root/reestr/extfilter/configs/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://451.domain.tld?

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = true

; Default: 0 - disable
statistic_interval = 30

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

block_undetected_ssl = true

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 7

; файл статистики (для extfilter-cacti)
statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500


; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
answer_duplication = 2

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
operation_mode = mirror

; Использовать jumbo frames
;jumbo_frames = true

; Максимальная длина ethernet фрейма при включенном jumbo_frames
;max_pkt_len = 9000

 

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a
; Пример:
[port 1]
queues = 0,1; 1,2

; Порт для отправки уведомлений через dpdk
[port 0]
type = sender
; На какой mac адрес отправлять пакеты
mac = 00:18:74:1d:ae:00

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
;scale = 2

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
tcp_reordering = true

[logging]
loggers.root.level = information
;loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/reestr/extFilter.log
channels.fileChannel.rotation = 100 M
channels.fileChannel.purgeCount = 100
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

 

 

 

В конфигах всё есть:

 

grep \*.1xbet.mobi *
domains:*.1xbet.mobi
ssl_host:*.1xbet.mobi

 

grep paripartners162.com *
domains:*.paripartners162.com
ssl_host:*.paripartners162.com

 

Не могу понять, что я недокрутил, требуется помощь зала.

Изменено пользователем atdp03

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Посмотрел дампы трафика на  обращения к данным сайтам.

Для 1xbet.mobi Изменяется tcp window.

видимо исходящий пакет фрагментируется.

Изменено пользователем epollia

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 часов назад, atdp03 сказал:

Не фильтруются записи domain mask при обращении к https. По http эти записи фильтруются, остальные https - тоже.

Укажите точные url, которые не фильтруются.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Про фрагментацию думал, но по сравнению с версией ~годовалой давности - заведомо фрагментируемые сайты как-раз начали фильтроваться.

 

4 hours ago, max1976 said:

Укажите точные url, которые не фильтруются.

Не блочатся:

https://1xbet.mobi/

https://www.1xbet.mobi/ откуда идёт редирект на первый урл.

 

https://www.paripartners162.com/

https://paripartners162.com/

 

Решил ещё чуть пройтись по списку. Всё не так однозначно. =)

https://www.mygreatmarathon.win/ - блочится

https://www.leonbets8u.website/ - нет.

Изменено пользователем atdp03

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

25 minutes ago, zhenya` said:

Может проблема с зеркалом?..

Маловероятно, зеркало то же что работало со старой версией.

Скорее я что-то недо/перекрутил.

 

Присмотрелся ещё.

Есть ссылки, которые пропускаются через раз:

http://muzlishko.ru/mp3/Я+за+ЗОЖ,+всех+на+нож,+кто+на+людей+не+похож

http://muzlishko.ru/mp3/Исламская+Умма

http://muzlishko.ru/mp3/коррозия+металла+скинхед

http://muzlishko.ru/mp3/РЕСТРУКТ ( аудио-книга )

 

Плюс каждый день при проверке вылезает сотня-другая ссылок, причём разных.

Так что проблема, скорее всего, не в domain mask, а более общая.

 

Железо - почти аналог предыдущего. Был Xeon 1270v3+16G, стал 1270v5+32G. Сеть та же, x520 двухпортовый, sender - через один из этих портов.

Трафика до 800-900к ппс в пиках, как и ранее.

 

В логе на приёмнике зеркала начали сыпаться ошибки:

2018-08-30 13:19:15.326 [867] Information Application - Port 1 input packets 33174693708, input errors: 2276583, mbuf errors: 0, missed packets: 0

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Странно что так много ошибок на входе. Есть смысл посмотреть физу. 

Изменено пользователем epollia

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, atdp03 сказал:

Про фрагментацию думал, но по сравнению с версией ~годовалой давности - заведомо фрагментируемые сайты как-раз начали фильтроваться.

Нашел баг при загрузке списков с маской для ssl.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

16 minutes ago, epollia said:

Странно что так много ошибок на входе. Есть смысл посмотреть физу. 

 

Поменял порт и модули.

Со стороны свича всё стерильно.

Со стороны коробки всё те же ~10 ошибок в секунду.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

9 минут назад, atdp03 сказал:

Со стороны коробки всё те же ~10 ошибок в секунду.

Какой размер пакетов? Больше 1500?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Just now, max1976 said:

Какой размер пакетов? Больше 1500?

Навскидку - да, там qinq.

Могу попробовать записать дамп в пяток секунд, если коробка справится. =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 минуты назад, atdp03 сказал:

Навскидку - да, там qinq.

Могу попробовать записать дамп в пяток секунд, если коробка справится. =)

; Использовать jumbo frames
; jumbo_frames = false
 
; Максимальная длина ethernet фрейма при включенном jumbo_frames

; max_pkt_len = 9600

 

Включите эту опцию.

Изменено пользователем max1976

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.