dee Опубликовано 16 августа, 2018 · Жалоба 2 часа назад, oborot.bolta сказал: Коллеги, а как в новой версии extFilter отправлять редиректы и ресеты с менеджмент интерфейса, а не с DPDK. (как и раньше) ? Просто на машинке всего два интерфейса, один смотрит зеркало (DPDK) а второй менеджмент в ядре в дпдк теперь нужно 2 интерфейса Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 20 августа, 2018 · Жалоба В 16.08.2018 в 13:49, dee сказал: в дпдк теперь нужно 2 интерфейса Тоесть теперь машинка должна с тремя интерфейсами? И соответственно памяти должно быть в два раза больше? Тогда вот еще такой вопрос, а как на второй ДПДК интерфейс меньше памяти выделить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 20 августа, 2018 · Жалоба А я так понял там память на весь процесс выделяется, а вот одно ядро придется отжать для интерфейса, который будет отправлять rst пакеты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 20 августа, 2018 · Жалоба 7 часов назад, epollia сказал: а вот одно ядро придется отжать для интерфейса, который будет отправлять rst пакеты. Совсем не так. Процесс, обрабатывающий пакеты и отправляет ответы. 8 часов назад, oborot.bolta сказал: Тогда вот еще такой вопрос, а как на второй ДПДК интерфейс меньше памяти выделить? Причем тут количество интерфейсов и объем выделяемой памяти под dpdk? Вы выделяете память под приложения dpdk, а не под интерфейсы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 20 августа, 2018 · Жалоба 1 час назад, max1976 сказал: Совсем не так. Процесс, обрабатывающий пакеты и отправляет ответы. Причем тут количество интерфейсов и объем выделяемой памяти под dpdk? Вы выделяете память под приложения dpdk, а не под интерфейсы. я думаю человек где то запустался , дело в том что память выделяется под физические процессоры (не ядра) , можно конкретно указать ноды : #echo 1536 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages # (delit na 2 cpu) echo 5000 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages # cpu0 echo 100 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages # cpu1 (ну типа того) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Marku5 Опубликовано 22 августа, 2018 · Жалоба Коллеги, столкнулись с проблемой получения дампа. Получили новую ЭЦП для организации, выпущенную по новому ГОСТу (2012), и с ней перестала работать выгрузка. В логах пишет про "неверный алгоритм ЭП", при ручной выгрузке тоже. При этом проверка подписи запроса на https://www.gosuslugi.ru/pgu/eds проходит корректно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 27 августа, 2018 (изменено) · Жалоба В 22.08.2018 в 11:06, Marku5 сказал: Коллеги, столкнулись с проблемой получения дампа. Получили новую ЭЦП для организации, выпущенную по новому ГОСТу (2012), и с ней перестала работать выгрузка. В логах пишет про "неверный алгоритм ЭП", при ручной выгрузке тоже. При этом проверка подписи запроса на https://www.gosuslugi.ru/pgu/eds проходит корректно. Столкнулся с аналогичной проблемой, такая ситуация предполагалась, поэтому наш УЦ пишет на носитель сразу два ключа ГОСТ 2001 и ГОСТ 2012. У нас при запросе с подписью по ГОСТ 2012 запрос принимает и даже выдает ID для загрузки реестра, но при попытке запросить реестр по ID, вместо реестра отдает ошибку "запрос принят" и все. При попытке сделать запрос в ручном режиме, так же запрос принимает и выдает ID, но при проверке по ID вот такое: Так же сразу встал вопрос поддержки ГОСТ 2012 в openssl, его нужно апгрейдить до 1.1. Было бы неплохо, чтобы в zapret.pl была возможность положить уже готовые req_file и sig_file, а не генерировать их при каждом запуске. Например опцию в конфиг добавить. Сервис все равно не проверяет дату в xml файле. Тогда была бы возможность подписать один раз запрос в любом Крипто АРМе и положить рядом с zapret.pl. Изменено 27 августа, 2018 пользователем SokolovS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 28 августа, 2018 (изменено) · Жалоба 7 часов назад, SokolovS сказал: положить уже готовые req_file и sig_file, а не генерировать их при каждом запуске так в req_file попадает время запроса. Года 4 назад я написал универсальный скрипт, который сам выкачивает. Могу подключиться и настроить. 7 часов назад, SokolovS сказал: Сервис все равно не проверяет дату в xml файле Не уверен. Первый раз я получил за этот баг. Изменено 28 августа, 2018 пользователем default_vlan Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 28 августа, 2018 · Жалоба 8 часов назад, SokolovS сказал: Было бы неплохо открыть .pl-файл, закомментировать одну строку? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Marku5 Опубликовано 28 августа, 2018 (изменено) · Жалоба 10 hours ago, SokolovS said: Столкнулся с аналогичной проблемой, такая ситуация предполагалась, поэтому наш УЦ пишет на носитель сразу два ключа ГОСТ 2001 и ГОСТ 2012. У нас при запросе с подписью по ГОСТ 2012 запрос принимает и даже выдает ID для загрузки реестра, но при попытке запросить реестр по ID, вместо реестра отдает ошибку "запрос принят" и все. При попытке сделать запрос в ручном режиме, так же запрос принимает и выдает ID, но при проверке по ID вот такое: Так же сразу встал вопрос поддержки ГОСТ 2012 в openssl, его нужно апгрейдить до 1.1. Было бы неплохо, чтобы в zapret.pl была возможность положить уже готовые req_file и sig_file, а не генерировать их при каждом запуске. Например опцию в конфиг добавить. Сервис все равно не проверяет дату в xml файле. Тогда была бы возможность подписать один раз запрос в любом Крипто АРМе и положить рядом с zapret.pl. По openssl и ГОСТ 2012 - там ситуация чуть сложнее, чем просто обновление до 1.1. Помимо openssl запрос автоматически можно подписывать утилитой cryptcp от КриптоПро. В таком случае отпадает надобность в конвертации ключа из контейнера КриптоПро в формат PEM. К тому же утилита, которой ранее производили экспорт ЭЦП в pkcs12/pfx и которая находится в относительно свободном доступе, не умеет в новый ГОСТ. Изменено 28 августа, 2018 пользователем Marku5 опечатки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 28 августа, 2018 (изменено) · Жалоба 3 часа назад, default_vlan сказал: Не уверен. Первый раз я получил за этот баг. Я уверен. Т.к. помимо zapret.pl есть еще один загрузчик реестра, который всегда отправляет один и тот же запрос с подписью. На нем вчера и проверял ГОСТ 2012. 15 минут назад, Marku5 сказал: К тому же утилита, которой ранее производили экспорт ЭЦП в pkcs12/pfx и которая находится в относительно свободном доступе, не умеет в новый ГОСТ. Вчера все успешно сконвертировал с помощью p12fromgostcsp. Мне кажется, что сам ключ в бинарном виде просто конвертируется из одного представления в другое вот и все, т.е. сам криптоалгоритм с помощью которого сгенерирован ключ тут не важен. CSP и PEM это же только формат хранения ключа и сертификата. 2 часа назад, dnvk сказал: открыть .pl-файл, закомментировать одну строку? Все так. Но опция в конфиге првильней. Изменено 28 августа, 2018 пользователем SokolovS Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
TheUser Опубликовано 28 августа, 2018 · Жалоба 17 минут назад, SokolovS сказал: Мне кажется, что сам ключ в бинарном виде просто конвертируется из одного представления в другое вот и все Там не просто "ключ", там объекты, закодированные в asn1. Посмотреть их можно примерно так: /opt/itcs/bin/openssl asn1parse -in my.pfx -inform DER где my.pfx - файл в формате PFX/PKCS12, сгенерированный p12fromgostcsp. Это я так, для информации... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 28 августа, 2018 · Жалоба 3 часа назад, default_vlan сказал: Не уверен. Первый раз я получил за этот баг. У меня качается с момента появления этой байды с одним и тем же файлом весь год. новый файл появляется вместе с новым ключем по факту протухания старого ключа. Приватного ключа даже рядом с машиной, которая качает, небыло никогда. туда кладется запрос и подпись к нему. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 29 августа, 2018 (изменено) · Жалоба Обновляюсь на свежий extfilter. Не фильтруются записи domain mask при обращении к https. По http эти записи фильтруются, остальные https - тоже. extfilter.ini: Spoiler ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false url_normalization = true remove_dot = true domainlist = /root/reestr/extfilter/configs/domains urllist = /root/reestr/extfilter/configs/urls ssllist = /root/reestr/extfilter/configs/ssl_host ; файл с ip:port для блокировки hostlist = /root/reestr/extfilter/configs/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /root/reestr/extfilter/configs/ssl_ips ; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false http_redirect = true # если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://... redirect_url = http://451.domain.tld? ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = true ; Default: 0 - disable statistic_interval = 30 ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = false block_undetected_ssl = true ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 7 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; CLI для управления или сбора статистики extfilter ; cli_port = 9999 ; cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) memory_channels = 2 ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 2 ; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline) operation_mode = mirror ; Использовать jumbo frames ;jumbo_frames = true ; Максимальная длина ethernet фрейма при включенном jumbo_frames ;max_pkt_len = 9000 ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: [port 1] queues = 0,1; 1,2 ; Порт для отправки уведомлений через dpdk [port 0] type = sender ; На какой mac адрес отправлять пакеты mac = 00:18:74:1d:ae:00 [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 ;scale = 2 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true fragmentation_ipv4_state = true fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком tcp_reordering = true [logging] loggers.root.level = information ;loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/reestr/extFilter.log channels.fileChannel.rotation = 100 M channels.fileChannel.purgeCount = 100 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local В конфигах всё есть: grep \*.1xbet.mobi * domains:*.1xbet.mobi ssl_host:*.1xbet.mobi grep paripartners162.com * domains:*.paripartners162.com ssl_host:*.paripartners162.com Не могу понять, что я недокрутил, требуется помощь зала. Изменено 29 августа, 2018 пользователем atdp03 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 30 августа, 2018 (изменено) · Жалоба Посмотрел дампы трафика на обращения к данным сайтам. Для 1xbet.mobi Изменяется tcp window. видимо исходящий пакет фрагментируется. Изменено 30 августа, 2018 пользователем epollia Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 13 часов назад, atdp03 сказал: Не фильтруются записи domain mask при обращении к https. По http эти записи фильтруются, остальные https - тоже. Укажите точные url, которые не фильтруются. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 (изменено) · Жалоба Про фрагментацию думал, но по сравнению с версией ~годовалой давности - заведомо фрагментируемые сайты как-раз начали фильтроваться. 4 hours ago, max1976 said: Укажите точные url, которые не фильтруются. Не блочатся: https://1xbet.mobi/ https://www.1xbet.mobi/ откуда идёт редирект на первый урл. https://www.paripartners162.com/ https://paripartners162.com/ Решил ещё чуть пройтись по списку. Всё не так однозначно. =) https://www.mygreatmarathon.win/ - блочится https://www.leonbets8u.website/ - нет. Изменено 30 августа, 2018 пользователем atdp03 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 30 августа, 2018 · Жалоба Может проблема с зеркалом?.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 · Жалоба 25 minutes ago, zhenya` said: Может проблема с зеркалом?.. Маловероятно, зеркало то же что работало со старой версией. Скорее я что-то недо/перекрутил. Присмотрелся ещё. Есть ссылки, которые пропускаются через раз: http://muzlishko.ru/mp3/Я+за+ЗОЖ,+всех+на+нож,+кто+на+людей+не+похож http://muzlishko.ru/mp3/Исламская+Умма http://muzlishko.ru/mp3/коррозия+металла+скинхед http://muzlishko.ru/mp3/РЕСТРУКТ ( аудио-книга ) Плюс каждый день при проверке вылезает сотня-другая ссылок, причём разных. Так что проблема, скорее всего, не в domain mask, а более общая. Железо - почти аналог предыдущего. Был Xeon 1270v3+16G, стал 1270v5+32G. Сеть та же, x520 двухпортовый, sender - через один из этих портов. Трафика до 800-900к ппс в пиках, как и ранее. В логе на приёмнике зеркала начали сыпаться ошибки: 2018-08-30 13:19:15.326 [867] Information Application - Port 1 input packets 33174693708, input errors: 2276583, mbuf errors: 0, missed packets: 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 30 августа, 2018 (изменено) · Жалоба Странно что так много ошибок на входе. Есть смысл посмотреть физу. Изменено 30 августа, 2018 пользователем epollia Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 1 час назад, atdp03 сказал: Про фрагментацию думал, но по сравнению с версией ~годовалой давности - заведомо фрагментируемые сайты как-раз начали фильтроваться. Нашел баг при загрузке списков с маской для ssl. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 · Жалоба 16 minutes ago, epollia said: Странно что так много ошибок на входе. Есть смысл посмотреть физу. Поменял порт и модули. Со стороны свича всё стерильно. Со стороны коробки всё те же ~10 ошибок в секунду. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 · Жалоба 9 минут назад, atdp03 сказал: Со стороны коробки всё те же ~10 ошибок в секунду. Какой размер пакетов? Больше 1500? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
atdp03 Опубликовано 30 августа, 2018 · Жалоба Just now, max1976 said: Какой размер пакетов? Больше 1500? Навскидку - да, там qinq. Могу попробовать записать дамп в пяток секунд, если коробка справится. =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 30 августа, 2018 (изменено) · Жалоба 2 минуты назад, atdp03 сказал: Навскидку - да, там qinq. Могу попробовать записать дамп в пяток секунд, если коробка справится. =) ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 Включите эту опцию. Изменено 30 августа, 2018 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...