1. Для блокировка используем

[Morphus]

В 28.07.2022 в 14:56, alibek сказал:

Вы считаете, что Ревизор или пользователи будут использовать тот же DNS-сервер, что и вы (ваш браузер)

ревизор получает реквизиты по dhcp. Ревизор и мой браузер точно используют один и тот же днс. И в отчёте написано что статус ответа 502 как раз. Т.е. проблемы с самим сайтом скорее всего. ping-admin тоже показывает такую ошибку с разных мест.

[st_re]

ревизор еще ходит и на ИП, указанный в выгрузке... они могут не совпадать с тем, что в ДНСе

[Умник]

В 28.07.2022 в 15:44, st_re сказал:

ревизор еще ходит и на ИП, указанный в выгрузке... они могут не совпадать с тем, что в ДНСе

Была такая тема, но очень давно. Сейчас это не удалось подтвердить. Ходит только на те адреса, которые прописаны в DNS.

[arhead]

Коллеги а там РКН ни чего опять интересного не внес? А то Хром и Vivaldi глючат на некоторые сайты пока блокировку не отключишь.

[arhead]

Странное поведение Chrome Vivaldi и Opera. Пока из блокировки не удалил адрес 188.114.98.171 некоторые сайты криво грузились или вообще не открывались. Firefox работает как обычно. Удалить из hostlist и все работает. Странно очень. У кого нить этот адрес есть в стоп листах?

Изменено 16 августа, 2022 пользователем arhead

[MUY_68]

В 16.08.2022 в 16:43, arhead сказал:

Странное поведение Chrome Vivaldi и Opera. Пока из блокировки не удалил адрес 188.114.98.171 некоторые сайты криво грузились или вообще не открывались. Firefox работает как обычно. Удалить из hostlist и все работает. Странно очень. У кого нить этот адрес есть в стоп листах?

У нас есть в листе "ssl_ips". Но если я правильно понимаю, этот лист загружается когда "block_ssl_no_sni = true". У нас в конфиге "block_ssl_no_sni = false", поэтому этот IP не блокируется. Обратил внимание, WhatsApp-веб (для windows) перестал обновляться, я так понимаю из-за вот этой записи:

/usr/local/etc/extfilter/domains:119683:*.fbcdn.net
/usr/local/etc/extfilter/ssl_host:119683:*.fbcdn.net
Есть у кого либо такая проблема?

[aser_]

Коллеги, подскажите по выделению памяти.

 

Spoiler

2022-08-26 19:57:46.300 [1169] Information ACL - Preparing 334 rules for IPv4 ACL
2022-08-26 19:57:46.475 [1169] Information TriesControl - Loaded 360348 lines from the domains file '/var/lib/extfilter/domains'
2022-08-26 19:57:46.538 [1169] Information TriesControl - Loaded 73866 lines from the urls file '/var/lib/extfilter/urls'
2022-08-26 19:57:46.651 [1169] Information TriesControl - Masked domains: #keys 125232, #nodes 177163
2022-08-26 19:57:47.159 [1169] Information TriesControl - URLS: #keys 433563, #nodes 614991
2022-08-26 19:57:47.159 [1169] Information TriesControl - Set active trie in the slot 0
2022-08-26 19:57:47.275 [1169] Information TriesControl - Loaded 396852 lines from the domains file '/var/lib/extfilter/ssl_host'
2022-08-26 19:57:47.383 [1169] Information TriesControl - Masked domains: #keys 125232, #nodes 177163
2022-08-26 19:57:47.820 [1169] Information TriesControl - URLS: #keys 390738, #nodes 550773
2022-08-26 19:57:47.820 [1169] Information TriesControl - Set active trie in the slot 0
2022-08-26 19:57:47.820 [1169] Information Application - Setting mbuf size to 16384
2022-08-26 19:57:47.829 [1169] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2022-08-26 19:57:47.829 [1169] Information Application - Set number of entries of the sender buffer to 8192
2022-08-26 19:57:47.833 [1169] Information Application - Port 0 creating queues: rx queue=1, tx queue=1
2022-08-26 19:57:47.833 [1169] Information Application - RTE_MAX_LCORE=2
2022-08-26 19:57:47.833 [1169] Information Application - =====RTE_MAX_LCORE=2
2022-08-26 19:57:47.833 [1169] Information Application - cikl number lcore_id=0
2022-08-26 19:57:47.833 [1169] Information Application - propusk cikla pri lcore_id=0
2022-08-26 19:57:47.833 [1169] Information Application - cikl number lcore_id=1
2022-08-26 19:57:47.833 [1169] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=1
2022-08-26 19:57:47.834 [1169] Information Application - AAAAport=0 tx_queueid=0 nb_txd=512 core=1
2022-08-26 19:57:50.317 [1169] Information Application - Port 0 MAC: 00:1b:21:99:81:ea
2022-08-26 19:57:50.318 [1169] Information Application - sender port=1 rx_queueid=0 nb_rxd=256
2022-08-26 19:57:50.318 [1169] Information Application - sender port=1 tx_queueid=0 tb_rxd=512
2022-08-26 19:57:50.318 [1169] Information Application - Port 1 MAC: 00:1b:21:d3:e9:ec
2022-08-26 19:57:52.742 [1169] Information Application - Set number of entries of the clone buffer to 2048
2022-08-26 19:57:52.743 [1169] Information Application - Create pool 'DPIHTTPPool' for the http dissector with number of entries: 110000, element size 960 size: 105600000 bytes
2022-08-26 19:57:52.746 [1169] Information Application - Create pool 'DPISSLPool' for the ssl dissector with number of entries: 221111, element size 320 size: 70755520 bytes
2022-08-26 19:57:52.753 [1169] Information Application - Allocating 2165333184 bytes (4833333 entries) for ipv4 flow pool
2022-08-26 19:57:52.900 [1169] Information Application - Allocating 11946816 bytes (26667 entries) for ipv6 flow pool
2022-08-26 19:57:52.902 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:52.925 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:52.957 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:52.960 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:52.992 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:52.995 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:53.027 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:53.030 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:53.062 [1169] Information FlowStorageIPV6 - Allocate 639984 bytes (13333 entries, element size 48) for flow hash ipv6
2022-08-26 19:57:53.062 [1169] Information FlowStorageIPV6 - Allocating 106664 bytes (13333 entries) for ipv6_flows
2022-08-26 19:57:53.063 [1169] Information FlowStorageIPV6 - Allocate 639984 bytes (13333 entries, element size 48) for flow hash ipv6
2022-08-26 19:57:53.063 [1169] Information FlowStorageIPV6 - Allocating 106664 bytes (13333 entries) for ipv6_flows
2022-08-26 19:57:53.063 [1169] Information WorkerThrd_0 - -- lcoreid=1 portid=0 rxqueueid=0
 

 

 

Память:

Spoiler

root@dpi:# cat /proc/meminfo | grep -i hug
AnonHugePages:         0 kB
HugePages_Total:    2560
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

Т.е (HugePages_Total)*(Hugepagesize)= 5ГБ (htop примерно это и показывает)

 

При загрузке (черным) ~2,5гига, а в grub выделено 5гигов. Как эти цифры коррелируют? Можно под ipvX_flow_pool выделить оставшиеся 2,5гига или остатки памяти еще для чего-то нужны в процессе работы скрипта?

 

По логам:

До 50к pps вроде работает нормально.

Выше - периодически прилетает "Error ESender - Can't send packet. Buffer is full"

Пики больше 75k pps - "Error WorkerThrd_0 - Unable to allocate memory for the http buffer"

 

Железо: i5-2300(2.80GHz)/8Gb DDR3/2*82574L Intel (только одна очередь для этих сетевух)

 

Что в данном случае есть ошибки буфера и памяти, куда копать?

[flow-control]

Доброго дня. Выгрузка только у нас поломалась?

 Error while getLastDumpDateEx: getLastDumpDateEx: Response is empty!

[evgen.v]

В 31.08.2022 в 14:56, flow-control сказал:

Доброго дня. Выгрузка только у нас поломалась?

 Error while getLastDumpDateEx: getLastDumpDateEx: Response is empty!

Не только у вас. У нас тоже Response is empty. Видимо ркн прилёг, не грузятся даже их сайты eais.rkn.gov.ru и vigruzki.rkn.gov.ru, вываливают 504 ошибку

[Razdolbay]

Товарищи! Ветка еще жива?
Хочу внедрить extFilter в сеть 
Как его правильно настроить ?
Есть 1.2 Гбит траффика в ЧасПик.
Железо:
Intel(R) Xeon(R) CPU E5-2689 0 @ 2.60GHz
32Gb памяти 
Intel I350-t4

Железка собрана , вроде как extfilter запускается. Как теперь его настроить правильно?
Прогонять через него траффик ? 

extfilter.ini

tuned.txt

Изменено 9 октября, 2022 пользователем Razdolbay

[dee]

ну вроде если поставил , то самое сложное позади , скрипт геренеции файлов из dump.xml тоже подтянуть нужно и в путь

[Razdolbay]

Не понятно как это работает. Там минимум 2 порта нужно на сколько известно.

Только как это состыковать на Cisco 

В качестве NAS Accel-ppp

Там есть пункт типа type=sender, только что там указывать ? MAC чего ?

Объясните идиоту пожалуйста.

 

R(config)# monitor session 1 source interface Gi0/X
R(config)# monitor session 1 destination interface Gi0/Y

Сделал так , трафик зеркалится. По графикам видно. 

[dee]

ну если фильтр в режиме миррора и зеркало сделал (зеркало в идеале нужно делать где то за шаг до выхода в мир) , когда видны только реальники (ну это моё мнение) , 2 порта (один вход для зеркала) , второй это выход для ответов - мак указывается интерфейса того роутера с которого инет уже выходит в мир (бгп роутер с отдельным вланом , который соединён с фиьтром ответ портом) .

[Razdolbay]

В 11.10.2022 в 15:35, dee сказал:

ну если фильтр в режиме миррора и зеркало сделал (зеркало в идеале нужно делать где то за шаг до выхода в мир) , когда видны только реальники (ну это моё мнение) , 2 порта (один вход для зеркала) , второй это выход для ответов - мак указывается интерфейса того роутера с которого инет уже выходит в мир (бгп роутер с отдельным вланом , который соединён с фиьтром ответ портом) .

Т.е. создаю левый вилан на cisco, на акселе создаю левый вилан на порту с выходом в интернет, и согласовываю Аксель интерфейс с интерфейсом на extfilter??

Если я правильно все понял. И порт должен быть (для отправки) все таки Access , а не Trunk?

Хотя написано , как Access так и trunk можно

 

Изменено 11 октября, 2022 пользователем Razdolbay

[dee]

ну если фильтр в режиме миррора и зеркало сделал (зеркало в идеале нужно делать где то за шаг до выхода в мир) , когда видны только реальники (ну это моё мнение) , 2 порта (один вход для зеркала) , второй это выход для ответов - мак указывается интерфейса того роутера с которого инет уже выходит в мир (бгп роутер с отдельным вланом , который соединён с фиьтром ответ портом) .

В фильтр конечно акцессом привести нужно , а в циску как угодно (главное что бы она была транзитным узлом для всего траффика и с неё будет идти уже ответ абоненту 

[MUY_68]

Добрый день, коллеги. Кто-нибудь выгружает реестр РКН по логину/паролю, скриптом "max197616/zapret" ? Поделитесь пож-ста опытом...

[dee]

 

 

В 24.11.2022 в 13:03, MUY_68 сказал:

Добрый день, коллеги. Кто-нибудь выгружает реестр РКН по логину/паролю, скриптом "max197616/zapret" ? Поделитесь пож-ста опытом...

Скрытый текст

#!/bin/bash

acc="login:pass"
url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/?wsdl"
path="/path_dir"
file_dump="${path}/dump.zip"
file_dump_soc="${path}/out_soc.zip"
file_dump_laststate="lastdate"
t_file=`date +%s`

find ${path}/arch/ -mtime +30  -exec rm {} \;

function get_dump {
echo "GET_DUMP + SOC"
#
#mv ${path}/${file_dump}  ${path}/old_${file_dump}
curl -s -u $acc $url --data @${path}/request.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump}
#
#mv ${path}/${file_dump_soc}  ${path}/old_${file_dump_soc}
curl -s -u $acc $url --data @${path}/request_soc.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump_soc}

if [[ -s $file_dump  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP not found" >> ${path}/debug/${t_file}
fi

if [[ -s $file_dump_soc  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh soc
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP-soc not found" >> ${path}/debug/${t_file}
fi

}

if [[ $1 = get ]]
then
echo "REESTR"
#mv ${path}/${file_dump}  ${path}/old_${file_dump}
curl -s -u $acc $url --data @${path}/request.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump}

if [[ -s $file_dump  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP not found" >> ${path}/debug/${t_file}
fi

fi

if [[ $1 = get_soc ]]
then
echo "REESTR SOC"
#mv ${path}/${file_dump_soc}  ${path}/old_${file_dump_soc}
curl -s -u $acc $url --data @${path}/request_soc.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump_soc}

if [[ -s ${file_dump_soc}  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh soc
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP-soc not found" >> ${path}/debug/${t_file}
fi

fi

if [[ $1 = get_last ]]
then
echo "LAST DUMP STATE"
now_lastdump=`curl -s -u $acc $url --data @${path}/request_last.xml | sed -e 's/.*<lastDumpDate>\|<\/lastDumpDate>.*//g' | tail -n 1`
last_req=`cat ${path}/${file_dump_laststate}`
#echo "CREATE NEW REQUEST from RKN - $now_lastdump (last -$last_req)" >> ${path}/debug/${t_file}
if [[ $now_lastdump =~ [0-9]{5,100} ]]
then

if [[ `cat ${path}/${file_dump_laststate}` != $now_lastdump ]]
then
echo "NEW $now_lastdump"
echo $now_lastdump > ${path}/${file_dump_laststate}
get_dump
fi
else
echo "ALERT LASTDUMP NO NUM - $now_lastdump" >> ${path}/debug/${t_file}
fi
fi

if [[ ! $1 ]]
then
echo "enter - get , get_soc , get_last"
fi

(тут xlm отдельными файлами)
request_last.xml

<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:oper="http://vigruzki.rkn.gov.ru/OperatorRequest/">
   <soapenv:Header/>
   <soapenv:Body>
      <oper:getLastDumpDate>
         <code>''</code>
      </oper:getLastDumpDate>
   </soapenv:Body>
</soapenv:Envelope>

request_soc.xml

<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:oper="http://vigruzki.rkn.gov.ru/OperatorRequest/">
   <soapenv:Header/>
   <soapenv:Body>
      <oper:getResultSocResources>
         <code>''</code>
      </oper:getResultSocResources>
   </soapenv:Body>
</soapenv:Envelope>

request.xml

<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:oper="http://vigruzki.rkn.gov.ru/OperatorRequest/">
   <soapenv:Header/>
   <soapenv:Body>
      <oper:getResult>
         <code>''</code>
      </oper:getResult>
   </soapenv:Body>
</soapenv:Envelope>

 

Изменено 25 ноября, 2022 пользователем dee

[ke1evra]

по логину/паролю набросал на php:

$user = "<login>";
$pass = "<pass>";
$soap = new SoapClient("https://{$user}:{$pass}@vigruzki2.rkn.gov.ru/services/OperatorRequest2/?wsdl", [
    'login' => $user,
    'password' => $pass
]);

// getResult
$response = $soap->__soapCall('getResult', ['code' => '']);

if($response->result) {    
    $fp = fopen(__DIR__ . '/dump.xml.zip', 'wb');
    fwrite($fp, $response->registerZipArchive);
    fclose($fp);    
} else {
    file_put_contents(__DIR__ . '/error.log', var_export($result, true));
}

// getResultSocResources
$response = $soap->__soapCall('getResultSocResources', ['code' => '']);

if($response->result) {    
    $fp = fopen(__DIR__ . '/dump-soc.xml.zip', 'wb');
    fwrite($fp, $response->registerZipArchive);
    fclose($fp);    
} else {
    file_put_contents(__DIR__ . '/error-soc.log', var_export($result, true));
}

код пару часов назад написал, толком не тестил. вообще vigruzki2 это ссылка типа для дельты, но она на данный момент включает в себя полную выгрузку методами getResult/getResultSocResources (надолго ли...)

Изменено 15 декабря, 2022 пользователем ke1evra

[1boris]

Объясните, пожалуйста, принцип работы extFilter.

В первый порт прилетает зеркалированный трафик - тут всё ясно.

Второй порт для чего нужен? Для выхода каких ответов? Куда эти ответы должны лететь?

Как вообще происходит блокировка? Можно схему?

 

Изменено 18 декабря, 2022 пользователем 1boris

[ixi]

Если из зеркалированного трафика собирается пакет, подлежащий блокировке, extfilter отправляет клиенту ответ от имени сервера http-redirect или tcp-rst.

У нас зеркалирование идёт перед граничным маршрутизатором, ответы на граничный маршрутизатор.

[toropyga]

А есть ли возможность в extfilter указать сайты, которые не нужно фильтровать, типа белого списка? Есть проблема с открытием собственного сайта у клиента, при открывании выдает "Сайт отправил некорректный ответ.ERR_INVALID_REDIRECT". По реестру проверил, в запретах нет. Напрямую мимо фильтра открывается. Фильтр в режиме bridge.

[toropyga]

С сайтом разобрался, дело было не в фильтре. Но вопрос по белому списку все же интересен.

[ixi]

grep -x -f whitelist -v source_file > dest_file

 

[nevsik]

Можете подсказать? блокируются ли у кого данные ресурсы из списка РКН:
http://pogorna.ru/bank/3563
http://topensait.info/prostitutki-spasska-dalnego-v-kontakte/

http://mexibg.info/vip-blyadi-spasska-dalnego/

В файле urls они есть, но вот почему то через Хром (например), ссылки открываются, а через EI или Edge, заглушка вылетает.

Вопрос, как фильтр обрабатывает ссылки из этого списка (urls), http или https?
 

Изменено 28 декабря, 2022 пользователем nevsik

[st_re]

там сайт отдаёт 

 

< alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400

я так понимаю хром это запоминает и ходит на https:// 

 

по идее на сутки, но если сначала сходиь на незаблокированный урл на их сайте, то дальше оно будет ломится только в https//

 

а фильтр блочет только что написано.