Jump to content
Блокировка веб ресурса  

564 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

В 28.07.2022 в 14:56, alibek сказал:

Вы считаете, что Ревизор или пользователи будут использовать тот же DNS-сервер, что и вы (ваш браузер)

ревизор получает реквизиты по dhcp. Ревизор и мой браузер точно используют один и тот же днс. И в отчёте написано что статус ответа 502 как раз. Т.е. проблемы с самим сайтом скорее всего. ping-admin тоже показывает такую ошибку с разных мест.

Share this post


Link to post
Share on other sites

В 28.07.2022 в 15:44, st_re сказал:

ревизор еще ходит и на ИП, указанный в выгрузке... они могут не совпадать с тем, что в ДНСе

Была такая тема, но очень давно. Сейчас это не удалось подтвердить. Ходит только на те адреса, которые прописаны в DNS.

Share this post


Link to post
Share on other sites

Коллеги а там РКН ни чего опять интересного не внес? А то Хром и Vivaldi глючат на некоторые сайты пока блокировку не отключишь.

Share this post


Link to post
Share on other sites

Странное поведение Chrome Vivaldi и Opera. Пока из блокировки не удалил адрес 188.114.98.171 некоторые сайты криво грузились или вообще не открывались. Firefox работает как обычно. Удалить из hostlist и все работает. Странно очень. У кого нить этот адрес есть в стоп листах?

Edited by arhead

Share this post


Link to post
Share on other sites

В 16.08.2022 в 16:43, arhead сказал:

Странное поведение Chrome Vivaldi и Opera. Пока из блокировки не удалил адрес 188.114.98.171 некоторые сайты криво грузились или вообще не открывались. Firefox работает как обычно. Удалить из hostlist и все работает. Странно очень. У кого нить этот адрес есть в стоп листах?

У нас есть в листе "ssl_ips". Но если я правильно понимаю, этот лист загружается когда "block_ssl_no_sni = true". У нас в конфиге "block_ssl_no_sni = false", поэтому этот IP не блокируется. Обратил внимание, WhatsApp-веб (для windows) перестал обновляться, я так понимаю из-за вот этой записи:

/usr/local/etc/extfilter/domains:119683:*.fbcdn.net
/usr/local/etc/extfilter/ssl_host:119683:*.fbcdn.net
Есть у кого либо такая проблема?

Share this post


Link to post
Share on other sites

Коллеги, подскажите по выделению памяти.

 

Spoiler

2022-08-26 19:57:46.300 [1169] Information ACL - Preparing 334 rules for IPv4 ACL
2022-08-26 19:57:46.475 [1169] Information TriesControl - Loaded 360348 lines from the domains file '/var/lib/extfilter/domains'
2022-08-26 19:57:46.538 [1169] Information TriesControl - Loaded 73866 lines from the urls file '/var/lib/extfilter/urls'
2022-08-26 19:57:46.651 [1169] Information TriesControl - Masked domains: #keys 125232, #nodes 177163
2022-08-26 19:57:47.159 [1169] Information TriesControl - URLS: #keys 433563, #nodes 614991
2022-08-26 19:57:47.159 [1169] Information TriesControl - Set active trie in the slot 0
2022-08-26 19:57:47.275 [1169] Information TriesControl - Loaded 396852 lines from the domains file '/var/lib/extfilter/ssl_host'
2022-08-26 19:57:47.383 [1169] Information TriesControl - Masked domains: #keys 125232, #nodes 177163
2022-08-26 19:57:47.820 [1169] Information TriesControl - URLS: #keys 390738, #nodes 550773
2022-08-26 19:57:47.820 [1169] Information TriesControl - Set active trie in the slot 0
2022-08-26 19:57:47.820 [1169] Information Application - Setting mbuf size to 16384
2022-08-26 19:57:47.829 [1169] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2022-08-26 19:57:47.829 [1169] Information Application - Set number of entries of the sender buffer to 8192
2022-08-26 19:57:47.833 [1169] Information Application - Port 0 creating queues: rx queue=1, tx queue=1
2022-08-26 19:57:47.833 [1169] Information Application - RTE_MAX_LCORE=2
2022-08-26 19:57:47.833 [1169] Information Application - =====RTE_MAX_LCORE=2
2022-08-26 19:57:47.833 [1169] Information Application - cikl number lcore_id=0
2022-08-26 19:57:47.833 [1169] Information Application - propusk cikla pri lcore_id=0
2022-08-26 19:57:47.833 [1169] Information Application - cikl number lcore_id=1
2022-08-26 19:57:47.833 [1169] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=1
2022-08-26 19:57:47.834 [1169] Information Application - AAAAport=0 tx_queueid=0 nb_txd=512 core=1
2022-08-26 19:57:50.317 [1169] Information Application - Port 0 MAC: 00:1b:21:99:81:ea
2022-08-26 19:57:50.318 [1169] Information Application - sender port=1 rx_queueid=0 nb_rxd=256
2022-08-26 19:57:50.318 [1169] Information Application - sender port=1 tx_queueid=0 tb_rxd=512
2022-08-26 19:57:50.318 [1169] Information Application - Port 1 MAC: 00:1b:21:d3:e9:ec
2022-08-26 19:57:52.742 [1169] Information Application - Set number of entries of the clone buffer to 2048
2022-08-26 19:57:52.743 [1169] Information Application - Create pool 'DPIHTTPPool' for the http dissector with number of entries: 110000, element size 960 size: 105600000 bytes
2022-08-26 19:57:52.746 [1169] Information Application - Create pool 'DPISSLPool' for the ssl dissector with number of entries: 221111, element size 320 size: 70755520 bytes
2022-08-26 19:57:52.753 [1169] Information Application - Allocating 2165333184 bytes (4833333 entries) for ipv4 flow pool
2022-08-26 19:57:52.900 [1169] Information Application - Allocating 11946816 bytes (26667 entries) for ipv6 flow pool

2022-08-26 19:57:52.902 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:52.925 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:52.957 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:52.960 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:52.992 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:52.995 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:53.027 [1169] Information FlowStorageIPV4 - Allocate 19333328 bytes (1208333 entries, element size 16) for flow hash ipv4
2022-08-26 19:57:53.030 [1169] Information FlowStorageIPV4 - Allocating 9666664 bytes (1208333 entries) for ipv4_flows
2022-08-26 19:57:53.062 [1169] Information FlowStorageIPV6 - Allocate 639984 bytes (13333 entries, element size 48) for flow hash ipv6
2022-08-26 19:57:53.062 [1169] Information FlowStorageIPV6 - Allocating 106664 bytes (13333 entries) for ipv6_flows
2022-08-26 19:57:53.063 [1169] Information FlowStorageIPV6 - Allocate 639984 bytes (13333 entries, element size 48) for flow hash ipv6
2022-08-26 19:57:53.063 [1169] Information FlowStorageIPV6 - Allocating 106664 bytes (13333 entries) for ipv6_flows
2022-08-26 19:57:53.063 [1169] Information WorkerThrd_0 - -- lcoreid=1 portid=0 rxqueueid=0
 

 

 

Память:

Spoiler

root@dpi:# cat /proc/meminfo | grep -i hug
AnonHugePages:         0 kB
HugePages_Total:    2560
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

Т.е (HugePages_Total)*(Hugepagesize)= 5ГБ (htop примерно это и показывает)

 

При загрузке (черным) ~2,5гига, а в grub выделено 5гигов. Как эти цифры коррелируют? Можно под ipvX_flow_pool выделить оставшиеся 2,5гига или остатки памяти еще для чего-то нужны в процессе работы скрипта?

 

По логам:

До 50к pps вроде работает нормально.

Выше - периодически прилетает "Error ESender - Can't send packet. Buffer is full"

Пики больше 75k pps - "Error WorkerThrd_0 - Unable to allocate memory for the http buffer"

 

Железо: i5-2300(2.80GHz)/8Gb DDR3/2*82574L Intel (только одна очередь для этих сетевух)

 

Что в данном случае есть ошибки буфера и памяти, куда копать?

Share this post


Link to post
Share on other sites

В 31.08.2022 в 14:56, flow-control сказал:

Доброго дня. Выгрузка только у нас поломалась?

 Error while getLastDumpDateEx: getLastDumpDateEx: Response is empty!

Не только у вас. У нас тоже Response is empty. Видимо ркн прилёг, не грузятся даже их сайты eais.rkn.gov.ru и vigruzki.rkn.gov.ru, вываливают 504 ошибку

Share this post


Link to post
Share on other sites

Товарищи! Ветка еще жива?
Хочу внедрить extFilter в сеть 
Как его правильно настроить ?
Есть 1.2 Гбит траффика в ЧасПик.
Железо:
Intel(R) Xeon(R) CPU E5-2689 0 @ 2.60GHz
32Gb памяти 
Intel I350-t4

Железка собрана , вроде как extfilter запускается. Как теперь его настроить правильно?
Прогонять через него траффик ? 


extfilter.ini

tuned.txt

Edited by Razdolbay

Share this post


Link to post
Share on other sites

Не понятно как это работает. Там минимум 2 порта нужно на сколько известно.

Только как это состыковать на Cisco 

В качестве NAS Accel-ppp

Там есть пункт типа type=sender, только что там указывать ? MAC чего ?

Объясните идиоту пожалуйста.

 

R(config)# monitor session 1 source interface Gi0/X
R(config)# monitor session 1 destination interface Gi0/Y

Сделал так , трафик зеркалится. По графикам видно. 

Share this post


Link to post
Share on other sites

ну если фильтр в режиме миррора и зеркало сделал (зеркало в идеале нужно делать где то за шаг до выхода в мир) , когда видны только реальники (ну это моё мнение) , 2 порта (один вход для зеркала) , второй это выход для ответов - мак указывается интерфейса того роутера с которого инет уже выходит в мир (бгп роутер с отдельным вланом , который соединён с фиьтром ответ портом) .

Share this post


Link to post
Share on other sites

В 11.10.2022 в 15:35, dee сказал:

ну если фильтр в режиме миррора и зеркало сделал (зеркало в идеале нужно делать где то за шаг до выхода в мир) , когда видны только реальники (ну это моё мнение) , 2 порта (один вход для зеркала) , второй это выход для ответов - мак указывается интерфейса того роутера с которого инет уже выходит в мир (бгп роутер с отдельным вланом , который соединён с фиьтром ответ портом) .

Т.е. создаю левый вилан на cisco, на акселе создаю левый вилан на порту с выходом в интернет, и согласовываю Аксель интерфейс с интерфейсом на extfilter??

Если я правильно все понял. И порт должен быть (для отправки) все таки Access , а не Trunk?

Хотя написано , как Access так и trunk можно

 

Edited by Razdolbay

Share this post


Link to post
Share on other sites

ну если фильтр в режиме миррора и зеркало сделал (зеркало в идеале нужно делать где то за шаг до выхода в мир) , когда видны только реальники (ну это моё мнение) , 2 порта (один вход для зеркала) , второй это выход для ответов - мак указывается интерфейса того роутера с которого инет уже выходит в мир (бгп роутер с отдельным вланом , который соединён с фиьтром ответ портом) .

В фильтр конечно акцессом привести нужно , а в циску как угодно (главное что бы она была транзитным узлом для всего траффика и с неё будет идти уже ответ абоненту 

Share this post


Link to post
Share on other sites

Добрый день, коллеги. Кто-нибудь выгружает реестр РКН по логину/паролю, скриптом "max197616/zapret" ? Поделитесь пож-ста опытом...

Share this post


Link to post
Share on other sites

 

 

В 24.11.2022 в 13:03, MUY_68 сказал:

Добрый день, коллеги. Кто-нибудь выгружает реестр РКН по логину/паролю, скриптом "max197616/zapret" ? Поделитесь пож-ста опытом...

Скрытый текст

#!/bin/bash

acc="login:pass"
url="https://vigruzki2.rkn.gov.ru/services/OperatorRequest2/?wsdl"
path="/path_dir"
file_dump="${path}/dump.zip"
file_dump_soc="${path}/out_soc.zip"
file_dump_laststate="lastdate"
t_file=`date +%s`

find ${path}/arch/ -mtime +30  -exec rm {} \;

function get_dump {
echo "GET_DUMP + SOC"
#
#mv ${path}/${file_dump}  ${path}/old_${file_dump}
curl -s -u $acc $url --data @${path}/request.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump}
#
#mv ${path}/${file_dump_soc}  ${path}/old_${file_dump_soc}
curl -s -u $acc $url --data @${path}/request_soc.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump_soc}

if [[ -s $file_dump  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP not found" >> ${path}/debug/${t_file}
fi

if [[ -s $file_dump_soc  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh soc
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP-soc not found" >> ${path}/debug/${t_file}
fi

}


if [[ $1 = get ]]
then
echo "REESTR"
#mv ${path}/${file_dump}  ${path}/old_${file_dump}
curl -s -u $acc $url --data @${path}/request.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump}

if [[ -s $file_dump  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP not found" >> ${path}/debug/${t_file}
fi

fi

if [[ $1 = get_soc ]]
then
echo "REESTR SOC"
#mv ${path}/${file_dump_soc}  ${path}/old_${file_dump_soc}
curl -s -u $acc $url --data @${path}/request_soc.xml | grep -oP "<registerZipArchive>.*<\/registerZipArchive>" | cut -d ">" -f 2 | cut -d "<" -f 1 | base64 -d > ${file_dump_soc}

if [[ -s ${file_dump_soc}  ]]
then
echo "FILE YES and not NULL"
${path}/start_parse.sh soc
else
echo "FILE NO FOUND OR NULL"
t_file=`date +%s`
echo "ALERT FILE DUMP-soc not found" >> ${path}/debug/${t_file}
fi

fi


if [[ $1 = get_last ]]
then
echo "LAST DUMP STATE"
now_lastdump=`curl -s -u $acc $url --data @${path}/request_last.xml | sed -e 's/.*<lastDumpDate>\|<\/lastDumpDate>.*//g' | tail -n 1`
last_req=`cat ${path}/${file_dump_laststate}`
#echo "CREATE NEW REQUEST from RKN - $now_lastdump (last -$last_req)" >> ${path}/debug/${t_file}
if [[ $now_lastdump =~ [0-9]{5,100} ]]
then

if [[ `cat ${path}/${file_dump_laststate}` != $now_lastdump ]]
then
echo "NEW $now_lastdump"
echo $now_lastdump > ${path}/${file_dump_laststate}
get_dump
fi
else
echo "ALERT LASTDUMP NO NUM - $now_lastdump" >> ${path}/debug/${t_file}
fi
fi


if [[ ! $1 ]]
then
echo "enter - get , get_soc , get_last"
fi

(тут xlm отдельными файлами)
request_last.xml

<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:oper="http://vigruzki.rkn.gov.ru/OperatorRequest/">
   <soapenv:Header/>
   <soapenv:Body>
      <oper:getLastDumpDate>
         <code>''</code>
      </oper:getLastDumpDate>
   </soapenv:Body>
</soapenv:Envelope>

request_soc.xml

<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:oper="http://vigruzki.rkn.gov.ru/OperatorRequest/">
   <soapenv:Header/>
   <soapenv:Body>
      <oper:getResultSocResources>
         <code>''</code>
      </oper:getResultSocResources>
   </soapenv:Body>
</soapenv:Envelope>

request.xml

<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:oper="http://vigruzki.rkn.gov.ru/OperatorRequest/">
   <soapenv:Header/>
   <soapenv:Body>
      <oper:getResult>
         <code>''</code>
      </oper:getResult>
   </soapenv:Body>
</soapenv:Envelope>

 

Edited by dee

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.