Jump to content
Калькуляторы
Блокировка веб ресурса  

530 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

1 минуту назад, hsvt сказал:

Обновил, открывается всё равно в браузере и через curl.

 


curl -v -4 "http://0.new-rutor.org/torrent/599668/..."
* About to connect() to 0.new-rutor.org port 80 (#0)
*   Trying 37.1.207.109...
* Connected to 0.new-rutor.org (37.1.207.109) port 80 (#0)
> GET /torrent/599668/... HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 0.new-rutor.org
> Accept: */*
>
< HTTP/1.1 301 Moved Permanently
< Server: nginx/1.12.0
< Date: Thu, 26 Apr 2018 21:11:22 GMT
< Content-Type: text/html; charset=iso-8859-1
< Content-Length: 331
< Connection: keep-alive
< Location: http://0.new-rutor.org/torrent/599668/.../
< Vary: Accept-Encoding

 

ссылка другая

http://0.new-rutor.org/torrent/599668/spuschennyj-s-cepi_unleashed-2016-web-dlrip-l/
 

Share this post


Link to post
Share on other sites
Только что, admf сказал:

Эта блокируется, у Макса в сообщении другая ссылка указана и до обновления скрипта её действительно не было в файлах.

 

grep -rl '0.new-rutor.org/torrent/599668/...' /home/extFilter/contrib/
/home/extFilter/contrib/urls

 

Edited by hsvt

Share this post


Link to post
Share on other sites
22 минуты назад, hsvt сказал:

 

RKN last dump date: 1524739020 не меняется с 15:00 по мск и новых записей нет.

 

Похоже генератор у них залип... т.к. теперь, когда там есть ts=, который через неделю должен пропадать, файл меняется даже если сегодня в списке и не менялось ничего, т.к. ну неделю то назад были изменения.. там как раз первые волны внесения больших сетей были 19 числа.

 

вот это все должно было уже очиститься от временной метки

fgrep -c ' ts="2018-04-19T' dump.xml
     871

 

к полуночи...

 

интересно, так просто, или "затишье перед бурей" ?

Share this post


Link to post
Share on other sites
48 минут назад, hsvt сказал:

grep -rl '0.new-rutor.org/torrent/599668/...' /home/extFilter/contrib/ /home/extFilter/contrib/urls

grep -rl '0.new-rutor.org/torrent/599668/...'  /usr/local/etc/extfilter/
/usr/local/etc/extfilter/urls

-------

cat /usr/local/etc/extfilter/urls |grep '0.new-rutor.org/torrent/599668/...'
0.new-rutor.org/torrent/599668/spuschennyj-s-cepi_unleashed-2016-web-dlrip-l/

 

grep делает поиск как регулярное выражение 

Edited by admf
edit

Share this post


Link to post
Share on other sites
1 час назад, hsvt сказал:

RKN last dump date: 1524739020 не меняется с 15:00 по мск и новых записей нет.

Пришло https://pastebin.com/nh2aWTDb

И Яндекс с ВК под раздачу попали. Да и чего там только нет. Обновление дампа от 00:06. Записи в реестр добавлены между 15:00 и 00:06, а ревизор уже пропусков нафиксил.

 

А чем им NTP сервер 194.190.168.1 то помешал от MSK-IX?

Edited by alexdirty

Share this post


Link to post
Share on other sites
34 минуты назад, alexdirty сказал:

Пришло https://pastebin.com/nh2aWTDb

И Яндекс с ВК под раздачу попали. Да и чего там только нет. Обновление дампа от 00:06. Записи в реестр добавлены между 15:00 и 00:06, а ревизор уже пропусков нафиксил.

 

А чем им NTP сервер 194.190.168.1 то помешал от MSK-IX?

 

Ага,  поставили задачу удавить уже телеграм новому "специалисту", дядя (тетя?) запустили на теолефоне телегу, запустили тспдамп и все что увидели запихнули в выгрузку ? А предустанвленные фейсбук, твиттер и одноглазников не выключили?  Ну и время же телефону надо синкнуть было.. . далеко зайдут... до победы б.....

Интересно, а там все вот это, отправка уведомления на абузу MskIX и внесение через 3 дня уже не модно ? или те не прореагировали ?

Share this post


Link to post
Share on other sites
7 часов назад, admf сказал:

А не кто, не пользуется для проверки фильтрации https://github.com/carbonsoft/reductor_satellite_installer ?

 

Вопрос в адекватности работы?

Мы пользовались, работало хорошо.

Share this post


Link to post
Share on other sites

@Kolunchik Спасибо, а почему пользовались? отпала необходимость мониторить или перешли на что-то другое?

Share this post


Link to post
Share on other sites

Отпала, подписались с аплинком на фильтрованый трафик.

Share this post


Link to post
Share on other sites

Народ, так же решил переходить на Unbound.

Подскажите как автоматизировали добавление private adrress? 

Генерите файл в conf и рестарт демона? 

или все таки через unbound-control это можно вливать? 

Share this post


Link to post
Share on other sites
8 часов назад, alexdirty сказал:

Пришло https://pastebin.com/nh2aWTDb

И Яндекс с ВК под раздачу попали. Да и чего там только нет. Обновление дампа от 00:06. Записи в реестр добавлены между 15:00 и 00:06, а ревизор уже пропусков нафиксил.

 

А чем им NTP сервер 194.190.168.1 то помешал от MSK-IX?

не подЕелитесь скриптом для проверки? =)

Share this post


Link to post
Share on other sites
35 минут назад, yKpon сказал:

не подЕелитесь скриптом для проверки? =)

Subscribe to @rknshowtime in Telegram.

Share this post


Link to post
Share on other sites

За последние 2 дня в отчете всплывают IP которых в реестре вообще нет, по крайне мере на момент времени когда проходила проверка, например 193.104.14.202,  77.238.185.35 основание для блокировки решение номер 894386 , специально руками проверил реестр на предмет наличия этих IP в момент пропусков - нету их там.

Только у нас так ?

Share this post


Link to post
Share on other sites
1 минуту назад, Huko сказал:

За последние 2 дня в отчете всплывают IP которых в реестре вообще нет, по крайне мере на момент времени когда проходила проверка, например 193.104.14.202,  77.238.185.35 основание для блокировки решение номер 894386 , специально руками проверил реестр на предмет наличия этих IP в момент пропусков - нету их там.

Только у нас так ?

У нас так же  пропуски все появились по постановлению 894386, в реестре нечего нет. Сейчас позвоню куратору из РКН что скажут..

 

Share this post


Link to post
Share on other sites
1 час назад, wed сказал:

Народ, так же решил переходить на Unbound.

Подскажите как автоматизировали добавление private adrress? 

Генерите файл в conf и рестарт демона? 

или все таки через unbound-control это можно вливать? 

 

Вот простой скрипт парсинга:

https://pastebin.com/yC0u2HkH

Там я правда файл дампа копирую через scp с удаленного сервера.

unbound-control reload подтягивает измененный конфиг

Share this post


Link to post
Share on other sites
18 часов назад, arhead сказал:

Ветка master все в норме. Может ответ от сервера пришел раньше чем от фильтра?

Да, вот не похоже. Судя по отчетам за прошлые дни проскакивали только эти ресурсы несколько раз, главное только http (https нет в отчете), блокировка по домену. Снял дамп-трафика с сервера 104.207.144.62, запрашивает мелкие пакеты, но эти сайты блокируются исправно, смотрел в течении дня. Во вчерашнем отчете их нет, зато полный треш по адресации гугла и фэйсбука))

 

@max1976, может есть проблема такая же при сборке http, как было при https с navalniy.com? Снять дамп пропуска не удается, т.к. на ПК блокируется исправно, ревизор пока по ним молчит. Кстати в радиочастотном говорят нет скринов, что заставляет еще больше задуматься.

Share this post


Link to post
Share on other sites
2 часа назад, Huko сказал:

За последние 2 дня в отчете всплывают IP которых в реестре вообще нет, по крайне мере на момент времени когда проходила проверка, например 193.104.14.202,  77.238.185.35 основание для блокировки решение номер 894386 , специально руками проверил реестр на предмет наличия этих IP в момент пропусков - нету их там.

Только у нас так ?

То, что после удаления проверяют, уже как-то привычно.. пачка адресов вместе с этими сегодня пролетела

2018-04-27 00:23:57 + blacklist-ip2 193.104.14.202
2018-04-27 02:18:52 - blacklist-ip2 193.104.14.202
2018-04-27 00:23:57 + blacklist-ip2 77.238.185.35
2018-04-27 02:18:52 - blacklist-ip2 77.238.185.35
 

 

Share this post


Link to post
Share on other sites

вопрос снят.

Edited by admf
del

Share this post


Link to post
Share on other sites
30 минут назад, nerik сказал:

@max1976, может есть проблема такая же при сборке http, как было при https с navalniy.com? Снять дамп пропуска не удается, т.к. на ПК блокируется исправно, ревизор пока по ним молчит. Кстати в радиочастотном говорят нет скринов, что заставляет еще больше задуматься.

Со сборкой http проблем не возникало. Была проблема с ssl. Попробуйте снять дамп с ревизора, что он запрашивает и что получает.

Share this post


Link to post
Share on other sites

попытался очередной раз запустить extFilter из ветки exp , и опять что то не то (вот пара выводов)

 


/usr/src/TEST-100/extfilter/src/extFilter -f /usr/src/TEST-100/extfilter/etc/extfilter.ini
EAL: Detected 16 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:06:00.0 on NUMA socket 0
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:06:00.1 on NUMA socket 0
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:09:00.0 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.1 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.2 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.3 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:83:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:83:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:85:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:85:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:89:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:89:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10fb net_ixgbe
acl context <extFilter-ipv4-acl0-0>@0x7f7b512d8000
  socket_id=0
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=46
  num_categories=1
  num_tries=1
RING: Cannot reserve memory






tes: 251754319, traffic throughtput: 66.38 K pps
2018-04-27 13:46:29.344 [3282] Information Application - All worker IPv4 fragments: 5389, IPv6 fragments: 0, IPv4 short packets: 0
2018-04-27 13:46:29.344 [3282] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 1,  matched by url: 0
2018-04-27 13:46:29.344 [3282] Information Application - All worker threads redirected domains: 1, redirected urls: 0, rst sended: 0
2018-04-27 13:46:29.344 [3282] Information Application - All worker threads active flows: 25604 (IPv4 flows: 25604, IPv6 flows: 0), deletet flows: 2577
2018-04-27 13:51:47.046 [3403] Information ACL - Preparing 46 rules for IPv4 ACL
2018-04-27 13:51:47.060 [3403] Information TriesControl - Loaded 60270 lines from the domains file '/usr/local/etc/extfilter/DUMP/domains'
2018-04-27 13:51:47.074 [3403] Information TriesControl - Loaded 50402 lines from the urls file '/usr/local/etc/extfilter/DUMP/urls'
2018-04-27 13:51:47.077 [3403] Information TriesControl - Masked domains: #keys 3746, #nodes 5176
2018-04-27 13:51:47.174 [3403] Information TriesControl - URLS: #keys 110618, #nodes 157281
2018-04-27 13:51:47.174 [3403] Information TriesControl - Set active trie in the slot 0
2018-04-27 13:51:47.185 [3403] Information TriesControl - Loaded 64274 lines from the domains file '/usr/local/etc/extfilter/DUMP/ssl_host'
2018-04-27 13:51:47.187 [3403] Information TriesControl - Masked domains: #keys 3297, #nodes 4551
2018-04-27 13:51:47.233 [3403] Information TriesControl - URLS: #keys 64263, #nodes 90777
2018-04-27 13:51:47.233 [3403] Information TriesControl - Set active trie in the slot 0
2018-04-27 13:51:47.233 [3403] Information Application - Setting mbuf size to 16384
2018-04-27 13:51:47.243 [3403] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2018-04-27 13:51:47.245 [3403] Information Application - Allocated memory pool (16384 entries) for packet info on sockets 0
2018-04-27 13:51:47.245 [3403] Information Application - Port 0 creating queues: rx queue=3, tx queue=3
2018-04-27 13:51:47.245 [3403] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=4
2018-04-27 13:51:47.245 [3403] Information Application - port=0 tx_queueid=0 nb_txd=512 core=4
2018-04-27 13:51:47.246 [3403] Information Application - port=0 rx_queueid=1 nb_rxd=256 core=5
2018-04-27 13:51:47.246 [3403] Information Application - port=0 tx_queueid=1 nb_txd=512 core=5
2018-04-27 13:51:47.246 [3403] Information Application - port=0 rx_queueid=2 nb_rxd=256 core=6
2018-04-27 13:51:47.246 [3403] Information Application - port=0 tx_queueid=2 nb_txd=512 core=6
2018-04-27 13:51:50.819 [3403] Information Application - Port 0 MAC: 00:1e:67:38:c6:31
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 rx_queueid=0 nb_rxd=256
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 tx_queueid=0 tb_rxd=512
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 tx_queueid=1 tb_rxd=512
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 tx_queueid=2 tb_rxd=512
2018-04-27 13:51:50.820 [3403] Information Application - Port 1 MAC: 00:1e:67:38:c6:32
2018-04-27 13:51:52.604 [3403] Information Application - Create pool 'DPIHTTPPool' for the http dissector with number of entries: 250000, element size 960 size: 240000000 bytes
2018-04-27 13:51:52.633 [3403] Information Application - Allocating 3840000000 bytes (10000000 entries) for ipv4 flow pool
2018-04-27 13:51:52.839 [3403] Fatal Application - Not enough memory for ipv4 flows pool. Tried to allocate 3840000000 bytes on socket 0
2018-04-27 13:51:52.839 [3403] Error Application - Exception: Not enough memory for flows pool

вопрос , чего ему ещё нужно , ветка мастер в то же время работает нормально ....

Share this post


Link to post
Share on other sites
30 минут назад, dee сказал:

вопрос , чего ему ещё нужно , ветка мастер в то же время работает нормально ....

Нужна свободная память под huge pages. Пишет что не хватает памяти:

31 минуту назад, dee сказал:

2018-04-27 13:51:52.839 [3403] Fatal Application - Not enough memory for ipv4 flows pool. Tried to allocate 3840000000 bytes on socket 0

Фильтр хочет получить 3,8 гб памяти под flows.

 

Share this post


Link to post
Share on other sites
13 часов назад, werd сказал:

пропуски все появились по постановлению 894386, в реестре нечего нет. Сейчас позвоню куратору из РКН что скажут..

и?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now