1. Для блокировка используем

[admf]

1 минуту назад, hsvt сказал:

Обновил, открывается всё равно в браузере и через curl.

 

curl -v -4 "http://0.new-rutor.org/torrent/599668/..."
* About to connect() to 0.new-rutor.org port 80 (#0)
*   Trying 37.1.207.109...
* Connected to 0.new-rutor.org (37.1.207.109) port 80 (#0)
> GET /torrent/599668/... HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 0.new-rutor.org
> Accept: */*
>
< HTTP/1.1 301 Moved Permanently
< Server: nginx/1.12.0
< Date: Thu, 26 Apr 2018 21:11:22 GMT
< Content-Type: text/html; charset=iso-8859-1
< Content-Length: 331
< Connection: keep-alive
< Location: http://0.new-rutor.org/torrent/599668/.../
< Vary: Accept-Encoding

 

ссылка другая

http://0.new-rutor.org/torrent/599668/spuschennyj-s-cepi_unleashed-2016-web-dlrip-l/
 

[hsvt]

Только что, admf сказал:

ссылка другая

http://0.new-rutor.org/torrent/599668/spuschennyj-s-cepi_unleashed-2016-web-dlrip-l/
 

Эта блокируется, у Макса в сообщении другая ссылка указана и до обновления скрипта её действительно не было в файлах.

 

grep -rl '0.new-rutor.org/torrent/599668/...' /home/extFilter/contrib/
/home/extFilter/contrib/urls

 

Изменено 26 апреля, 2018 пользователем hsvt

[st_re]

22 минуты назад, hsvt сказал:

 

RKN last dump date: 1524739020 не меняется с 15:00 по мск и новых записей нет.

 

Похоже генератор у них залип... т.к. теперь, когда там есть ts=, который через неделю должен пропадать, файл меняется даже если сегодня в списке и не менялось ничего, т.к. ну неделю то назад были изменения.. там как раз первые волны внесения больших сетей были 19 числа.

 

вот это все должно было уже очиститься от временной метки

fgrep -c ' ts="2018-04-19T' dump.xml
     871

 

к полуночи...

 

интересно, так просто, или "затишье перед бурей" ?

[admf]

48 минут назад, hsvt сказал:

grep -rl '0.new-rutor.org/torrent/599668/...' /home/extFilter/contrib/ /home/extFilter/contrib/urls

grep -rl '0.new-rutor.org/torrent/599668/...'  /usr/local/etc/extfilter/
/usr/local/etc/extfilter/urls

-------

cat /usr/local/etc/extfilter/urls |grep '0.new-rutor.org/torrent/599668/...'
0.new-rutor.org/torrent/599668/spuschennyj-s-cepi_unleashed-2016-web-dlrip-l/

 

grep делает поиск как регулярное выражение 

Изменено 26 апреля, 2018 пользователем admf
edit

[alexdirty]

1 час назад, hsvt сказал:

RKN last dump date: 1524739020 не меняется с 15:00 по мск и новых записей нет.

Пришло https://pastebin.com/nh2aWTDb

И Яндекс с ВК под раздачу попали. Да и чего там только нет. Обновление дампа от 00:06. Записи в реестр добавлены между 15:00 и 00:06, а ревизор уже пропусков нафиксил.

 

А чем им NTP сервер 194.190.168.1 то помешал от MSK-IX?

Изменено 26 апреля, 2018 пользователем alexdirty

[admf]

А не кто, не пользуется для проверки фильтрации https://github.com/carbonsoft/reductor_satellite_installer ?

 

Вопрос в адекватности работы?

[st_re]

34 минуты назад, alexdirty сказал:

Пришло https://pastebin.com/nh2aWTDb

И Яндекс с ВК под раздачу попали. Да и чего там только нет. Обновление дампа от 00:06. Записи в реестр добавлены между 15:00 и 00:06, а ревизор уже пропусков нафиксил.

 

А чем им NTP сервер 194.190.168.1 то помешал от MSK-IX?

 

Ага,  поставили задачу удавить уже телеграм новому "специалисту", дядя (тетя?) запустили на теолефоне телегу, запустили тспдамп и все что увидели запихнули в выгрузку ? А предустанвленные фейсбук, твиттер и одноглазников не выключили?  Ну и время же телефону надо синкнуть было.. . далеко зайдут... до победы б.....

Интересно, а там все вот это, отправка уведомления на абузу MskIX и внесение через 3 дня уже не модно ? или те не прореагировали ?

[alexdirty]

Только что много чего убрали https://pastebin.com/66CUnCDD

[Kolunchik]

7 часов назад, admf сказал:

А не кто, не пользуется для проверки фильтрации https://github.com/carbonsoft/reductor_satellite_installer ?

 

Вопрос в адекватности работы?

Мы пользовались, работало хорошо.

[admf]

@Kolunchik Спасибо, а почему пользовались? отпала необходимость мониторить или перешли на что-то другое?

[Kolunchik]

Отпала, подписались с аплинком на фильтрованый трафик.

[wed]

Народ, так же решил переходить на Unbound.

Подскажите как автоматизировали добавление private adrress? 

Генерите файл в conf и рестарт демона? 

или все таки через unbound-control это можно вливать? 

[yKpon]

8 часов назад, alexdirty сказал:

Пришло https://pastebin.com/nh2aWTDb

И Яндекс с ВК под раздачу попали. Да и чего там только нет. Обновление дампа от 00:06. Записи в реестр добавлены между 15:00 и 00:06, а ревизор уже пропусков нафиксил.

 

А чем им NTP сервер 194.190.168.1 то помешал от MSK-IX?

не подЕелитесь скриптом для проверки? =)

[myth]

rknshowtime в телеграме

[alexdirty]

35 минут назад, yKpon сказал:

не подЕелитесь скриптом для проверки? =)

Subscribe to @rknshowtime in Telegram.

[Huko]

За последние 2 дня в отчете всплывают IP которых в реестре вообще нет, по крайне мере на момент времени когда проходила проверка, например 193.104.14.202,  77.238.185.35 основание для блокировки решение номер 894386 , специально руками проверил реестр на предмет наличия этих IP в момент пропусков - нету их там.

Только у нас так ?

[werd]

1 минуту назад, Huko сказал:

За последние 2 дня в отчете всплывают IP которых в реестре вообще нет, по крайне мере на момент времени когда проходила проверка, например 193.104.14.202,  77.238.185.35 основание для блокировки решение номер 894386 , специально руками проверил реестр на предмет наличия этих IP в момент пропусков - нету их там.

Только у нас так ?

У нас так же  пропуски все появились по постановлению 894386, в реестре нечего нет. Сейчас позвоню куратору из РКН что скажут..

 

[swsn]

1 час назад, wed сказал:

Народ, так же решил переходить на Unbound.

Подскажите как автоматизировали добавление private adrress? 

Генерите файл в conf и рестарт демона? 

или все таки через unbound-control это можно вливать? 

 

Вот простой скрипт парсинга:

https://pastebin.com/yC0u2HkH

Там я правда файл дампа копирую через scp с удаленного сервера.

unbound-control reload подтягивает измененный конфиг

[nerik]

18 часов назад, arhead сказал:

Ветка master все в норме. Может ответ от сервера пришел раньше чем от фильтра?

Да, вот не похоже. Судя по отчетам за прошлые дни проскакивали только эти ресурсы несколько раз, главное только http (https нет в отчете), блокировка по домену. Снял дамп-трафика с сервера 104.207.144.62, запрашивает мелкие пакеты, но эти сайты блокируются исправно, смотрел в течении дня. Во вчерашнем отчете их нет, зато полный треш по адресации гугла и фэйсбука))

 

@max1976, может есть проблема такая же при сборке http, как было при https с navalniy.com? Снять дамп пропуска не удается, т.к. на ПК блокируется исправно, ревизор пока по ним молчит. Кстати в радиочастотном говорят нет скринов, что заставляет еще больше задуматься.

[ixi]

2 часа назад, Huko сказал:

За последние 2 дня в отчете всплывают IP которых в реестре вообще нет, по крайне мере на момент времени когда проходила проверка, например 193.104.14.202,  77.238.185.35 основание для блокировки решение номер 894386 , специально руками проверил реестр на предмет наличия этих IP в момент пропусков - нету их там.

Только у нас так ?

То, что после удаления проверяют, уже как-то привычно.. пачка адресов вместе с этими сегодня пролетела

2018-04-27 00:23:57 + blacklist-ip2 193.104.14.202
2018-04-27 02:18:52 - blacklist-ip2 193.104.14.202
2018-04-27 00:23:57 + blacklist-ip2 77.238.185.35
2018-04-27 02:18:52 - blacklist-ip2 77.238.185.35
 

 

[admf]

вопрос снят.

Изменено 27 апреля, 2018 пользователем admf
del

[max1976]

30 минут назад, nerik сказал:

@max1976, может есть проблема такая же при сборке http, как было при https с navalniy.com? Снять дамп пропуска не удается, т.к. на ПК блокируется исправно, ревизор пока по ним молчит. Кстати в радиочастотном говорят нет скринов, что заставляет еще больше задуматься.

Со сборкой http проблем не возникало. Была проблема с ssl. Попробуйте снять дамп с ревизора, что он запрашивает и что получает.

[dee]

попытался очередной раз запустить extFilter из ветки exp , и опять что то не то (вот пара выводов)

 

/usr/src/TEST-100/extfilter/src/extFilter -f /usr/src/TEST-100/extfilter/etc/extfilter.ini
EAL: Detected 16 lcore(s)
EAL: Probing VFIO support...
EAL: PCI device 0000:06:00.0 on NUMA socket 0
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:06:00.1 on NUMA socket 0
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:09:00.0 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.1 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.2 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:09:00.3 on NUMA socket 0
EAL:   probe driver: 8086:1521 net_e1000_igb
EAL: PCI device 0000:83:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:83:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:85:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:85:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10c9 net_e1000_igb
EAL: PCI device 0000:89:00.0 on NUMA socket 1
EAL:   probe driver: 8086:10fb net_ixgbe
EAL: PCI device 0000:89:00.1 on NUMA socket 1
EAL:   probe driver: 8086:10fb net_ixgbe
acl context <extFilter-ipv4-acl0-0>@0x7f7b512d8000
  socket_id=0
  alg=2
  max_rules=100000
  rule_size=96
  num_rules=46
  num_categories=1
  num_tries=1
RING: Cannot reserve memory






tes: 251754319, traffic throughtput: 66.38 K pps
2018-04-27 13:46:29.344 [3282] Information Application - All worker IPv4 fragments: 5389, IPv6 fragments: 0, IPv4 short packets: 0
2018-04-27 13:46:29.344 [3282] Information Application - All worker threads matched by ip/port: 0, matched by ssl: 0, matched by ssl/ip: 0, matched by domain: 1,  matched by url: 0
2018-04-27 13:46:29.344 [3282] Information Application - All worker threads redirected domains: 1, redirected urls: 0, rst sended: 0
2018-04-27 13:46:29.344 [3282] Information Application - All worker threads active flows: 25604 (IPv4 flows: 25604, IPv6 flows: 0), deletet flows: 2577
2018-04-27 13:51:47.046 [3403] Information ACL - Preparing 46 rules for IPv4 ACL
2018-04-27 13:51:47.060 [3403] Information TriesControl - Loaded 60270 lines from the domains file '/usr/local/etc/extfilter/DUMP/domains'
2018-04-27 13:51:47.074 [3403] Information TriesControl - Loaded 50402 lines from the urls file '/usr/local/etc/extfilter/DUMP/urls'
2018-04-27 13:51:47.077 [3403] Information TriesControl - Masked domains: #keys 3746, #nodes 5176
2018-04-27 13:51:47.174 [3403] Information TriesControl - URLS: #keys 110618, #nodes 157281
2018-04-27 13:51:47.174 [3403] Information TriesControl - Set active trie in the slot 0
2018-04-27 13:51:47.185 [3403] Information TriesControl - Loaded 64274 lines from the domains file '/usr/local/etc/extfilter/DUMP/ssl_host'
2018-04-27 13:51:47.187 [3403] Information TriesControl - Masked domains: #keys 3297, #nodes 4551
2018-04-27 13:51:47.233 [3403] Information TriesControl - URLS: #keys 64263, #nodes 90777
2018-04-27 13:51:47.233 [3403] Information TriesControl - Set active trie in the slot 0
2018-04-27 13:51:47.233 [3403] Information Application - Setting mbuf size to 16384
2018-04-27 13:51:47.243 [3403] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2018-04-27 13:51:47.245 [3403] Information Application - Allocated memory pool (16384 entries) for packet info on sockets 0
2018-04-27 13:51:47.245 [3403] Information Application - Port 0 creating queues: rx queue=3, tx queue=3
2018-04-27 13:51:47.245 [3403] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=4
2018-04-27 13:51:47.245 [3403] Information Application - port=0 tx_queueid=0 nb_txd=512 core=4
2018-04-27 13:51:47.246 [3403] Information Application - port=0 rx_queueid=1 nb_rxd=256 core=5
2018-04-27 13:51:47.246 [3403] Information Application - port=0 tx_queueid=1 nb_txd=512 core=5
2018-04-27 13:51:47.246 [3403] Information Application - port=0 rx_queueid=2 nb_rxd=256 core=6
2018-04-27 13:51:47.246 [3403] Information Application - port=0 tx_queueid=2 nb_txd=512 core=6
2018-04-27 13:51:50.819 [3403] Information Application - Port 0 MAC: 00:1e:67:38:c6:31
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 rx_queueid=0 nb_rxd=256
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 tx_queueid=0 tb_rxd=512
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 tx_queueid=1 tb_rxd=512
2018-04-27 13:51:50.820 [3403] Information Application - sender port=1 tx_queueid=2 tb_rxd=512
2018-04-27 13:51:50.820 [3403] Information Application - Port 1 MAC: 00:1e:67:38:c6:32
2018-04-27 13:51:52.604 [3403] Information Application - Create pool 'DPIHTTPPool' for the http dissector with number of entries: 250000, element size 960 size: 240000000 bytes
2018-04-27 13:51:52.633 [3403] Information Application - Allocating 3840000000 bytes (10000000 entries) for ipv4 flow pool
2018-04-27 13:51:52.839 [3403] Fatal Application - Not enough memory for ipv4 flows pool. Tried to allocate 3840000000 bytes on socket 0
2018-04-27 13:51:52.839 [3403] Error Application - Exception: Not enough memory for flows pool

вопрос , чего ему ещё нужно , ветка мастер в то же время работает нормально ....

[max1976]

30 минут назад, dee сказал:

вопрос , чего ему ещё нужно , ветка мастер в то же время работает нормально ....

Нужна свободная память под huge pages. Пишет что не хватает памяти:

31 минуту назад, dee сказал:

2018-04-27 13:51:52.839 [3403] Fatal Application - Not enough memory for ipv4 flows pool. Tried to allocate 3840000000 bytes on socket 0

Фильтр хочет получить 3,8 гб памяти под flows.

 

[Andrei]

13 часов назад, werd сказал:

пропуски все появились по постановлению 894386, в реестре нечего нет. Сейчас позвоню куратору из РКН что скажут..

и?