1. Для блокировка используем

[dnvk]

2max1976, результат теста с winxp:

Всего доступно url: 423

 

Из них http:

http://4fun.mksat.net:8888/137417?filelist=1
http://padonki.org:8080/creo.do?creoId=14262 

http://www.bethardcasino.com/
http://noblecasino.com/
http://kupit-amfetamin-eyforetik-v-novosibirske.sloat.biz/
http://www.ispovednik-portal.com/veroispovedanie-rospc-vii 
http://simpsonsonly.booru.org/index.php?page=post&s=view&id=1368 

Первые две - в ie открываются. Остальные - утыкаются в заглушку.

 

Остальные - https

Часть из них:

https://slotclub.org/
https://www.olimp5.com/
https://www.grandrio.com
и т.д.

 

Ещё в пятницу по https результат был нулевой - "Ни одного выжившего" )

 

В крайних версиях nfqfilter к параметру block_undetected_ssl = true добавился параметр sslips = <path to file> со списком ip-адресов.

А возможно ли добавить параметр, возвращающий к старому алгоритму работы? То есть блокировать все ssl, если там нет доменного имени.

[max1976]

2max1976, результат теста с winxp:

Всего доступно url: 423

 

Из них http:

http://4fun.mksat.net:8888/137417?filelist=1
http://padonki.org:8080/creo.do?creoId=14262 

http://www.bethardcasino.com/
http://noblecasino.com/
http://kupit-amfetamin-eyforetik-v-novosibirske.sloat.biz/
http://www.ispovednik-portal.com/veroispovedanie-rospc-vii 
http://simpsonsonly.booru.org/index.php?page=post&s=view&id=1368 

Первые две - в ie открываются. Остальные - утыкаются в заглушку.

 

Остальные - https

Часть из них:

https://slotclub.org/
https://www.olimp5.com/
https://www.grandrio.com
и т.д.

 

Ещё в пятницу по https результат был нулевой - "Ни одного выжившего" )

 

В крайних версиях nfqfilter к параметру block_undetected_ssl = true добавился параметр sslips = <path to file> со списком ip-адресов.

А возможно ли добавить параметр, возвращающий к старому алгоритму работы? То есть блокировать все ssl, если там нет доменного имени.

 

Снимите дамп одного из сайтов https, проходящих через nfqfilter, без имени хоста в ssl hello пакете.

[dnvk]

2max1976, скинул в личку.

[wtyd]

Интересно, а можно ли заворачивать трафик в nfqueue каким-нибудь специфичным u32 матчем (1-3 правила), а не весь исходящий tcp трафик от клиентов ? Чтобы снизить нагрузку на ЦПУ.

 

Просто вчера наткнулся на google:generate-netfilter-u32-dns-rule.py, попробовал на своих DNS -- работает. Подумал, а почему бы для nfqfilter так же не сделать ? Только не знаю как :-).

[fox_m]

Коллеги, есть вот такой URL

http://vkmp3.su/mp3/Обращение%20Халифа%20правоверных./

 

SquidGuard на него реагирует,

 

[root@rzs squid]# echo "vkmp3.su/mp3/Обращение%20Халифа%20правоверных./ 127.0.0.1/ - - GET" | squidGuard -c /usr/local/squidGuard/squidGuard.conf -d

2016-03-15 10:03:45 [21209] New setting: dbhome: /usr/local/squidGuard/db

2016-03-15 10:03:45 [21209] New setting: logdir: /usr/local/squidGuard/log

2016-03-15 10:03:45 [21209] init urllist /usr/local/squidGuard/db/dest/zapret

2016-03-15 10:03:45 [21209] loading dbfile /usr/local/squidGuard/db/dest/zapret.db

2016-03-15 10:03:45 [21209] squidGuard 1.4 started (1458025425.003)

2016-03-15 10:03:45 [21209] squidGuard ready for requests (1458025425.004)

2016-03-15 10:03:45 [21209] source not found

2016-03-15 10:03:45 [21209] no ACL matching source, using default

OK rewrite-url="http://localhost/msg.html"

2016-03-15 10:03:45 [21209] squidGuard stopped (1458025425.004)

 

но squid почему-то редиректить не хочет. Ругается на точку в конце

 

2016-03-14 19:46:34 [16349] Warning: Possible bypass attempt. Found a trailing dot in the domain name: http://vkmp3.su/mp3/Обращение%20Халифа%20правоверных./

 

Что делать?

 

Короче это баг squidguard

 

Fixed the bypass vulnerability with trailing dots in domain names. This only affects squidGuard when used with squid version 3. (bug 38)

[zhenya`]

Интересно, а можно ли заворачивать трафик в nfqueue каким-нибудь специфичным u32 матчем (1-3 правила), а не весь исходящий tcp трафик от клиентов ? Чтобы снизить нагрузку на ЦПУ.

 

Просто вчера наткнулся на google:generate-netfilter-u32-dns-rule.py, попробовал на своих DNS -- работает. Подумал, а почему бы для nfqfilter так же не сделать ? Только не знаю как :-).

По бгп заворачиваю, трафика не более 15 Мбит. Суммарно полоса 20+ гбпс.

[LKr]

2max1976:

Спасибо, замечательная штуковина, для тех кто сумел пройти квест по установке всех зависимостей и правильно настроить сеть, начав с centos7-minimal.iso :)

 

Мои впечатления:

У кого тормозит - ставьте нормальную сетевуху с очередями и запускайте --queue-balance и много копий nfqfilter.

Добавить бы в параметры запуска номер очереди (nfqfilter --queue=1) с игнором оного в конфиге - было бы клево, тогда будет один конфиг вместо восьми на 8 очередей

 

В конфиге мелкая неточность - время вывода статистики в секундах, не в минутах.

 

С зеркалированным трафиком работает прекрасно по мануалу от carbon reductor через бриджи, но в свежей версии документации они убрали строчку, которая жизненно необходима (теперь ее их конфигурялка сама прописывает). Без этой команды трафик бриджа не попадет в iptables: /usr/sbin/ebtables -t broute -A BROUTING -p ipv4 -j redirect --redirect-target DROP

 

А можно сделать в конфиге nfqfilter параметру url_additional_info значение 'both'? Т.е. при редиректе передавать ?line=123&url=blocked.url/xxx

[wtyd]

Интересно, а можно ли заворачивать трафик в nfqueue каким-нибудь специфичным u32 матчем (1-3 правила), а не весь исходящий tcp трафик от клиентов ? Чтобы снизить нагрузку на ЦПУ.

 

Просто вчера наткнулся на google:generate-netfilter-u32-dns-rule.py, попробовал на своих DNS -- работает. Подумал, а почему бы для nfqfilter так же не сделать ? Только не знаю как :-).

По бгп заворачиваю, трафика не более 15 Мбит. Суммарно полоса 20+ гбпс.

 

Там же с ip-адресами в реестре неоднозначности: не для всех "ресурсов" указаны ip, у https азартных игровых сайтов очень часто меняется dns-записи (разбираться по каждому такому url с ркн можно, но лучше не допускать). В предлагаемом способе фильтрации вроде как проверяется имя домена при ssl-handshake вроде бы.

 

Ещё минусом использования bgp является невозможность этого делать в случае мелких сеток (без fv, с ядром на cisco 3750 и т.д.), т.е. когда железо не позволяет 20K+ маршрутов добавить.

 

Для ваших объёмов наверное схема с bgp лучше подходит. Для мелких полос трафика наверное можно весь трафик от клиентов pbr'ом завернуть в РС с nfqfilter и там либо сразу роутить, либо сперва в nfqueue запустить. Фильтр для заворота в nfqueue наверное можно на u32 какой-то придумать, чтобы матчить http-запросы.

[fox_m]

2max1976:

Спасибо, замечательная штуковина, для тех кто сумел пройти квест по установке всех зависимостей и правильно настроить сеть, начав с centos7-minimal.iso :)

 

Мои впечатления:

У кого тормозит - ставьте нормальную сетевуху с очередями и запускайте --queue-balance и много копий nfqfilter.

Добавить бы в параметры запуска номер очереди (nfqfilter --queue=1) с игнором оного в конфиге - было бы клево, тогда будет один конфиг вместо восьми на 8 очередей

 

В конфиге мелкая неточность - время вывода статистики в секундах, не в минутах.

 

С зеркалированным трафиком работает прекрасно по мануалу от carbon reductor через бриджи, но в свежей версии документации они убрали строчку, которая жизненно необходима (теперь ее их конфигурялка сама прописывает). Без этой команды трафик бриджа не попадет в iptables: /usr/sbin/ebtables -t broute -A BROUTING -p ipv4 -j redirect --redirect-target DROP

 

А можно сделать в конфиге nfqfilter параметру url_additional_info значение 'both'? Т.е. при редиректе передавать ?line=123&url=blocked.url/xxx

 

В Centos7 что ли поменяли название сетевых интерфейсов, с привычных ethX???

[dnvk]

fox_m, в данном случае использовались бриджи.

[flow-control]

Есть проблема с url 'http://vozmimp3.com/?string=клич+нордической+крови' и кучей похожих (с кириллицей).

nfqfilter прекрасно их блокирует,а программа роскомнадзора говорит что url доступен.

В wireshark видно что программа отсылает "GET /?string=\352\353\350\367+\355\356\360\344\350\367\345\361\352\356\351+\352\360\356\342\350 HTTP/1.1" и получает от сайта 404.

Что делать с такими url?

Изменено 16 марта, 2016 пользователем flow-control

[wtyd]

Есть проблема с url 'http://vozmimp3.com/?string=клич+нордической+крови' и кучей похожих (с кириллицей).

nfqfilter прекрасно их блокирует,а программа роскомнадзора говорит что url доступен.

В wireshark видно что программа отсылает "GET /?string=\352\353\350\367+\355\356\360\344\350\367\345\361\352\356\351+\352\360\356\342\350 HTTP/1.1" и получает от сайта 404.

Что делать с такими url?

 

Именно от сайта получает 404 ? AFAIK программа ркн ругается в любом случае, если при проверке она не получает стандартную "заглушку" системы фильтрации контента.

 

Поговорить с инспектором, показать результаты. Эта программа не идеальна, она сама содержит ошибки. У нас программа выдаёт разные результаты, если её несколько раз запустить с одним и тем же списком -- наводит на размышления :-). Либо у нас фильтрация так работает, либо программа так работает.

[snowby]

Прошу прощения, но grep по ветке не помог найти ответ на вопрос: возможно ли подружить nfqfilter с Centos 6?

[flow-control]

Есть проблема с url 'http://vozmimp3.com/?string=клич+нордической+крови' и кучей похожих (с кириллицей).

nfqfilter прекрасно их блокирует,а программа роскомнадзора говорит что url доступен.

В wireshark видно что программа отсылает "GET /?string=\352\353\350\367+\355\356\360\344\350\367\345\361\352\356\351+\352\360\356\342\350 HTTP/1.1" и получает от сайта 404.

Что делать с такими url?

 

Именно от сайта получает 404 ? AFAIK программа ркн ругается в любом случае, если при проверке она не получает стандартную "заглушку" системы фильтрации контента.

 

Поговорить с инспектором, показать результаты. Эта программа не идеальна, она сама содержит ошибки. У нас программа выдаёт разные результаты, если её несколько раз запустить с одним и тем же списком -- наводит на размышления :-). Либо у нас фильтрация так работает, либо программа так работает.

Да именно от сайта.. а причина в том что софт посылает url в cp1251

[dnvk]

2max1976, забрал вчера обновление zapret.pl. предпоследние, видимо, до выхода обновления "работа с собственными блэклистами".

 

Cегодняшние тесты win7: тишина и покой. пролазят лишь три ссылки, в которых указаны номера портов.

 

winxp: сколько раз запускал - каждый раз результаты разные.

Основная масса https-записей начала блокироваться. файл ssl_ips разросся до 4400+ строк.

 

Что проскакивало.

Ссылки в которых указаны номера портов приводить не буду. Исправно были в каждом тесте.

 

https-ссылки:

https://www.hizb-turkiye.org/

https://hizb-turkiye.org/'>https://hizb-turkiye.org/

https://hizb-turkiye.org

 

резолвятся в ip 104.25.158.31 и 104.25.159.31

Проскочили, потому что эти ip до сих пор не внесены в файл ssl_ips. Но вот почему они туда до сих пор не попали?

В zapret.conf, секция [NS] у меня указано resolvers = 8.8.8.8, 77.88.8.1, 8.8.4.4, 77.88.8.8

 

В разных тестах разово выскакивали следующие записи:

https://casinojefe.com/en/

https://zanzibe4e4p4jdh2.onion.cab/

https://www.casinomoons.com/

https://bets.bkfonbet.com/

https://www.fun-casino.com/ru

 

Потом ip этих ресурсов попадали в список ssl_ips и начинали блокироваться фильтром.

Но hizb-turkiye до сих пор туда не попал почему-то.

 

Проскочившие http-записи:

http://www.zoo4u.ru/gryzuny/kroliki_kuplyu_prodam/25864.html  TYPE
http://www.pixiv.net/member_illust.php?mode=medium&illust_id=53695477  TYPE
http://ruinsex.com/video/Blowjob-14138.htm  TYPE
http://kupit-skorost-mdpv-v-cheboksarah.o-q.biz/  TYPE
http://vduvateli.ru  TYPE
http://www.ruslit.net/index.php?path=42D43743E44243544043843A430/42143843D44F43243843D 41843343E44044C/  TYPE
http://classifieds.russianamerica.com/rus/boston/business_services/265602/  TYPE
http://www.pixiv.net/member_illust.php?mode=medium&illust_id=45053951  TYPE
http://casino-e.net/casino-na-dengi.html  TYPE


http://www.online-avtomati.com  TYPE
http://www.instantactionsports.com/  TYPE
http://toplisted.ws/  TYPE
http://fasttubi.com/watch/8cvpynRWK3M/-.html  TYPE

http://uzbekistan4u.info/promyshlennost/prochee/13439.html  TYPE
http://mrvine.net/Thread-The-Best-Youngest-Jailbait-Girls-YouNow-Omegle-Vine-Vichatter?page=55  TYPE
http://www.dragonaraonline.com/Games/  TYPE
http://vulcanwin4.net/  TYPE
http://hentai-otaku.com/2015/09/150724sol-fa-soft-?????????????????3/  TYPE
http://tracker.name/index.php?page=torrent-details&id=93a4485437f7e4b5efdbe189fc0b5e317927efb1  TYPE
http://djeain.tumblr.com/post/76341786325/������-������������-�������������-������������  TYPE
http://kupit-amfetamin-eyforetik-v-dmitrove.ssaib.biz/  TYPE
http://erogazoufactory.com/images/1408/011/1905238.jpg  TYPE
http://shopk9.net/kupit-skorost-sol-spajs-vdmitrove/  TYPE
http://vse-pro-vseh.info  TYPE

http://classifieds.russianamerica.com/rus/dallas/services/266424/  TYPE
http://hdpicture.ru/759686-klim-1-sezon-1-8-serii-iz-8-2015-web-dl-720p.html  TYPE
http://www.fav-bet.com/ru/bets/  TYPE
http://gavgavee.com/  TYPE
http://kupit-spaysperm.gaba.biz/  TYPE
http://ads.prodom.ru/sell/materials/mixture/65110.html  TYPE
http://vozmitxt.com/?lyrics=NTcwMTI3M3wxNC84OCAtINGC0YDRg9GBINC90LUg0LXQsdCw0YjQuNGCINGF0LDRh9C10Lk  TYPE
http://gulag.ipvnews.org/new/article20080812.php  TYPE


http://gmsdeluxebet.com  TYPE
http://verygoodhash.ru/magazin-mefedron/  TYPE
http://www.777volcano.com  TYPE
http://xsalvia-divinorum.ru/  TYPE
http://kupit-ekstazi-mdma-pilsymytischi.dcge.biz/  TYPE
http://casino-online-vulkan.com/  TYPE

 

Сгруппированы по проводимым тестам. Повторений-то нет.

Разница между тестами 40-60 минут. (один тест выполняется чуть меньше 40 минут)

Возможно как-то связано с проводимымыи обновлениями данных.

Сейчас попробую остановить обновления и прогнать ещё парочку тестов.

[max1976]

Есть проблема с url 'http://vozmimp3.com/?string=клич+нордической+крови' и кучей похожих (с кириллицей).

nfqfilter прекрасно их блокирует,а программа роскомнадзора говорит что url доступен.

В wireshark видно что программа отсылает "GET /?string=\352\353\350\367+\355\356\360\344\350\367\345\361\352\356\351+\352\360\356\342\350 HTTP/1.1" и получает от сайта 404.

Что делать с такими url?

 

Именно от сайта получает 404 ? AFAIK программа ркн ругается в любом случае, если при проверке она не получает стандартную "заглушку" системы фильтрации контента.

 

Поговорить с инспектором, показать результаты. Эта программа не идеальна, она сама содержит ошибки. У нас программа выдаёт разные результаты, если её несколько раз запустить с одним и тем же списком -- наводит на размышления :-). Либо у нас фильтрация так работает, либо программа так работает.

Да именно от сайта.. а причина в том что софт посылает url в cp1251

 

Этот момент обрабатывается конфигуратором. В файле urls есть данный url в разных кодировках, в том числе и cp1251.

[dnvk]

Да, забыл добавить, что программа fullreport.exe, по проскочившим http-записям, отображала заглушку.

[dnvk]

+3 теста с winxp на одном и том же наборе данных:

 

http://4fun.mksat.net:8888/137417?filelist=1  TYPE
http://vegascasinoonline.eu/  TYPE
http://www.my-steroid.net  TYPE
http://37.139.28.143:8001/  TYPE
http://xn--e1awew.xn--p1ai/  TYPE
http://www.boyspics4u.com/  TYPE
http://discreetshop.info/  TYPE
http://ru-diplomy.com/attestat-9-klasov  TYPE
http://freekino.org/119100-skachat-beglets.html?dllist=1  TYPE
http://kupit-spays-v-permi.fiton.biz/  TYPE
http://padonki.org:8080/creo.do?creoId=14262  TYPE
https://hizb-turkiye.org/  TYPE
https://www.hizb-turkiye.org/  TYPE
https://hizb-turkiye.org  TYPE
http://simpsonsonly.booru.org/index.php?page=post&s=view&id=1204  TYPE

 

http://4fun.mksat.net:8888/137417?filelist=1  TYPE
http://37.139.28.143:8001/  TYPE
http://zakladsp-ice.com/  TYPE
http://shoner18.tumblr.com/post/124254997260  TYPE
https://www.crowin24.com/  TYPE
http://domknig.com/readbook/1208/  TYPE
http://liverusx.net  TYPE
http://rucrime.us/  TYPE
http://bet33.com/  TYPE
http://www.blackmarketrc.biz/������-�����-�����-����������  TYPE
http://padonki.org:8080/creo.do?creoId=14262  TYPE
https://hizb-turkiye.org/  TYPE
https://www.hizb-turkiye.org/  TYPE
https://hizb-turkiye.org  TYPE

 

http://4fun.mksat.net:8888/137417?filelist=1  TYPE
http://uzbekistan4u.info/promyshlennost/prochee/13690.html  TYPE
http://37.139.28.143:8001/  TYPE
https://www.somethingawful.com/comedy-goldmine/positive-school-posters/6/  TYPE
http://www.northernlightscasino.co.uk/  TYPE
http://katringrada.biz/  TYPE
http://xgn.liga365.com/Default1.aspx?lang=#  TYPE
https://www.betvoyager.com/  TYPE
http://www.blackmarketrc.biz/������-�����-�����-����������  TYPE
http://zoo4u.ru/koshki/koshki_kot_v_dar/25924.html  TYPE
http://coolplay.tk/watch/hVlxAhlld-E  TYPE
http://gde-vzyat-zakazat-nayti-kupit-skorost-mdpv-izhevsk.dcge.biz/  TYPE
http://kupit-spays-v-syktyvkare.ssaib.biz/  TYPE
http://bestvulkan.net/  TYPE
http://www.lamro.angelcities.com/library/mojahed1.htm  TYPE
http://padonki.org:8080/creo.do?creoId=14262  TYPE
https://hizb-turkiye.org/  TYPE
https://www.hizb-turkiye.org/  TYPE
https://hizb-turkiye.org  TYPE
http://classifieds.russianla.com/rus/boston/business_services/265558/  TYPE
http://blog-imgs-70-origin.fc2.com/n/e/s/nesingazou/29159409_big_p3.jpg  TYPE

 

выскочило несколько новых https - информация о них уже находится в ssl_ips

http-записи при открытии в ie, либо через программу fullreport.exe - утыкаются в заглушку.

http-записи, в которых указан номер порта - остаются доступны.

[max1976]

https-ссылки:

https://www.hizb-turkiye.org/

https://hizb-turkiye.org/'>https://hizb-turkiye.org/

https://hizb-turkiye.org

 

резолвятся в ip 104.25.158.31 и 104.25.159.31

Проскочили, потому что эти ip до сих пор не внесены в файл ssl_ips. Но вот почему они туда до сих пор не попали?

В zapret.conf, секция [NS] у меня указано resolvers = 8.8.8.8, 77.88.8.1, 8.8.4.4, 77.88.8.8

 

Обновите конфигуратор, нашлась ошибочка.

[fox_m]

Есть проблема с url 'http://vozmimp3.com/?string=клич+нордической+крови' и кучей похожих (с кириллицей).

nfqfilter прекрасно их блокирует,а программа роскомнадзора говорит что url доступен.

В wireshark видно что программа отсылает "GET /?string=\352\353\350\367+\355\356\360\344\350\367\345\361\352\356\351+\352\360\356\342\350 HTTP/1.1" и получает от сайта 404.

Что делать с такими url?

 

Может не совсем по теме, но у меня squidGuard блочит данный url

[zhenya`]

На тест пк тебе днсы, что и в скрипте? Лучше использовать абонентские для резолва, так некоторые CDN более правильные адреса дают. Например акамаи.

[kid79]

прошу не кидать тапками, не получается собрать на 7 центосе

выдает вот такую ошибку

make

Making all in src

make[1]: Entering directory `/root/nfqfilter/src'

g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp

In file included from ../include/main.h:36,

from main.cpp:21:

../include/sender.h:44: error: ISO C++ forbids initialization of member ‘code’

../include/sender.h:44: error: making ‘code’ static

../include/sender.h:44: error: invalid in-class initialization of static data me mber of non-integral type ‘std::string’

main.cpp: In member function ‘virtual void nfqFilter::initialize(Poco::Util::App lication&)’:

main.cpp:98: error: ‘struct CSender::params’ has no member named ‘code’

make[1]: *** [main.o] Error 1

make[1]: Leaving directory `/root/nfqfilter/src'

make: *** [all-recursive] Error 1

 

вроде все установил согласно инструкции Poco-1.7.1

[max1976]

прошу не кидать тапками, не получается собрать на 7 центосе

выдает вот такую ошибку

make

Making all in src

make[1]: Entering directory `/root/nfqfilter/src'

g++ -DHAVE_CONFIG_H -I. -I../include -I../nDPI/src/include -std=c++0x -O2 -MT main.o -MD -MP -MF .deps/main.Tpo -c -o main.o main.cpp

In file included from ../include/main.h:36,

from main.cpp:21:

../include/sender.h:44: error: ISO C++ forbids initialization of member ‘code’

../include/sender.h:44: error: making ‘code’ static

../include/sender.h:44: error: invalid in-class initialization of static data me mber of non-integral type ‘std::string’

main.cpp: In member function ‘virtual void nfqFilter::initialize(Poco::Util::App lication&)’:

main.cpp:98: error: ‘struct CSender::params’ has no member named ‘code’

make[1]: *** [main.o] Error 1

make[1]: Leaving directory `/root/nfqfilter/src'

make: *** [all-recursive] Error 1

 

вроде все установил согласно инструкции Poco-1.7.1

 

Какая версия g++ ?

[kid79]

Installed Packages

Name : gcc-c++

Arch : x86_64

Version : 4.4.7

Release : 16.el6

[max1976]

Installed Packages

Name : gcc-c++

Arch : x86_64

Version : 4.4.7

Release : 16.el6

 

Так у вас centos 6, поэтому и не собирается.