[Tem]

При прогоне реестра заметил странную запись

 

http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038#

 

и как такое блочить ?

[alexeypp]

Вместо собственных изобретений со скриптами, списками и прокси кто-нибудь использует какие-либо решения "из коробки"?

Если такое есть, поделитесь, пожалуйста, информацией о таких решениях в личку.

Мы блочим по DNS. Пришло время блочить и отдельные URL...

[karpa13a]

и как такое блочить ?

по ипе

[Tem]

Сейчас тестирую carbon reductor, вот результат последней проверки

Всего доступно URL: 16 (0,18%). Реестровых записей: 16 (0,19%)

детская порнография 5 (31,25%). Реестровых записей: 5 (31,25%)

наркотические средства 8 (50,00%). Реестровых записей: 8 (50,00%)

прочее 2 (12,50%). Реестровых записей: 2 (12,50%)

экстремизм 1 (6,25%). Реестровых записей: 1 (6,25%)

Хотя это глюк проги и в реале доступно только 8 сайтов, 6 из ктр https и сменили ip, а один http в ручном режиме блочится без проблем, а в прогоне прогой почему-то проходит, ну и 1 с нестандартным портом.

 

До этого использовал заворот ip из реестра и тех, ктр получаю в результате резолва доменов из реестра на squid, при таком решение доступных url'ов был порядка 3-10%, особо проблемы возникали с зеркалами Graniru и blog-imgs-64.fc2.com.

 

и как такое блочить ?

по ипе

 

Только ушел от блокировки по ip, ну кроме https, а тут эту гадость еще нужно будет отдельно выбирать.

[alibek]

по ипе

Протокол ведь указан.

По URL и блокировать.

[onlime_user]

Мы блочим по DNS. Пришло время блочить и отдельные URL...

 

Зачем?

Я как пользователь предпочел бы бан по днс, при условии незабаненных внешних днс.

[alexeypp]

Зачем?

Я как пользователь предпочел бы бан по днс, при условии незабаненных внешних днс.

Потому что при блоке по DNS ВК и Ютуб можно закрыть только целиком.

А из них требуется закрыть лишь некоторые страницы.

Кроме того, проверяющие не смотрят чей ДНС прописан на точке проверки и потом приходится доказывать что "не верблюд".

Максимально приблизиться к решению проблемы можно лишь заворотом на прокси тафика на IP из реестра, его разбором и баном по URL.

Изменено 25 марта, 2015 пользователем alexeypp

[snvoronkov]

Вместо собственных изобретений со скриптами, списками и прокси кто-нибудь использует какие-либо решения "из коробки"?

Если такое есть, поделитесь, пожалуйста, информацией о таких решениях в личку.

Мы блочим по DNS. Пришло время блочить и отдельные URL...

"СКАТ" DPI. Скоро полгода. Полет нормальный.

[Tem]

 

"СКАТ" DPI. Скоро полгода. Полет нормальный.

 

А вот такое блочит ?

http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038#

[snvoronkov]

 

"СКАТ" DPI. Скоро полгода. Полет нормальный.

 

А вот такое блочит ?

http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038#

Сутра проверил. Блочит.

 

Брали не Энтри. Получили добавочно анализатор трафика по протоколам (пользуемся активно) и возможность приоритизировать (не пользуемся пока).

Изменено 26 марта, 2015 пользователем snvoronkov

[YuryD]

 

"СКАТ" DPI. Скоро полгода. Полет нормальный.

 

А вот такое блочит ?

http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038#

 

Это даже скат энтри блочит.

[snvoronkov]

Это даже скат энтри блочит.

 

http://vasexperts.ru/vas/index.php/site/products

 

Базовый функционал там один. Отличие - в наборе дополнительных плюшек и цене.

 

Base плюсом собирает статистику, размечает и/или приоритизирует на канале.

Complete - еще и поабонентно работает, поддержка кэширования, DoS/DDoS Guard.

 

Где-то так. Если интересно подробнее, то можно спросить DimaM.

[YuryD]

Base плюсом собирает статистику, размечает и/или приоритизирует на канале.

Complete - еще и поабонентно работает, поддержка кэширования, DoS/DDoS Guard.

 

Где-то так. Если интересно подробнее, то можно спросить DimaM.

 

Мы его купили и используем, пока только энтри. Кризис однако, на другое денег не хватает.

[MYA]

и как такое блочить ?

по домену блокирую

Сейчас тестирую carbon reductor, вот результат последней проверки

у меня 17 было в момент проверки РКН. при этом 14 из них https и ip, которого нет в реестре.

Я как пользователь предпочел бы бан по днс, при условии незабаненных внешних днс.

Да и не как пользователь, по урл конечно блокировать прикольно, да, но смысла от этого совсем мало с моральной точки зрения. Хотя в методе работы РКН и их реестра вообще мало смысла. IPv6 нет в списке, РКН призывает блочить по URL, при этом давая ссылки и ип, на некоторые ресурсы можно зайти подставив заместо домена указаный в реестре ip. Прокси, ВПН, анонимные сети их не колышат нисколько. Если блокировать исключительно по URL (как они есть), то выходит,что не надо блокировать те же url с www или без в домене. В общем цирк и бесмысленная деятельность, на которую уходят наши с вами налоги.

Изменено 26 марта, 2015 пользователем MYA

[Ansy]

На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра...

 

И напоминает это все уже борьбу с обычным электропочтовым спамом. С переменным успехом, конечно -- прогрессирует и "броня", и "снаряд".

[Sergey Gilfanov]

На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра...

URL-ы - исходящий от клиентов трафик. И его довольно мало.

Сниффить запрещенные слова - это сканировать все, что к клиенту идет. Сильно больше. Мощностей-то хватит?

[Ansy]

На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра...

URL-ы - исходящий от клиентов трафик. И его довольно мало.

Сниффить запрещенные слова - это сканировать все, что к клиенту идет. Сильно больше. Мощностей-то хватит?

Все зависит о баланса мощностей и штрафных санкций... если список URL/доменов/IP в реестре станет настолько крив и неактуален, насколько принципиально прокуроры/РКН будут жучить НЕ СТРОГО по реестру, а по фактической открываемости чего-то там... тогда задумаешься перестраховаться нафинг ;)

 

Собственно, уже звоночек... резолвы самостоятельные из этой же оперы, когда реестровый IP не катит.

[asphix]

Пытаюсь заблокировать в SCE ресурс

http://burn.cd/%D1%82%D0%BE%D1%80%D1%80%D0%B5%D0%BD%D1%82/271294/%D0%91%D0%B0%D1%82%D0%B0%D0%BB%D1%8C%D0%BE%D0%BD%D1%8A-2015-TS/

по маске

burn.cd/*/271294/*

однако железяка пропускает урл... Подскажите, как выкрутиться?

Изменено 26 марта, 2015 пользователем asphix

[disappointed]

На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра...

И напоминает это все уже борьбу с обычным электропочтовым спамом. С переменным успехом, конечно -- прогрессирует и "броня", и "снаряд".

Дак ладно почта, в вебе могут вообще хитро замутить с js тем же, так, что хрен распознаешь контент пока

всё как браузер не выполнишь. Так что, нереально.

 

Как только будут попытки применять полнотестовый поиск для блокировки, сразу найдётся ряд простых решений сделать эту схему нерабочей.

[Antares]

Пытаюсь заблокировать в SCE ресурс

http://burn.cd/%D1%82%D0%BE%D1%80%D1%80%D0%B5%D0%BD%D1%82/271294/%D0%91%D0%B0%D1%82%D0%B0%D0%BB%D1%8C%D0%BE%D0%BD%D1%8A-2015-TS/

по маске

burn.cd/*/271294/*

однако железяка пропускает урл... Подскажите, как выкрутиться?

А зачем? У меня sce и так блочит

[asphix]

А зачем? У меня sce и так блочит

 

блочит по полному урл?

burn.cd/%D1%82%D0%BE%D1%80%D1%80%D0%B5%D0%BD%D1%82/271294/%D0%91%D0%B0%D1%82%D0%B0%D0%BB%D1%8C%D0%BE%D0%BD%D1%8A-2015-TS/*

Изменено 27 марта, 2015 пользователем asphix

[Huko]

Если в одном блоке content идет несколько url то обычно они заканчиваются всем доменом целиком. Например:

    <url>http://www.lostfilm.tv/details.php?id=2651</url>
   <url>http://www.lostfilm.tv/details.php?id=2295</url>
   <url>http://www.lostfilm.tv/browse.php?cat=171</url>
   <url>http://www.lostfilm.tv/details.php?id=4071</url>
   <url>http://www.lostfilm.tv/details.php?id=2053</url>
   <url>http://www.lostfilm.tv</url>
   <domain>lostfilm.tv</domain>

 

в таком случае у нас блокируется весь домен и его IP адреса, и смысл описания и блокировки конретных url исчезает.

Кто как поступает в данном случае ?

[asphix]

в дополнение к предыдущему посту: а как быть, если нет ни одной секции <url>, а есть только секция <domain> - блочить весь домен?

[sanyasi]

А кто делал проверялку качества блокирования?

Консольную, вместо известного комбайна?

 

Поделитесь работающей, или давайте поковыряем такое:

 

cat start

#!/bin/bash

> noblock
L=0
cat lst.url | grep -v '^$' | while read line; do
   let L=$L+1
   echo $L
   ./poller "$line" &
   sleep 0.01
done

 

cat poller

#!/bin/bash

HEADER="j9sn7gbsv1" # строка в заголовке сраницы блокировки
MD=`curl --connect-timeout 1 -skL "$1"`
ERR=$?
if [[ "$ERR" == "0" ]]; then
   X=$(echo $MD | grep $HEADER | wc -l)
   if [[ "$X" !=  "1" ]]; then
        D=`echo $1 | cut -d'/' -f3`
        [[ $(dig $D A +short) ]] && echo $1 >> noblock 
   fi
#else
   #echo [$ERR] $1 >> noblock
fi

 

Выдается несколько ложных срабатываний в noblock, например почему-то curl выдает код возврата 0 при 404.

 

P.S.

Поправил проверку днс - ругается в лог только если резольвится.

Изменено 27 марта, 2015 пользователем sanyasi

[Pritorius]

Если в одном блоке content идет несколько url то обычно они заканчиваются всем доменом целиком. Например:

    <url>http://www.lostfilm.tv/details.php?id=2651</url>
   <url>http://www.lostfilm.tv/details.php?id=2295</url>
   <url>http://www.lostfilm.tv/browse.php?cat=171</url>
   <url>http://www.lostfilm.tv/details.php?id=4071</url>
   <url>http://www.lostfilm.tv/details.php?id=2053</url>
   <url>http://www.lostfilm.tv</url>
   <domain>lostfilm.tv</domain>

 

в таком случае у нас блокируется весь домен и его IP адреса, и смысл описания и блокировки конретных url исчезает.

Кто как поступает в данном случае ?

 

Сам сегодня обалдел :) Решил прошерстить получаемые URL вот что получилось:

 

29.03.2015 20:18:07 | Данные XML преобразованы в массив. Количество элементов: 7750.
29.03.2015 20:18:07 | Произведена выборка уникальных элементов в массиве. Количество элементов после выборки: 7660.
29.03.2015 20:18:24 | Произведено удаление подстраниц для которых уже есть заблокированный домен. Количество элементов после выборки: 5538.

 

Глазами пробежал по выгрузке, у господ из ФСКН провайдер не блокирует реестр :))) 24 числа они блокируют домен, а 28 другой сотрудник блокирует страницу из этого домена ))))))

 

в дополнение к предыдущему посту: а как быть, если нет ни одной секции <url>, а есть только секция <domain> - блочить весь домен?

 

Это где так? Дайте название домена, а то я их вообще не обрабатываю только URL :)

Изменено 29 марта, 2015 пользователем Pritorius