Tem Опубликовано 25 марта, 2015 · Жалоба При прогоне реестра заметил странную запись http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038# и как такое блочить ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexeypp Опубликовано 25 марта, 2015 · Жалоба Вместо собственных изобретений со скриптами, списками и прокси кто-нибудь использует какие-либо решения "из коробки"? Если такое есть, поделитесь, пожалуйста, информацией о таких решениях в личку. Мы блочим по DNS. Пришло время блочить и отдельные URL... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
karpa13a Опубликовано 25 марта, 2015 · Жалоба и как такое блочить ? по ипе Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 25 марта, 2015 · Жалоба Сейчас тестирую carbon reductor, вот результат последней проверки Всего доступно URL: 16 (0,18%). Реестровых записей: 16 (0,19%) детская порнография 5 (31,25%). Реестровых записей: 5 (31,25%) наркотические средства 8 (50,00%). Реестровых записей: 8 (50,00%) прочее 2 (12,50%). Реестровых записей: 2 (12,50%) экстремизм 1 (6,25%). Реестровых записей: 1 (6,25%) Хотя это глюк проги и в реале доступно только 8 сайтов, 6 из ктр https и сменили ip, а один http в ручном режиме блочится без проблем, а в прогоне прогой почему-то проходит, ну и 1 с нестандартным портом. До этого использовал заворот ip из реестра и тех, ктр получаю в результате резолва доменов из реестра на squid, при таком решение доступных url'ов был порядка 3-10%, особо проблемы возникали с зеркалами Graniru и blog-imgs-64.fc2.com. и как такое блочить ? по ипе Только ушел от блокировки по ip, ну кроме https, а тут эту гадость еще нужно будет отдельно выбирать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 25 марта, 2015 · Жалоба по ипе Протокол ведь указан. По URL и блокировать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
onlime_user Опубликовано 25 марта, 2015 · Жалоба Мы блочим по DNS. Пришло время блочить и отдельные URL... Зачем? Я как пользователь предпочел бы бан по днс, при условии незабаненных внешних днс. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexeypp Опубликовано 25 марта, 2015 (изменено) · Жалоба Зачем? Я как пользователь предпочел бы бан по днс, при условии незабаненных внешних днс. Потому что при блоке по DNS ВК и Ютуб можно закрыть только целиком. А из них требуется закрыть лишь некоторые страницы. Кроме того, проверяющие не смотрят чей ДНС прописан на точке проверки и потом приходится доказывать что "не верблюд". Максимально приблизиться к решению проблемы можно лишь заворотом на прокси тафика на IP из реестра, его разбором и баном по URL. Изменено 25 марта, 2015 пользователем alexeypp Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 26 марта, 2015 · Жалоба Вместо собственных изобретений со скриптами, списками и прокси кто-нибудь использует какие-либо решения "из коробки"? Если такое есть, поделитесь, пожалуйста, информацией о таких решениях в личку. Мы блочим по DNS. Пришло время блочить и отдельные URL... "СКАТ" DPI. Скоро полгода. Полет нормальный. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 26 марта, 2015 · Жалоба "СКАТ" DPI. Скоро полгода. Полет нормальный. А вот такое блочит ? http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038# Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 26 марта, 2015 (изменено) · Жалоба "СКАТ" DPI. Скоро полгода. Полет нормальный. А вот такое блочит ? http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038# Сутра проверил. Блочит. Брали не Энтри. Получили добавочно анализатор трафика по протоколам (пользуемся активно) и возможность приоритизировать (не пользуемся пока). Изменено 26 марта, 2015 пользователем snvoronkov Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 26 марта, 2015 · Жалоба "СКАТ" DPI. Скоро полгода. Полет нормальный. А вот такое блочит ? http://wholeally.cn:24680/discuz/forum.php?mod=viewthread&tid=221038# Это даже скат энтри блочит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 26 марта, 2015 · Жалоба Это даже скат энтри блочит. http://vasexperts.ru/vas/index.php/site/products Базовый функционал там один. Отличие - в наборе дополнительных плюшек и цене. Base плюсом собирает статистику, размечает и/или приоритизирует на канале. Complete - еще и поабонентно работает, поддержка кэширования, DoS/DDoS Guard. Где-то так. Если интересно подробнее, то можно спросить DimaM. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 26 марта, 2015 · Жалоба Base плюсом собирает статистику, размечает и/или приоритизирует на канале. Complete - еще и поабонентно работает, поддержка кэширования, DoS/DDoS Guard. Где-то так. Если интересно подробнее, то можно спросить DimaM. Мы его купили и используем, пока только энтри. Кризис однако, на другое денег не хватает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 26 марта, 2015 (изменено) · Жалоба и как такое блочить ? по домену блокирую Сейчас тестирую carbon reductor, вот результат последней проверки у меня 17 было в момент проверки РКН. при этом 14 из них https и ip, которого нет в реестре. Я как пользователь предпочел бы бан по днс, при условии незабаненных внешних днс. Да и не как пользователь, по урл конечно блокировать прикольно, да, но смысла от этого совсем мало с моральной точки зрения. Хотя в методе работы РКН и их реестра вообще мало смысла. IPv6 нет в списке, РКН призывает блочить по URL, при этом давая ссылки и ип, на некоторые ресурсы можно зайти подставив заместо домена указаный в реестре ip. Прокси, ВПН, анонимные сети их не колышат нисколько. Если блокировать исключительно по URL (как они есть), то выходит,что не надо блокировать те же url с www или без в домене. В общем цирк и бесмысленная деятельность, на которую уходят наши с вами налоги. Изменено 26 марта, 2015 пользователем MYA Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 26 марта, 2015 · Жалоба На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра... И напоминает это все уже борьбу с обычным электропочтовым спамом. С переменным успехом, конечно -- прогрессирует и "броня", и "снаряд". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey Gilfanov Опубликовано 26 марта, 2015 · Жалоба На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра... URL-ы - исходящий от клиентов трафик. И его довольно мало. Сниффить запрещенные слова - это сканировать все, что к клиенту идет. Сильно больше. Мощностей-то хватит? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ansy Опубликовано 26 марта, 2015 · Жалоба На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра... URL-ы - исходящий от клиентов трафик. И его довольно мало. Сниффить запрещенные слова - это сканировать все, что к клиенту идет. Сильно больше. Мощностей-то хватит? Все зависит о баланса мощностей и штрафных санкций... если список URL/доменов/IP в реестре станет настолько крив и неактуален, насколько принципиально прокуроры/РКН будут жучить НЕ СТРОГО по реестру, а по фактической открываемости чего-то там... тогда задумаешься перестраховаться нафинг ;) Собственно, уже звоночек... резолвы самостоятельные из этой же оперы, когда реестровый IP не катит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
asphix Опубликовано 26 марта, 2015 (изменено) · Жалоба Пытаюсь заблокировать в SCE ресурс http://burn.cd/%D1%82%D0%BE%D1%80%D1%80%D0%B5%D0%BD%D1%82/271294/%D0%91%D0%B0%D1%82%D0%B0%D0%BB%D1%8C%D0%BE%D0%BD%D1%8A-2015-TS/ по маске burn.cd/*/271294/* однако железяка пропускает урл... Подскажите, как выкрутиться? Изменено 26 марта, 2015 пользователем asphix Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
disappointed Опубликовано 26 марта, 2015 · Жалоба На каком-то этапе проще и эффективнее будет снифать весь трафик на предмет наличия определенных запрещенных слов -- чем вылавливать список конкретных URL-ов из реестра... И напоминает это все уже борьбу с обычным электропочтовым спамом. С переменным успехом, конечно -- прогрессирует и "броня", и "снаряд". Дак ладно почта, в вебе могут вообще хитро замутить с js тем же, так, что хрен распознаешь контент пока всё как браузер не выполнишь. Так что, нереально. Как только будут попытки применять полнотестовый поиск для блокировки, сразу найдётся ряд простых решений сделать эту схему нерабочей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 26 марта, 2015 · Жалоба Пытаюсь заблокировать в SCE ресурс http://burn.cd/%D1%82%D0%BE%D1%80%D1%80%D0%B5%D0%BD%D1%82/271294/%D0%91%D0%B0%D1%82%D0%B0%D0%BB%D1%8C%D0%BE%D0%BD%D1%8A-2015-TS/ по маске burn.cd/*/271294/* однако железяка пропускает урл... Подскажите, как выкрутиться? А зачем? У меня sce и так блочит Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
asphix Опубликовано 27 марта, 2015 (изменено) · Жалоба А зачем? У меня sce и так блочит блочит по полному урл? burn.cd/%D1%82%D0%BE%D1%80%D1%80%D0%B5%D0%BD%D1%82/271294/%D0%91%D0%B0%D1%82%D0%B0%D0%BB%D1%8C%D0%BE%D0%BD%D1%8A-2015-TS/* Изменено 27 марта, 2015 пользователем asphix Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Huko Опубликовано 27 марта, 2015 · Жалоба Если в одном блоке content идет несколько url то обычно они заканчиваются всем доменом целиком. Например: <url>http://www.lostfilm.tv/details.php?id=2651</url> <url>http://www.lostfilm.tv/details.php?id=2295</url> <url>http://www.lostfilm.tv/browse.php?cat=171</url> <url>http://www.lostfilm.tv/details.php?id=4071</url> <url>http://www.lostfilm.tv/details.php?id=2053</url> <url>http://www.lostfilm.tv</url> <domain>lostfilm.tv</domain> в таком случае у нас блокируется весь домен и его IP адреса, и смысл описания и блокировки конретных url исчезает. Кто как поступает в данном случае ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
asphix Опубликовано 27 марта, 2015 · Жалоба в дополнение к предыдущему посту: а как быть, если нет ни одной секции <url>, а есть только секция <domain> - блочить весь домен? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sanyasi Опубликовано 27 марта, 2015 (изменено) · Жалоба А кто делал проверялку качества блокирования? Консольную, вместо известного комбайна? Поделитесь работающей, или давайте поковыряем такое: cat start #!/bin/bash > noblock L=0 cat lst.url | grep -v '^$' | while read line; do let L=$L+1 echo $L ./poller "$line" & sleep 0.01 done cat poller #!/bin/bash HEADER="j9sn7gbsv1" # строка в заголовке сраницы блокировки MD=`curl --connect-timeout 1 -skL "$1"` ERR=$? if [[ "$ERR" == "0" ]]; then X=$(echo $MD | grep $HEADER | wc -l) if [[ "$X" != "1" ]]; then D=`echo $1 | cut -d'/' -f3` [[ $(dig $D A +short) ]] && echo $1 >> noblock fi #else #echo [$ERR] $1 >> noblock fi Выдается несколько ложных срабатываний в noblock, например почему-то curl выдает код возврата 0 при 404. P.S. Поправил проверку днс - ругается в лог только если резольвится. Изменено 27 марта, 2015 пользователем sanyasi Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Pritorius Опубликовано 29 марта, 2015 (изменено) · Жалоба Если в одном блоке content идет несколько url то обычно они заканчиваются всем доменом целиком. Например: <url>http://www.lostfilm.tv/details.php?id=2651</url> <url>http://www.lostfilm.tv/details.php?id=2295</url> <url>http://www.lostfilm.tv/browse.php?cat=171</url> <url>http://www.lostfilm.tv/details.php?id=4071</url> <url>http://www.lostfilm.tv/details.php?id=2053</url> <url>http://www.lostfilm.tv</url> <domain>lostfilm.tv</domain> в таком случае у нас блокируется весь домен и его IP адреса, и смысл описания и блокировки конретных url исчезает. Кто как поступает в данном случае ? Сам сегодня обалдел :) Решил прошерстить получаемые URL вот что получилось: 29.03.2015 20:18:07 | Данные XML преобразованы в массив. Количество элементов: 7750. 29.03.2015 20:18:07 | Произведена выборка уникальных элементов в массиве. Количество элементов после выборки: 7660. 29.03.2015 20:18:24 | Произведено удаление подстраниц для которых уже есть заблокированный домен. Количество элементов после выборки: 5538. Глазами пробежал по выгрузке, у господ из ФСКН провайдер не блокирует реестр :))) 24 числа они блокируют домен, а 28 другой сотрудник блокирует страницу из этого домена )))))) в дополнение к предыдущему посту: а как быть, если нет ни одной секции <url>, а есть только секция <domain> - блочить весь домен? Это где так? Дайте название домена, а то я их вообще не обрабатываю только URL :) Изменено 29 марта, 2015 пользователем Pritorius Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...