saaremaa Опубликовано 4 октября, 2013 · Жалоба "Забавная ситуация". Клиенты жалуются что МТС блокирует доступ до определенных сайтов. Хотя у нас нет никаких операторских взаимодействий с ними, но наш трафик проходит у вышестоящего через них транзитом. Получается что МТС блокирует контент не только для своих клиентов, но и транзитный трафик. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 4 октября, 2013 · Жалоба А что это за пустые строки в реестре стали? Получается по две строки на запись. Глюк? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lcgc Опубликовано 4 октября, 2013 · Жалоба ayf, а конкретнее можно ? в оригинальном дампе - по-прежнему одна строка "на всех" Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
azhur Опубликовано 4 октября, 2013 · Жалоба А что это за пустые строки в реестре стали? Получается по две строки на запись. Глюк? Может с символами конца строки что-то поменяли/перемудрили? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 5 октября, 2013 · Жалоба Плюс кусок аццес-листа nginx_deny.conf: Вы бы документацию что ли читали, прежде чем такие ужасы писать :) Вот тут у меня разные виды блокировок: http://netlab.linkpc.net/download/software/nginx/proxy/ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 5 октября, 2013 · Жалоба ayf, а конкретнее можно ? в оригинальном дампе - по-прежнему одна строка "на всех" У меня стало отображаться вот так: 2013-10-06T01:05:00+04:00 60 12.01.2013 16:33 03.11.2012 14-РИ Роскомнадзор http://s4.artemisweb.jp/settoto/ s4.artemisweb.jp 2013-10-06T01:05:00+04:00 60 12.01.2013 16:33 03.11.2012 14-РИ Роскомнадзор s4.artemisweb.jp 124.35.0.146 2013-10-06T01:05:00+04:00 68 09.11.2012 10:21 03.11.2012 9 Роспотребнадзор http://fast-die.kiev.ua/index.php fast-die.kiev.ua 2013-10-06T01:05:00+04:00 68 09.11.2012 10:21 03.11.2012 9 Роспотребнадзор fast-die.kiev.ua 77.87.193.143 То есть одна строка: URL + Domain, а вторая Domain + IP Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lcgc Опубликовано 6 октября, 2013 · Жалоба То есть одна строка: URL + Domain, а вторая Domain + IP скрипты явно сбились в моём, рисованном "по следам tawer", вроде бы всё в норме во всяком случае, в файликах domain-abuse.txt ip-abuse.txt url-abuse.txt (ну разве что домены с урлями в окружении пустых строк - уж не знаю, сразу так было, или вот только теперь) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 6 октября, 2013 · Жалоба То есть одна строка: URL + Domain, а вторая Domain + IP скрипты явно сбились в моём, рисованном "по следам tawer", вроде бы всё в норме во всяком случае, в файликах domain-abuse.txt ip-abuse.txt url-abuse.txt (ну разве что домены с урлями в окружении пустых строк - уж не знаю, сразу так было, или вот только теперь) У меня нет скриптов. Я просто скачал файл и открыл в экселе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lcgc Опубликовано 6 октября, 2013 · Жалоба просто скачал файл и открыл в экселе кхм, ну а тогда к чему претензии-то ? к экселю, что не смог нормально открыть кривой xml ? ну посмотрите в нотепаде, чтоль (можно прямо эти "строки") вот порезанный на строки кусочек оригинального дампа: <url> <![CDATA[http://s4.artemisweb.jp/settoto/]]> </url> <domain> <![CDATA[s4.artemisweb.jp]]> </domain> <ip>124.35.0.146</ip> всё нормально Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Egenius Опубликовано 7 октября, 2013 · Жалоба Вы бы документацию что ли читали, прежде чем такие ужасы писать :) Данный ACL взял с данного форума как есть и, повторяю, большая часть реврайтов работает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 7 октября, 2013 · Жалоба просто скачал файл и открыл в экселе кхм, ну а тогда к чему претензии-то ? к экселю, что не смог нормально открыть кривой xml ? ну посмотрите в нотепаде, чтоль (можно прямо эти "строки") вот порезанный на строки кусочек оригинального дампа: <url> <![CDATA[http://s4.artemisweb.jp/settoto/]]> </url> <domain> <![CDATA[s4.artemisweb.jp]]> </domain> <ip>124.35.0.146</ip> всё нормально Интересно то, что до прошлой недели все шло нормально. Эксель не менялся:) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BasilKlyev Опубликовано 7 октября, 2013 · Жалоба Ну вот, еще фри-торрентс добавили ... При чем такое старье ... ппц ... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 8 октября, 2013 · Жалоба Коллеги, какая последняя версия xml-парсера? Указанной на 30-ой странице перловый уже не работает: Uncaught exception from user code: End tag mismatch (domain != url) [Ln: 1, Col: 212698897968] at /usr/local/lib/perl5/site_perl/5.12.4/XML/SAX/Exception.pm line 27. Хотелось бы именно на perl. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AN111 Опубликовано 8 октября, 2013 · Жалоба Коллеги, какая последняя версия xml-парсера? Указанной на 30-ой странице перловый уже не работает: Uncaught exception from user code: End tag mismatch (domain != url) [Ln: 1, Col: 212698897968] at /usr/local/lib/perl5/site_perl/5.12.4/XML/SAX/Exception.pm line 27. Хотелось бы именно на perl. Скрипт рабочий. Вероятнее у вас кривой p5-XML-SAX, используемый по умолчанию для XML парсинга Либо обновите модули с SAX, либо попробуйте использовать p5-XML-Parser - т.е. добавить строки use XML::Simple; $XML::Simple::PREFERRED_PARSER = 'XML::Parser'; ; -------------------------------- Коллеги, вопрос по реестру: В реестре есть 2 записи для ссылок в домене korenacim.com с 2-мя IP адресами. IP адреса из реестра блокируются (блокировка по IP) Но естественно korenacim.com давно с этих IP мигрировал на другие, а прокуратура делает проверку сейчас и ссылки открываются. Кто-нибудь сталкивался с подобным, отбивался от проверок со сменой IP блокированного сайта и неотражением этой смены в реестре ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 8 октября, 2013 · Жалоба Я сталкивался и писал тут уже про это, ток у меня Связьнадзор проверял, после того как объяснил, что блокирую по ip и порекомендовал посмотреть вывод nslookup вроде отстали. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AlexanderBr Опубликовано 8 октября, 2013 · Жалоба А многим в сентябре пришло такое? кусок письма: "Управление Федеральной службы по надзору в сфере связи, информационных технологий и массовых коммуникаций по *** области (далее - Управление), в целях осуществления постоянного мониторинга исполнения операторами связи оказывающими услуги по предоставлению доступа к информационно-телекоммуникационной сети "Интернет" требований п. 5, ст. 46 Федерального закона от 7 июля 2003 г. №126-ФЗ "О связи", в части осуществления ограничения и возобновления доступа к информации, распространяемой посредством информационно-телекоммуникационной сети "Интернет", в порядке, установленном Федеральным законом от 27 июля 2006 года №149-ФЗ "Об информации, информационных технологиях и о защите информации", ведется работа по сбору и обобщению информации о выполнении вышеуказанных требований Закона. В этой связи прошу Вас согласовать периодическое проведение мониторинга сотрудниками Управления на терминалах подключенных к сети "Интернет" посредством связи эксплуатируемой в целях оказания услуг связи Вашей организацией. Дата и время прибытия сотрудников Управления с целью осуществления мониторинга будет согласовываться в рабочем порядке, по телефону. Кроме того повторно уведомляю Вас о необходимости ежедневных (до 16:00) докладов по электронной почте (...@rsoc.ru) содержащих информацию. о выполнении требований Закона по ранее приложенной форме." зы: никаких форм до этого не приходило, но тут можно списать на почту, т.к. даже это письмо пришло спустя несколько дней после поставленных сроков ответа на него. Сам факт ежедневных докладов уже смущает. да и вообще каких либо докладов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 8 октября, 2013 · Жалоба Не получали, а вообще бред какойто с докладами. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
IG Опубликовано 8 октября, 2013 · Жалоба Каждый день отсылаем отчеты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 8 октября, 2013 · Жалоба Каждый день отсылаем отчеты. А что за отчеты то ? что там пишете ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Notius Опубликовано 8 октября, 2013 · Жалоба Вот читаю тему, и как-то не вижу раскрытия вопроса xslt. Сперва позвольте IMHO: во-первых, резать необходимо именно так, и только так, как url указан в реестре. И желательно своим собственным DPI. Это значит, если в выгрузке hxxp://bla-bla.biz/threads/Легал… в utf-8, то и на DPI отправится путь /threads/%D0%9B%D0%B5%D0%B3%D0%B0%D0%BB…, а если в cp1251, то /thread/%CB%E5%E3%E0%EB. Во-вторых, если в выгрузке указан протокол https, мы блокируем исходящие TCP пакеты на порт 443 указанных IP. Сперва сдалал так: достаем все url с помощью xsltproc reg-url.xslt dump.xml | sort | uniq : <?xml version="1.0" encoding="UTF-8"?> <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0"> <xsl:output method="text"/> <xsl:template match="content"> <xsl:for-each select="url"> <xsl:value-of select="."/><xsl:text> </xsl:text> </xsl:for-each> </xsl:template> </xsl:stylesheet> Разобрать с помощью простого регекспа каждый url на протокол, домен и путь, эскейпнуть последний, а затем собрать, думаю, не проблема. Меня пока устраивает простейший способ: s/([\x00-\x1f\x7f-\xff])/sprintf("%%%02X",ord($1))/eg; s/ /+/g Строка не юникодная, массив байтов. (Особенно радуют, конечно, hxxp://nnm-club.me/forum/viewtopi%D1%81.php?t=123456+ — русская «с» во viewtopiс.php и пробел в конце). Аналогично достаем все IP и, для удобства логов, домены https: xsltproc reg-ip.xslt dump.xml | sort | uniq . <xsl:template match="content"> <xsl:if test="starts-with(url,'https')"> <xsl:value-of select="ip"/><xsl:text> </xsl:text> <xsl:value-of select="domain"/> <xsl:text> </xsl:text> </xsl:if> </xsl:template> Сейчас немного переделал, в один файл складываются сразу и IP, и url, а дальше выбрасываются лишние url, если домен блокируется целиком, и для загрузки в SCE фильтруется обычным | grep '^http' > ~ftp/sce-urls . Список IP — аналогично. <?xml version="1.0" encoding="UTF-8"?> <xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0"> <xsl:output method="text"/> <xsl:template match="content"> <xsl:for-each select="url"> <xsl:choose> <xsl:when test="starts-with(.,'https')"> <xsl:value-of select="../ip"/><xsl:text> </xsl:text> <xsl:value-of select="../domain"/><xsl:text> </xsl:text> </xsl:when> <xsl:otherwise> <xsl:value-of select="."/><xsl:text> </xsl:text> </xsl:otherwise> </xsl:choose> </xsl:for-each> </xsl:template> </xsl:stylesheet> Намного проще и быстрее, чем писать на коленке какие-то парсеры. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Egenius Опубликовано 9 октября, 2013 · Жалоба Вот читаю тему, и как-то не вижу раскрытия вопроса xslt. Спасибо за информацию. Разобрать с помощью простого регекспа каждый url на протокол, домен и путь, эскейпнуть последний, а затем собрать, думаю, не проблема. Меня пока устраивает простейший способ: Можно тут чуть подробнее ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
legioner0 Опубликовано 9 октября, 2013 · Жалоба тем временем яндекс выкатил Яндекс.DNS http://dns.yandex.ru/ с фильтрацией для детей Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey Gilfanov Опубликовано 9 октября, 2013 · Жалоба тем временем яндекс выкатил Яндекс.DNS Тут интереснее всего то, что они стараются договориться с производителями домашних маршрутизаторов и теперь в соответствующих прошивках можно назначать, какому устройству какой DNS сервер выдается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Kirya Опубликовано 9 октября, 2013 · Жалоба тем временем яндекс выкатил Яндекс.DNS http://dns.yandex.ru/ с фильтрацией для детей Он его уж более полугода назад запустил. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
straus Опубликовано 9 октября, 2013 · Жалоба Кроме того повторно уведомляю Вас о необходимости ежедневных (до 16:00) докладов по электронной почте (...@rsoc.ru) содержащих информацию. о выполнении требований Закона по ранее приложенной форме." Ну вообще-то всё так, как описывалось в одном жутко интересном документе, который откуда-то утёк и попал в интернет, но очень быстро был выпилен. Вот давайте проверим. Сегодня 9 октября 2013 года. Следующие шаги: - расширение списка запретов в несколько попыток, плавное, чтобы народ не бунтовал - прикрепление к исполнителям кураторов из ФСБ - ужесточение ответственности за непринятие мер по списку - параллельно нагнетание обстановки и подвод общества к мысли о правильности и необходимости контроля интернета Делаем ставки? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...