Перейти к содержимому
Калькуляторы

Опубликована Процедура блокировки некошерной инфо

"Забавная ситуация". Клиенты жалуются что МТС блокирует доступ до определенных сайтов. Хотя у нас нет никаких операторских взаимодействий с ними, но наш трафик проходит у вышестоящего через них транзитом. Получается что МТС блокирует контент не только для своих клиентов, но и транзитный трафик.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А что это за пустые строки в реестре стали? Получается по две строки на запись. Глюк?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ayf, а конкретнее можно ?

в оригинальном дампе - по-прежнему одна строка "на всех"

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А что это за пустые строки в реестре стали? Получается по две строки на запись. Глюк?

Может с символами конца строки что-то поменяли/перемудрили?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Плюс кусок аццес-листа nginx_deny.conf:

Вы бы документацию что ли читали, прежде чем такие ужасы писать :)

Вот тут у меня разные виды блокировок: http://netlab.linkpc.net/download/software/nginx/proxy/

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ayf, а конкретнее можно ?

в оригинальном дампе - по-прежнему одна строка "на всех"

 

У меня стало отображаться вот так:

2013-10-06T01:05:00+04:00 60 12.01.2013 16:33 03.11.2012 14-РИ Роскомнадзор http://s4.artemisweb.jp/settoto/ s4.artemisweb.jp

2013-10-06T01:05:00+04:00 60 12.01.2013 16:33 03.11.2012 14-РИ Роскомнадзор s4.artemisweb.jp 124.35.0.146

2013-10-06T01:05:00+04:00 68 09.11.2012 10:21 03.11.2012 9 Роспотребнадзор http://fast-die.kiev.ua/index.php fast-die.kiev.ua

2013-10-06T01:05:00+04:00 68 09.11.2012 10:21 03.11.2012 9 Роспотребнадзор fast-die.kiev.ua 77.87.193.143

 

 

То есть одна строка: URL + Domain, а вторая Domain + IP

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

То есть одна строка: URL + Domain, а вторая Domain + IP

скрипты явно сбились

 

в моём, рисованном "по следам tawer", вроде бы всё в норме

во всяком случае, в файликах

domain-abuse.txt

ip-abuse.txt

url-abuse.txt

(ну разве что домены с урлями в окружении пустых строк - уж не знаю, сразу так было, или вот только теперь)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

То есть одна строка: URL + Domain, а вторая Domain + IP

скрипты явно сбились

 

в моём, рисованном "по следам tawer", вроде бы всё в норме

во всяком случае, в файликах

domain-abuse.txt

ip-abuse.txt

url-abuse.txt

(ну разве что домены с урлями в окружении пустых строк - уж не знаю, сразу так было, или вот только теперь)

 

У меня нет скриптов. Я просто скачал файл и открыл в экселе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

просто скачал файл и открыл в экселе

кхм, ну а тогда к чему претензии-то ?

к экселю, что не смог нормально открыть кривой xml ?

ну посмотрите в нотепаде, чтоль (можно прямо эти "строки")

 

вот порезанный на строки кусочек оригинального дампа:

<url>
<![CDATA[http://s4.artemisweb.jp/settoto/]]>
</url>
<domain>
<![CDATA[s4.artemisweb.jp]]>
</domain>
<ip>124.35.0.146</ip>

всё нормально

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы бы документацию что ли читали, прежде чем такие ужасы писать :)

Данный ACL взял с данного форума как есть и, повторяю, большая часть реврайтов работает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

просто скачал файл и открыл в экселе

кхм, ну а тогда к чему претензии-то ?

к экселю, что не смог нормально открыть кривой xml ?

ну посмотрите в нотепаде, чтоль (можно прямо эти "строки")

 

вот порезанный на строки кусочек оригинального дампа:

<url>
<![CDATA[http://s4.artemisweb.jp/settoto/]]>
</url>
<domain>
<![CDATA[s4.artemisweb.jp]]>
</domain>
<ip>124.35.0.146</ip>

всё нормально

 

Интересно то, что до прошлой недели все шло нормально. Эксель не менялся:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну вот, еще фри-торрентс добавили ...

 

При чем такое старье ... ппц ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, какая последняя версия xml-парсера? Указанной на 30-ой странице перловый уже не работает:

 

Uncaught exception from user code:
       End tag mismatch (domain != url) [Ln: 1, Col: 212698897968]
at /usr/local/lib/perl5/site_perl/5.12.4/XML/SAX/Exception.pm line 27.

 

Хотелось бы именно на perl.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, какая последняя версия xml-парсера? Указанной на 30-ой странице перловый уже не работает:

Uncaught exception from user code:
       End tag mismatch (domain != url) [Ln: 1, Col: 212698897968]
at /usr/local/lib/perl5/site_perl/5.12.4/XML/SAX/Exception.pm line 27.

Хотелось бы именно на perl.

Скрипт рабочий.

Вероятнее у вас кривой p5-XML-SAX, используемый по умолчанию для XML парсинга

 

Либо обновите модули с SAX, либо попробуйте использовать p5-XML-Parser - т.е. добавить строки

use XML::Simple;

$XML::Simple::PREFERRED_PARSER = 'XML::Parser'; ;

 

--------------------------------

 

Коллеги, вопрос по реестру:

В реестре есть 2 записи для ссылок в домене korenacim.com с 2-мя IP адресами. IP адреса из реестра блокируются (блокировка по IP)

Но естественно korenacim.com давно с этих IP мигрировал на другие, а прокуратура делает проверку сейчас и ссылки открываются.

 

Кто-нибудь сталкивался с подобным, отбивался от проверок со сменой IP блокированного сайта и неотражением этой смены в реестре ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я сталкивался и писал тут уже про это, ток у меня Связьнадзор проверял, после того как объяснил, что блокирую по ip и порекомендовал посмотреть вывод nslookup вроде отстали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А многим в сентябре пришло такое?

 

кусок письма:

 

"Управление Федеральной службы по надзору в сфере связи, информационных технологий и массовых коммуникаций по *** области (далее - Управление), в целях осуществления постоянного мониторинга исполнения операторами связи оказывающими услуги по предоставлению доступа к информационно-телекоммуникационной сети "Интернет" требований п. 5, ст. 46 Федерального закона от 7 июля 2003 г. №126-ФЗ "О связи", в части осуществления ограничения и возобновления доступа к информации, распространяемой посредством информационно-телекоммуникационной сети "Интернет", в порядке, установленном Федеральным законом от 27 июля 2006 года №149-ФЗ "Об информации, информационных технологиях и о защите информации", ведется работа по сбору и обобщению информации о выполнении вышеуказанных требований Закона.

 

В этой связи прошу Вас согласовать периодическое проведение мониторинга сотрудниками Управления на терминалах подключенных к сети "Интернет" посредством связи эксплуатируемой в целях оказания услуг связи Вашей организацией. Дата и время прибытия сотрудников Управления с целью осуществления мониторинга будет согласовываться в рабочем порядке, по телефону.

 

Кроме того повторно уведомляю Вас о необходимости ежедневных (до 16:00) докладов по электронной почте (...@rsoc.ru) содержащих информацию. о выполнении требований Закона по ранее приложенной форме."

 

зы: никаких форм до этого не приходило, но тут можно списать на почту, т.к. даже это письмо пришло спустя несколько дней после поставленных сроков ответа на него.

Сам факт ежедневных докладов уже смущает. да и вообще каких либо докладов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не получали, а вообще бред какойто с докладами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Каждый день отсылаем отчеты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Каждый день отсылаем отчеты.

А что за отчеты то ? что там пишете ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вот читаю тему, и как-то не вижу раскрытия вопроса xslt.

 

Сперва позвольте IMHO: во-первых, резать необходимо именно так, и только так, как url указан в реестре. И желательно своим собственным DPI. Это значит, если в выгрузке hxxp://bla-bla.biz/threads/Легал… в utf-8, то и на DPI отправится путь /threads/%D0%9B%D0%B5%D0%B3%D0%B0%D0%BB…, а если в cp1251, то /thread/%CB%E5%E3%E0%EB. Во-вторых, если в выгрузке указан протокол https, мы блокируем исходящие TCP пакеты на порт 443 указанных IP.

 

Сперва сдалал так: достаем все url с помощью xsltproc reg-url.xslt dump.xml | sort | uniq :

 

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
 <xsl:output method="text"/>

 <xsl:template match="content">
   <xsl:for-each select="url">
     <xsl:value-of select="."/><xsl:text>
</xsl:text>
   </xsl:for-each>
 </xsl:template>

</xsl:stylesheet>

Разобрать с помощью простого регекспа каждый url на протокол, домен и путь, эскейпнуть последний, а затем собрать, думаю, не проблема. Меня пока устраивает простейший способ:

s/([\x00-\x1f\x7f-\xff])/sprintf("%%%02X",ord($1))/eg;
s/ /+/g

Строка не юникодная, массив байтов. (Особенно радуют, конечно, hxxp://nnm-club.me/forum/viewtopi%D1%81.php?t=123456+ — русская «с» во viewtopiс.php и пробел в конце).

 

Аналогично достаем все IP и, для удобства логов, домены https: xsltproc reg-ip.xslt dump.xml | sort | uniq .

  <xsl:template match="content">
   <xsl:if test="starts-with(url,'https')">
     <xsl:value-of select="ip"/><xsl:text> </xsl:text>
     <xsl:value-of select="domain"/>
     <xsl:text>
</xsl:text>
   </xsl:if>
 </xsl:template>

 

Сейчас немного переделал, в один файл складываются сразу и IP, и url, а дальше выбрасываются лишние url, если домен блокируется целиком, и для загрузки в SCE фильтруется обычным | grep '^http' > ~ftp/sce-urls . Список IP — аналогично.

 

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
 <xsl:output method="text"/>

 <xsl:template match="content">
   <xsl:for-each select="url">
     <xsl:choose>
       <xsl:when test="starts-with(.,'https')">
         <xsl:value-of select="../ip"/><xsl:text> </xsl:text>
         <xsl:value-of select="../domain"/><xsl:text>
</xsl:text>
       </xsl:when>
       <xsl:otherwise>
         <xsl:value-of select="."/><xsl:text>
</xsl:text>
       </xsl:otherwise>
     </xsl:choose>
   </xsl:for-each>
 </xsl:template>

</xsl:stylesheet>

 

Намного проще и быстрее, чем писать на коленке какие-то парсеры.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вот читаю тему, и как-то не вижу раскрытия вопроса xslt.

 

Спасибо за информацию.

Разобрать с помощью простого регекспа каждый url на протокол, домен и путь, эскейпнуть последний, а затем собрать, думаю, не проблема. Меня пока устраивает простейший способ:

Можно тут чуть подробнее ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тем временем яндекс выкатил Яндекс.DNS

Тут интереснее всего то, что они стараются договориться с производителями домашних маршрутизаторов и теперь в соответствующих

прошивках можно назначать, какому устройству какой DNS сервер выдается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тем временем яндекс выкатил Яндекс.DNS http://dns.yandex.ru/ с фильтрацией для детей

Он его уж более полугода назад запустил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кроме того повторно уведомляю Вас о необходимости ежедневных (до 16:00) докладов по электронной почте (...@rsoc.ru) содержащих информацию. о выполнении требований Закона по ранее приложенной форме."

Ну вообще-то всё так, как описывалось в одном жутко интересном документе, который откуда-то утёк и попал в интернет, но очень быстро был выпилен.

Вот давайте проверим. Сегодня 9 октября 2013 года. Следующие шаги:

- расширение списка запретов в несколько попыток, плавное, чтобы народ не бунтовал

- прикрепление к исполнителям кураторов из ФСБ

- ужесточение ответственности за непринятие мер по списку

- параллельно нагнетание обстановки и подвод общества к мысли о правильности и необходимости контроля интернета

 

Делаем ставки?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас