[saaremaa]

"Забавная ситуация". Клиенты жалуются что МТС блокирует доступ до определенных сайтов. Хотя у нас нет никаких операторских взаимодействий с ними, но наш трафик проходит у вышестоящего через них транзитом. Получается что МТС блокирует контент не только для своих клиентов, но и транзитный трафик.

[ayf]

А что это за пустые строки в реестре стали? Получается по две строки на запись. Глюк?

[lcgc]

ayf, а конкретнее можно ?

в оригинальном дампе - по-прежнему одна строка "на всех"

[azhur]

А что это за пустые строки в реестре стали? Получается по две строки на запись. Глюк?

Может с символами конца строки что-то поменяли/перемудрили?

[Ivan_83]

Плюс кусок аццес-листа nginx_deny.conf:

Вы бы документацию что ли читали, прежде чем такие ужасы писать :)

Вот тут у меня разные виды блокировок: http://netlab.linkpc.net/download/software/nginx/proxy/

[ayf]

ayf, а конкретнее можно ?

в оригинальном дампе - по-прежнему одна строка "на всех"

 

У меня стало отображаться вот так:

2013-10-06T01:05:00+04:00 60 12.01.2013 16:33 03.11.2012 14-РИ Роскомнадзор http://s4.artemisweb.jp/settoto/ s4.artemisweb.jp

2013-10-06T01:05:00+04:00 60 12.01.2013 16:33 03.11.2012 14-РИ Роскомнадзор s4.artemisweb.jp 124.35.0.146

2013-10-06T01:05:00+04:00 68 09.11.2012 10:21 03.11.2012 9 Роспотребнадзор http://fast-die.kiev.ua/index.php fast-die.kiev.ua

2013-10-06T01:05:00+04:00 68 09.11.2012 10:21 03.11.2012 9 Роспотребнадзор fast-die.kiev.ua 77.87.193.143

 

 

То есть одна строка: URL + Domain, а вторая Domain + IP

[lcgc]

То есть одна строка: URL + Domain, а вторая Domain + IP

скрипты явно сбились

 

в моём, рисованном "по следам tawer", вроде бы всё в норме

во всяком случае, в файликах

domain-abuse.txt

ip-abuse.txt

url-abuse.txt

(ну разве что домены с урлями в окружении пустых строк - уж не знаю, сразу так было, или вот только теперь)

[ayf]

То есть одна строка: URL + Domain, а вторая Domain + IP

скрипты явно сбились

 

в моём, рисованном "по следам tawer", вроде бы всё в норме

во всяком случае, в файликах

domain-abuse.txt

ip-abuse.txt

url-abuse.txt

(ну разве что домены с урлями в окружении пустых строк - уж не знаю, сразу так было, или вот только теперь)

 

У меня нет скриптов. Я просто скачал файл и открыл в экселе.

[lcgc]

просто скачал файл и открыл в экселе

кхм, ну а тогда к чему претензии-то ?

к экселю, что не смог нормально открыть кривой xml ?

ну посмотрите в нотепаде, чтоль (можно прямо эти "строки")

 

вот порезанный на строки кусочек оригинального дампа:

<url>
<![CDATA[http://s4.artemisweb.jp/settoto/]]>
</url>
<domain>
<![CDATA[s4.artemisweb.jp]]>
</domain>
<ip>124.35.0.146</ip>

всё нормально

[Egenius]

Вы бы документацию что ли читали, прежде чем такие ужасы писать :)

Данный ACL взял с данного форума как есть и, повторяю, большая часть реврайтов работает.

[ayf]

просто скачал файл и открыл в экселе

кхм, ну а тогда к чему претензии-то ?

к экселю, что не смог нормально открыть кривой xml ?

ну посмотрите в нотепаде, чтоль (можно прямо эти "строки")

 

вот порезанный на строки кусочек оригинального дампа:

<url>
<![CDATA[http://s4.artemisweb.jp/settoto/]]>
</url>
<domain>
<![CDATA[s4.artemisweb.jp]]>
</domain>
<ip>124.35.0.146</ip>

всё нормально

 

Интересно то, что до прошлой недели все шло нормально. Эксель не менялся:)

[BasilKlyev]

Ну вот, еще фри-торрентс добавили ...

 

При чем такое старье ... ппц ...

[Dyr]

Коллеги, какая последняя версия xml-парсера? Указанной на 30-ой странице перловый уже не работает:

 

Uncaught exception from user code:
       End tag mismatch (domain != url) [Ln: 1, Col: 212698897968]
at /usr/local/lib/perl5/site_perl/5.12.4/XML/SAX/Exception.pm line 27.

 

Хотелось бы именно на perl.

 

 

[AN111]

Коллеги, какая последняя версия xml-парсера? Указанной на 30-ой странице перловый уже не работает:

Uncaught exception from user code:
       End tag mismatch (domain != url) [Ln: 1, Col: 212698897968]
at /usr/local/lib/perl5/site_perl/5.12.4/XML/SAX/Exception.pm line 27.

Хотелось бы именно на perl.

Скрипт рабочий.

Вероятнее у вас кривой p5-XML-SAX, используемый по умолчанию для XML парсинга

 

Либо обновите модули с SAX, либо попробуйте использовать p5-XML-Parser - т.е. добавить строки

use XML::Simple;

$XML::Simple::PREFERRED_PARSER = 'XML::Parser'; ;

 

--------------------------------

 

Коллеги, вопрос по реестру:

В реестре есть 2 записи для ссылок в домене korenacim.com с 2-мя IP адресами. IP адреса из реестра блокируются (блокировка по IP)

Но естественно korenacim.com давно с этих IP мигрировал на другие, а прокуратура делает проверку сейчас и ссылки открываются.

 

Кто-нибудь сталкивался с подобным, отбивался от проверок со сменой IP блокированного сайта и неотражением этой смены в реестре ?

[Tem]

Я сталкивался и писал тут уже про это, ток у меня Связьнадзор проверял, после того как объяснил, что блокирую по ip и порекомендовал посмотреть вывод nslookup вроде отстали.

[AlexanderBr]

А многим в сентябре пришло такое?

 

кусок письма:

 

"Управление Федеральной службы по надзору в сфере связи, информационных технологий и массовых коммуникаций по *** области (далее - Управление), в целях осуществления постоянного мониторинга исполнения операторами связи оказывающими услуги по предоставлению доступа к информационно-телекоммуникационной сети "Интернет" требований п. 5, ст. 46 Федерального закона от 7 июля 2003 г. №126-ФЗ "О связи", в части осуществления ограничения и возобновления доступа к информации, распространяемой посредством информационно-телекоммуникационной сети "Интернет", в порядке, установленном Федеральным законом от 27 июля 2006 года №149-ФЗ "Об информации, информационных технологиях и о защите информации", ведется работа по сбору и обобщению информации о выполнении вышеуказанных требований Закона.

 

В этой связи прошу Вас согласовать периодическое проведение мониторинга сотрудниками Управления на терминалах подключенных к сети "Интернет" посредством связи эксплуатируемой в целях оказания услуг связи Вашей организацией. Дата и время прибытия сотрудников Управления с целью осуществления мониторинга будет согласовываться в рабочем порядке, по телефону.

 

Кроме того повторно уведомляю Вас о необходимости ежедневных (до 16:00) докладов по электронной почте (...@rsoc.ru) содержащих информацию. о выполнении требований Закона по ранее приложенной форме."

 

зы: никаких форм до этого не приходило, но тут можно списать на почту, т.к. даже это письмо пришло спустя несколько дней после поставленных сроков ответа на него.

Сам факт ежедневных докладов уже смущает. да и вообще каких либо докладов.

[Tem]

Не получали, а вообще бред какойто с докладами.

[IG]

Каждый день отсылаем отчеты.

[Tem]

Каждый день отсылаем отчеты.

А что за отчеты то ? что там пишете ?

[Notius]

Вот читаю тему, и как-то не вижу раскрытия вопроса xslt.

 

Сперва позвольте IMHO: во-первых, резать необходимо именно так, и только так, как url указан в реестре. И желательно своим собственным DPI. Это значит, если в выгрузке hxxp://bla-bla.biz/threads/Легал… в utf-8, то и на DPI отправится путь /threads/%D0%9B%D0%B5%D0%B3%D0%B0%D0%BB…, а если в cp1251, то /thread/%CB%E5%E3%E0%EB. Во-вторых, если в выгрузке указан протокол https, мы блокируем исходящие TCP пакеты на порт 443 указанных IP.

 

Сперва сдалал так: достаем все url с помощью xsltproc reg-url.xslt dump.xml | sort | uniq :

 

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
 <xsl:output method="text"/>

 <xsl:template match="content">
   <xsl:for-each select="url">
     <xsl:value-of select="."/><xsl:text>
</xsl:text>
   </xsl:for-each>
 </xsl:template>

</xsl:stylesheet>

Разобрать с помощью простого регекспа каждый url на протокол, домен и путь, эскейпнуть последний, а затем собрать, думаю, не проблема. Меня пока устраивает простейший способ:

s/([\x00-\x1f\x7f-\xff])/sprintf("%%%02X",ord($1))/eg;
s/ /+/g

Строка не юникодная, массив байтов. (Особенно радуют, конечно, hxxp://nnm-club.me/forum/viewtopi%D1%81.php?t=123456+ — русская «с» во viewtopiс.php и пробел в конце).

 

Аналогично достаем все IP и, для удобства логов, домены https: xsltproc reg-ip.xslt dump.xml | sort | uniq .

  <xsl:template match="content">
   <xsl:if test="starts-with(url,'https')">
     <xsl:value-of select="ip"/><xsl:text> </xsl:text>
     <xsl:value-of select="domain"/>
     <xsl:text>
</xsl:text>
   </xsl:if>
 </xsl:template>

 

Сейчас немного переделал, в один файл складываются сразу и IP, и url, а дальше выбрасываются лишние url, если домен блокируется целиком, и для загрузки в SCE фильтруется обычным | grep '^http' > ~ftp/sce-urls . Список IP — аналогично.

 

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
 <xsl:output method="text"/>

 <xsl:template match="content">
   <xsl:for-each select="url">
     <xsl:choose>
       <xsl:when test="starts-with(.,'https')">
         <xsl:value-of select="../ip"/><xsl:text> </xsl:text>
         <xsl:value-of select="../domain"/><xsl:text>
</xsl:text>
       </xsl:when>
       <xsl:otherwise>
         <xsl:value-of select="."/><xsl:text>
</xsl:text>
       </xsl:otherwise>
     </xsl:choose>
   </xsl:for-each>
 </xsl:template>

</xsl:stylesheet>

 

Намного проще и быстрее, чем писать на коленке какие-то парсеры.

[Egenius]

Вот читаю тему, и как-то не вижу раскрытия вопроса xslt.

 

Спасибо за информацию.

Разобрать с помощью простого регекспа каждый url на протокол, домен и путь, эскейпнуть последний, а затем собрать, думаю, не проблема. Меня пока устраивает простейший способ:

Можно тут чуть подробнее ?

[legioner0]

тем временем яндекс выкатил Яндекс.DNS http://dns.yandex.ru/ с фильтрацией для детей

[Sergey Gilfanov]

тем временем яндекс выкатил Яндекс.DNS

Тут интереснее всего то, что они стараются договориться с производителями домашних маршрутизаторов и теперь в соответствующих

прошивках можно назначать, какому устройству какой DNS сервер выдается.

[Kirya]

тем временем яндекс выкатил Яндекс.DNS http://dns.yandex.ru/ с фильтрацией для детей

Он его уж более полугода назад запустил.

[straus]

Кроме того повторно уведомляю Вас о необходимости ежедневных (до 16:00) докладов по электронной почте (...@rsoc.ru) содержащих информацию. о выполнении требований Закона по ранее приложенной форме."

Ну вообще-то всё так, как описывалось в одном жутко интересном документе, который откуда-то утёк и попал в интернет, но очень быстро был выпилен.

Вот давайте проверим. Сегодня 9 октября 2013 года. Следующие шаги:

- расширение списка запретов в несколько попыток, плавное, чтобы народ не бунтовал

- прикрепление к исполнителям кураторов из ФСБ

- ужесточение ответственности за непринятие мер по списку

- параллельно нагнетание обстановки и подвод общества к мысли о правильности и необходимости контроля интернета

 

Делаем ставки?