[KsenZ]

Подходящей темы не нашел, видать не верные вопросы задаю поисковику (ткните носом, если есть такая тема).

Вопрос в следующем:

Есть ли верное, и оригинальное решение, как из доменов и URL, которые имеются в выгрузке, сгенерировать список для Cisco SCE?

Т.е. чтобы получалось следующее:

*domain.com

*domain.com/?url

 

Я делаю примерно так:

mysql -e "SELECT domain FROM domain" | sed -e 's/^www.//' | sed -e 's/^/*/' > sce_zapret_all.csv
mysql -e "SELECT url FROM url" | sed -e 's/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/' | sed -e 's/^www.//' | sed -e 's/^/*/' >> sce_zapret_all.csv

 

но тут есть пару проблем:

1. idn домены. Т.е. домен президент.рф Cisco не понимает. Нужно переводить idn в punycode

2. Не так давно, после всех этих sed'ов, в списке появилась просто "*", и как результат Cisco начала блокировать ВСЁ.

 

Все это я обошел топорным способом:

cat sce_zapret_all.csv | grep -v "рф" | grep -vx '^\*$' | uniq > sce_zapret.csv

 

Как реализовать генерацию списка для SCE, более правильно?

[Ancient]

Более правильная реализация не с точки зрения законов, а с точки зрения РКН - это если вы напишите скрипт который будет сам список проверять т.е. и резолв делать и всё прочее и проверять редиректы и только потом всё это передавать на SCE.

[wtyd]

Почти год назад тоже озаботился данным вопросом. Потом забил ... так и не нашёл способа нормализовать url для SCE2000. Кстати, там есть ограничение на длину строки url, а при переводе в idn и обработке "русских" ссылок, получается больше этого ограничения. Получается, что на 100% выполнить требования РКН на SCE нельзя. Да и вообще, говорят, скоро заставят всех отечественное оборудование для этих целей покупать.

 

Но я всёравно присоединяюсь к вопросу.

[KsenZ]

не с точки зрения законов, а с точки зрения РКН

В данный момент, меня это не сильно интересует.

Меня интересует, привести домены и URL из выгрузки, к удобоваримому виду для SCE

[KsenZ]

Кстати, там есть ограничение на длину строки url, а при переводе в idn и обработке "русских" ссылок, получается больше этого ограничения.

Ну это не большая проблема, в качестве исключения можно ограничивать полностью домен а не URL.

Либо делать проверку на длину, и если больше, то обрезать до домена.

[wtyd]

Кстати, там есть ограничение на длину строки url, а при переводе в idn и обработке "русских" ссылок, получается больше этого ограничения.

Ну это не большая проблема, в качестве исключения можно ограничивать полностью домен а не URL.

Либо делать проверку на длину, и если больше, то обрезать до домена.

 

Интересно, а можно ли обрезать по длине и в конец звёздочку впендюрить ? Будет так работать ?

[KsenZ]

Да и вообще, говорят, скоро заставят всех отечественное оборудование для этих целей покупать.

А HTTPS это оборудование будет блокировать?

 

Оффтоп:

 

 

Сейчас, это проблема, и при желании могут придраться "Почему вы не блокируете https://super-torrent.net.ru?" И некому не докажешь, что шифрованный трафик оборудование не блокирует... Хотя если и "отечественное" оборудование не будет блокировать https, то тут хоть можно будет себя обезопасить, типа "Ваше оборудование, сертифицированное для этих целей, не блокирует. Поэтому все вопросы к производителю".

 

[KsenZ]

Интересно, а можно ли обрезать по длине и в конец звёздочку впендюрить ? Будет так работать ?

Насколько я понимаю по доке, то можно так *domain.com/media* , т.е. будут блокироваться все URL для домена domain.com попадающие под маску /media*

http://www.cisco.com/c/en/us/td/docs/cable/serv_exch/serv_control/broadband_app/rel37x/blacklist/URL_DB_QSG2.html#wp41497

[wtyd]

Да и вообще, говорят, скоро заставят всех отечественное оборудование для этих целей покупать.

А HTTPS это оборудование будет блокировать?

 

Оффтоп:

 

 

Сейчас, это проблема, и при желании могут придраться "Почему вы не блокируете https://super-torrent.net.ru?" И некому не докажешь, что шифрованный трафик оборудование не блокирует... Хотя если и "отечественное" оборудование не будет блокировать https, то тут хоть можно будет себя обезопасить, типа "Ваше оборудование, сертифицированное для этих целей, не блокирует. Поэтому все вопросы к производителю".

 

 

Рекомендации РКН вроде бы были такие: если не можете блокировать https, то блокируйте весь ойпи и порт 443, чтои было незамедлительно сделано :-).

[KsenZ]

то блокируйте весь ойпи и порт 443

Тогда весь yuotube был бы заблокирован, а это не вариант, клиенты "съедят"

[wtyd]

то блокируйте весь ойпи и порт 443

Тогда весь yuotube был бы заблокирован, а это не вариант, клиенты "съедят"

 

Пока ни разу не съели. Так же ещё ни разу (когда проверял) ссылки на йутуп из запретинфо не вела на указанный там ойпи, всегда в какое-то то ли гугл-кеш, то ли какой-то другой йутуп.

[KsenZ]

Так же ещё ни разу (когда проверял) ссылки на йутуп из запретинфо не вела на указанный там ойпи, всегда в какое-то то ли гугл-кеш, то ли какой-то другой йутуп.

Дело в том, что у youtube очень много IP адресов, и когда ты блокируешь один его IP, то ссылка просто начинает открываться с другого IP. А если заблокировать все IP, то съедят, т.к. yuotube не будет открываться вообще, только через всякие VPN и прокси.

=youtube&commit=Search"]Пруф, по поводу того, что у youtube очень много IP, не одна тысяча IPv4 и столько же IPv6, плюс автономки

[zhenya`]

Так же ещё ни разу (когда проверял) ссылки на йутуп из запретинфо не вела на указанный там ойпи, всегда в какое-то то ли гугл-кеш, то ли какой-то другой йутуп.

Дело в том, что у youtube очень много IP адресов, и когда ты блокируешь один его IP, то ссылка просто начинает открываться с другого IP. А если заблокировать все IP, то съедят, т.к. yuotube не будет открываться вообще, только через всякие VPN и прокси.

=youtube&commit=Search"]Пруф, по поводу того, что у youtube очень много IP, не одна тысяча IPv4 и столько же IPv6, плюс автономки

эм ? а как ютуб узнает, что его залочили ? )) бгг

 

Я всего из 2 пулов айпи адреса наблюдал, в которые с оператора х резолвится домен ютуб.

[KsenZ]

эм ? а как ютуб узнает, что его залочили ? )) бгг

Он не знает что его залочили.

 

Чисто по моим наблюдениям, происходит примерно так: запрос на yuotube.com, резолвится адрес 64.15.125.123, который заблокирован, соответственно страница не открывается. Обновляешь страницу, и уже резовится адрес 208.117.255.123, который не заблокирован, и youtube.com открывается. Наблюдал лично на своем компьютере.

 

По какому принципу резолвятся разные IP, я не копал. Думаю Round robin, и AS...

Так же не стоит забывать про ДНС кеш, если в кеше сидит адрес 64.15.125.123, то после сброса кеша, вполне может зарезолвится и попасть в кеш другой адрес. И не ясно, какие адреса сидят в кеше у клиентов, поэтому блокировке нескольких IP youtube, они попросту не замечают.

Edited November 24, 2016 by KsenZ

[zhenya`]

;; QUESTION SECTION:

;youtube.com. IN A

 

;; ANSWER SECTION:

youtube.com. 97 IN A 173.194.44.78

youtube.com. 97 IN A 173.194.44.70

youtube.com. 97 IN A 173.194.44.67

youtube.com. 97 IN A 173.194.44.65

youtube.com. 97 IN A 173.194.44.73

youtube.com. 97 IN A 173.194.44.66

youtube.com. 97 IN A 173.194.44.64

youtube.com. 97 IN A 173.194.44.71

youtube.com. 97 IN A 173.194.44.69

youtube.com. 97 IN A 173.194.44.68

youtube.com. 97 IN A 173.194.44.72

 

обычный ответ на youtube.

 

В виндоднскэше лежит не один адрес.

 

Имя записи. . . . . . : clients.l.google.com

Тип записи. . . . . . : 1

Срок жизни. . . . . . : 41

Длина данных. . . . . : 4

Раздел. . . . . . . . : Ответ

А-запись (узла) . . . : 173.194.44.66

 

 

Имя записи. . . . . . : clients.l.google.com

Тип записи. . . . . . : 1

Срок жизни. . . . . . : 41

Длина данных. . . . . : 4

Раздел. . . . . . . . : Ответ

А-запись (узла) . . . : 173.194.44.70

 

 

Имя записи. . . . . . : clients.l.google.com

Тип записи. . . . . . : 1

Срок жизни. . . . . . : 41

Длина данных. . . . . : 4

Раздел. . . . . . . . : Ответ

А-запись (узла) . . . : 173.194.44.68

 

 

Имя записи. . . . . . : clients.l.google.com

Тип записи. . . . . . : 1

Срок жизни. . . . . . : 41

Длина данных. . . . . : 4

Раздел. . . . . . . . : Ответ

А-запись (узла) . . . : 173.194.44.71

 

Не пишите тогда ерунды :-)

[KsenZ]

zhenya`

а в чем заключается ерунда?

 

У меня, к примеру, резолвятся совершенно другие IP. На соседнем компьютере третьи. В чем ерунда то?

 

Речь идет о блокировке, и если блокировать только адреса которые есть в выгрузке, то youtube как открывался, так и будет открываться.

 

P.S. если вы про адреса, которые я написал выше, 64.15.125.123 и 208.117.255.123, то я взял их наугад, если так можно выразиться.

Edited November 24, 2016 by KsenZ

[wtyd]

Да какая разница, что там открывается или нет и куда резовится ? Главное, чтобы проверялки РКН делали отчёт со статусом "ок". Но "ок" всёравно никогда не будет, хотя бы потому, что операторы блокируют по xml документу, который они получают самостоятельно, а провреялки проверяют по какому-то другому документу, который 100% будет получен в иное время и скорее всего будет отличаться.

 

И вообще, мы отвлеклись от темы :-). Как нормализовать url ?

[pingz]

Как сказал один из сотрудников если у вас установлен программный ревизор вас не привлекут к ответственности т.к. он не сертифицированный. А если у вас аппаратное решение, то уже были случай привлечения оператора.

[Butch3r]

Что такое аппаратное решение? Tplink?

[pingz]

Что такое аппаратное решение? Tplink?

 

Да

[wtyd]

Как сказал один из сотрудников если у вас установлен программный ревизор вас не привлекут к ответственности т.к. он не сертифицированный. А если у вас аппаратное решение, то уже были случай привлечения оператора.

 

Уже ж всем эти тп-линки перепрошитые поставили... не суть.

 

Почему это не работает?

 

#!/usr/bin/perl

use strict;
use warnings;

use Net::IDN::Encode ':all';
use URL::Encode ':all';


my $U = 'http://сптр-в-орске.рф/доставка-алкоголя-503752.htm';
#my $U = 'http://yandex.ru/доставка-алкоголя-503752.htm';

$U =~ /http\:\/\/(.+)\/(.+)$/;

print "$1\n";
print "$2\n\n";

my $domain      = domain_to_ascii($1);
my $url         = url_encode_utf8($2);

print "$domain\n";
print "$url\n";

 

Выдаёт:

 

сптр-в-орске.рф
доставка-алкоголя-503752.htm

disallowed character U+0081 at /usr/local/lib/perl/5.14.2/Net/IDN/Encode.pm line 46.

 

Я уже пару часов ищу рабочий пуникодер на перле ...

[wtyd]

Подходящей темы не нашел, видать не верные вопросы задаю поисковику (ткните носом, если есть такая тема).

Вопрос в следующем:

Есть ли верное, и оригинальное решение, как из доменов и URL, которые имеются в выгрузке, сгенерировать список для Cisco SCE?

Т.е. чтобы получалось следующее:

*domain.com

*domain.com/?url

 

Я делаю примерно так:

mysql -e "SELECT domain FROM domain" | sed -e 's/^www.//' | sed -e 's/^/*/' > sce_zapret_all.csv
mysql -e "SELECT url FROM url" | sed -e 's/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/' | sed -e 's/^www.//' | sed -e 's/^/*/' >> sce_zapret_all.csv

 

но тут есть пару проблем:

1. idn домены. Т.е. домен президент.рф Cisco не понимает. Нужно переводить idn в punycode

2. Не так давно, после всех этих sed'ов, в списке появилась просто "*", и как результат Cisco начала блокировать ВСЁ.

 

Все это я обошел топорным способом:

cat sce_zapret_all.csv | grep -v "рф" | grep -vx '^\*$' | uniq > sce_zapret.csv

 

Как реализовать генерацию списка для SCE, более правильно?

 

Скажите, вы уверены, что если в SCE загрузить ссылку вида "http://xn-----elcnyxdiedhf.xn--p1ai/%D0%B4%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0-%D0%B0%D0%BB%D0%BA%D0%BE%D0%B3%D0%BE%D0%BB%D1%8F-503752.htm" (это http://сптр-в-орске.рф/доставка-алкоголя-503752.htm), то она заблокируется ?

 

Т.е. вы это проверяли ?

 

А то может я зря мучаюсь ?:-).

[Antares]

У меня на sce блокируется

[KsenZ]

Скажите, вы уверены, что если в SCE загрузить ссылку вида

 

Да, блокируется.

 

У меня на sce блокируется

И как вы генерируете список для SCE?

[wtyd]

Скажите, вы уверены, что если в SCE загрузить ссылку вида

 

Да, блокируется.

 

У меня на sce блокируется

И как вы генерируете список для SCE?

 

Мне осталось забороть ошибку "disallowed character U+0081 at /usr/local/lib/perl/5.14.2/Net/IDN/Encode.pm line 46.

" (см. выше) и скорее всего будет всё работать.

 

Помогите, кто в перле шарит ?