Перейти к содержимому
Калькуляторы

Опубликована Процедура блокировки некошерной инфо

Разумеется, не блокирует. Им же надо проверять удаление и убирать записи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Разумеется, не блокирует. Им же надо проверять удаление и убирать записи.

 

Да чёт я не то ляпнул :) С другой стороны зачем добавлять страницу если уже есть заблокированный домен? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это где так? Дайте название домена, а то я их вообще не обрабатываю только URL :)

 

xmlstarlet sel -T -t -m '//content[@blockType="domain"]' -v domain -n dump.xml
aurelik.com
vulkanplay.com
sex-money.ru
prasavda.com
play-gmslots.com
russiangirl.su
wiol.biz

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те же Грани ну е*баните вы весь домен, накой эти 365 записей в реестре???? Неужели нет никакого промежуточного сотрудника для проверки реестра, который разбирается в структуре запроса к страницам и понимает что оставлять в реестре /# это верх безграмотности, а ещё // и ​ и т.д...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те же Грани ну е*баните вы весь домен, накой эти 365 записей в реестре???? Неужели нет никакого промежуточного сотрудника для проверки реестра, который разбирается в структуре запроса к страницам и понимает что оставлять в реестре /# это верх безграмотности, а ещё // и ​ и т.д...

А им, подозреваю, не положено. Как им там в форму жалобы ввели - то и надо обрабатывать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это где так? Дайте название домена, а то я их вообще не обрабатываю только URL :)

 

xmlstarlet sel -T -t -m '//content[@blockType="domain"]' -v domain -n dump.xml
aurelik.com
vulkanplay.com
sex-money.ru
prasavda.com
play-gmslots.com
russiangirl.su
wiol.biz

 

В рекомендации http://eais.rkn.gov.ru/docs/Recomendation.pdf речь про URL, нет URL ко мне какие претензии :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В рекомендации http://eais.rkn.gov.ru/docs/Recomendation.pdf речь про URL, нет URL ко мне какие претензии :)

 

 

Смотрите тут http://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf

Пункт Описание тегов/атрибутов

Если указано значение «domain», то указатели страниц сайтов (URL) для данной реестровой записи будут отсутствовать, необходимо ограничить доступ к домену целиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В рекомендации http://eais.rkn.gov.ru/docs/Recomendation.pdf речь про URL, нет URL ко мне какие претензии :)

 

 

Смотрите тут http://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf

Пункт Описание тегов/атрибутов

Если указано значение «domain», то указатели страниц сайтов (URL) для данной реестровой записи будут отсутствовать, необходимо ограничить доступ к домену целиком.

 

Угу исправил. +7 чудных доменов в копилку :)

 

Итого:

 

29.03.2015 22:14:12 | Данные XML преобразованы в массив. Количество элементов: 8431.
29.03.2015 22:14:12 | Произведена выборка уникальных элементов в массиве. Количество элементов после выборки: 8334.
29.03.2015 22:14:32 | Произведено удаление подстраниц для которых уже есть заблокированный домен. Количество элементов после выборки: 5747.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те же Грани ну е*баните вы весь домен, накой эти 365 записей в реестре???? Неужели нет никакого промежуточного сотрудника для проверки реестра, который разбирается в структуре запроса к страницам и понимает что оставлять в реестре /# это верх безграмотности, а ещё // и ​ и т.д...

А им, подозреваю, не положено. Как им там в форму жалобы ввели - то и надо обрабатывать.

 

ну диезы бы отрезать они должны бы... потому как # (и все что после него) по сети в запросе не ходит. Т.е. со стороны операторза забанить http://www.example.com/aaa#bbb'>http://www.example.com/aaa#bbb я не могу. Только http://www.example.com/aaa целиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Какой-то домен резолвится в 127.0.0.1, сегодня у нас ACL по 443 порту его успешно забанил.....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А кто делал проверялку качества блокирования?

Консольную, вместо известного комбайна?

У меня есть, но там много лишнего, я когда составлял, сделал сначала одним методом потом другим, проверки старого не удаляя.

Тоже curl использовал...

Какой-то домен резолвится в 127.0.0.1, сегодня у нас ACL по 443 порту его успешно забанил.....

Раньше был с сайта мин.юста:

Name: www.sakh-88.nm.ru

Address: 127.0.0.1

Видимо уже удалили запись из реестра, у меня 45 минут назад актуализировался список, не было этого ip в реестре)

Изменено пользователем MYA

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те же Грани ну е*баните вы весь домен, накой эти 365 записей в реестре???? Неужели нет никакого промежуточного сотрудника для проверки реестра, который разбирается в структуре запроса к страницам и понимает что оставлять в реестре /# это верх безграмотности, а ещё // и ​ и т.д...

А им, подозреваю, не положено. Как им там в форму жалобы ввели - то и надо обрабатывать.

 

ну диезы бы отрезать они должны бы... потому как # (и все что после него) по сети в запросе не ходит. Т.е. со стороны операторза забанить http://www.example.com/aaa#bbb'>http://www.example.com/aaa#bbb я не могу. Только http://www.example.com/aaa целиком.

 

Ох... пришлось целую функцию писать того чего должон делать Роскомнадзор. Есть мнение что ответственный за проверку чего господа из под ведомств суют в реестр, периодически жёстко забухивает:

 

require_once($_SERVER["DOCUMENT_ROOT"].'\bill\idna\idna_convert.class.php');


function clear_url($parsed_url) { 

//Удаляем http и фрагменты после символа # (требование DPI).
$url = parse_url($parsed_url);
//$scheme   = isset($url['scheme']) ? $url['scheme'] . '://' : ''; 
$host     = isset($url['host']) ? $url['host'] : ''; 
$port     = isset($url['port']) ? ':' . $url['port'] : ''; 
$user     = isset($url['user']) ? $url['user'] : ''; 
$pass     = isset($url['pass']) ? ':' . $url['pass']  : ''; 
$pass     = ($user || $pass) ? "$pass@" : ''; 
$path     = isset($url['path']) ? $url['path'] : ''; 
$query    = isset($url['query']) ? '?' . $url['query'] : ''; 
//$fragment = isset($url['fragment']) ? '#' . $url['fragment'] : '';

$IDN = new idna_convert(array('idn_version' => 2008));
$ru_patter = "|[а-яё]|i";  
	if(preg_match($ru_patter, $host)){$host = $IDN->encode($host);} //Переводим Русские домены в IDNA (требование DPI)

$clear_url = "$host$port$path$query";

if($clear_url == $host){$clear_url = $host.'/';} //Добавления слеша в конце домена без аргументов (требование DPI)

if(substr($clear_url, -2) == "//"){$clear_url= substr($clear_url, 0, -1);} //Удаление двойного слеша в конце некоторых URL (требование DPI)

if(substr($clear_url, 0, 4) == "www."){$clear_url = substr($clear_url, 4);} //Удаление префикса www. (требование DPI)

return $clear_url; 
} 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Удаление префикса www.

Что-то этот пункт сомнительным выглядит.

www.domain.ru и domain.ru в общем случае могут быть совершенно не связанными друг с другом.

www может быть альясом (A или CNAME), может быть субдоменом, а может быть отдельной делегированной зоной.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Удаление префикса www.

Что-то этот пункт сомнительным выглядит.

www.domain.ru и domain.ru в общем случае могут быть совершенно не связанными друг с другом.

www может быть альясом (A или CNAME), может быть субдоменом, а может быть отдельной делегированной зоной.

 

Я вас умоляю... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я вас умоляю... :)

Теоретически все может быть...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те же Грани ну е*баните вы весь домен, накой эти 365 записей в реестре???? Неужели нет никакого промежуточного сотрудника для проверки реестра, который разбирается в структуре запроса к страницам и понимает что оставлять в реестре /# это верх безграмотности, а ещё // и ​ и т.д...

Операторам в выгрузку попадает часть исходного реестра -- то есть ТАК, как он идет по процедуре формирования -- с реквизитами гос.органов, судебных решений и т.п..

 

Это не столько технологический список, сколько выписка из юридической базы данных. В которой КАЖДОЕ зеркало, КАЖДЫЙ субдомен юридически же блокируются (а ДО попадания в выгрузку -- направляются на удаление к хостеру) согласно ОТДЕЛЬНОМУ РЕШЕНИЮ. Естественно со своим номером и датой. Потому что это ОТДЕЛЬНЫЕ, РАЗНЫЕ записи, и смешивать их ЮРИДИЧЕСКИ некорректно.

 

Другой вопрос, надо ли было ДЛЯ ОПЕРАТОРОВ "причесывать", нормализовывать эту вырезку из базы данных реестра к технологически удобному/корректному именно для целей блокирования виду.

 

С дной стороны, тупо вырезать и выгрузить ИМ проще и дешевле. А вы тут разгребайте, как хотите...

 

С другой стороны, если причесать (до голых трех списков -- URL-ов, доменов и IP в идеале), то ОПЕРАТОРАМ не попадет ни номер записи в реестре, ни реквизиты решений и органов. Операторам и проверяющим (без другого документа, НЕпубличного кстати) не будет известно, когда и по какому-такому праву конкретная страничка попала в блокировку. Соответственно, ни проверить, ни оспорить, ни предметно обсудить.

 

Конечно, есть шансы, что в результате передачи веденя реестра в ГРЧЦ что-то может поменяться к лучшему и в формате выгрузки... но эти шансы надо усиленно подталкивать весомыми пинками.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Какой-то домен резолвится в 127.0.0.1, сегодня у нас ACL по 443 порту его успешно забанил.....

Дык старые грабли же... любой забаненный в отместку может в своем DNS-е направить свой домен на IP какого-нибудь kremlin.ru или того же РКН (даже сам сервис выгрузок вроде попадал уже?). А тем более 127.0.0.1. Кстати, в реестре же его нет?

 

Именно поэтому НЕЛЬЗЯ САМОСТОЯТЕЛЬНО РЕЗОЛВИТЬ домены в том случае, если в результате будет применена блокировка по IP. Письмо от РКН с разъяснением где-то здесь пролетало, но я навскидку не нашел. Это 127.0.0.1 можно отследить автоматом -- а проверять регулярно ВЕСЬ список на предмет умышленного блокирования заодно какого-нибудь *.gov.ru даже вручную не получится. Так что пусть лучше реестрописатели отвечают за правильность IP-адресов в их выгрузке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те же Грани ну е*баните вы весь домен, накой эти 365 записей в реестре???? Неужели нет никакого промежуточного сотрудника для проверки реестра, который разбирается в структуре запроса к страницам и понимает что оставлять в реестре /# это верх безграмотности, а ещё // и ​ и т.д...

Операторам в выгрузку попадает часть исходного реестра -- то есть ТАК, как он идет по процедуре формирования -- с реквизитами гос.органов, судебных решений и т.п..

 

Это не столько технологический список, сколько выписка из юридической базы данных. В которой КАЖДОЕ зеркало, КАЖДЫЙ субдомен юридически же блокируются (а ДО попадания в выгрузку -- направляются на удаление к хостеру) согласно ОТДЕЛЬНОМУ РЕШЕНИЮ. Естественно со своим номером и датой. Потому что это ОТДЕЛЬНЫЕ, РАЗНЫЕ записи, и смешивать их ЮРИДИЧЕСКИ некорректно.

 

Другой вопрос, надо ли было ДЛЯ ОПЕРАТОРОВ "причесывать", нормализовывать эту вырезку из базы данных реестра к технологически удобному/корректному именно для целей блокирования виду.

 

С дной стороны, тупо вырезать и выгрузить ИМ проще и дешевле. А вы тут разгребайте, как хотите...

 

С другой стороны, если причесать (до голых трех списков -- URL-ов, доменов и IP в идеале), то ОПЕРАТОРАМ не попадет ни номер записи в реестре, ни реквизиты решений и органов. Операторам и проверяющим (без другого документа, НЕпубличного кстати) не будет известно, когда и по какому-такому праву конкретная страничка попала в блокировку. Соответственно, ни проверить, ни оспорить, ни предметно обсудить.

 

Конечно, есть шансы, что в результате передачи веденя реестра в ГРЧЦ что-то может поменяться к лучшему и в формате выгрузки... но эти шансы надо усиленно подталкивать весомыми пинками.

 

Всё это хорошо до момента пока 24 числа ФСКН не блочит домен, а 28 тот же ФСКН блочит станицу в этом домене (цифры приблизительные, но суть ясна, не раз наблюдал такую ситуацию в реестре). Вопрос кто в данном случае за деньги налогоплательщиков занимается х*****й? И почему потом те же налогоплательщики за деньги которых создан реестр, снова за деньги налогоплательщиков пишут оптимизатор который сожмёт реестр с 8000 записей до 5000.

 

Я не против самого реестра в нём реально блочат сказочное овно, но его нынешняя реализация переведёт через ещё 8000 записей к хаусу и анархии. Одна из проблем как тут выше подсказали что господа ищут новых подопечных для реестра через тот же канал (без DPI) которым проверяют не исправились ли нынешние жители реестра :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это где так? Дайте название домена, а то я их вообще не обрабатываю только URL :)

например:

http://wiol.biz/
http://russiangirl.su/

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это где так? Дайте название домена, а то я их вообще не обрабатываю только URL :)

например:

http://wiol.biz/
http://russiangirl.su/

 

Последнее сообщение страницу назад, уже исправил :)) 7 штук насчитал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это не столько технологический список, сколько выписка из юридической базы данных. В которой КАЖДОЕ зеркало, КАЖДЫЙ субдомен юридически же блокируются (а ДО попадания в выгрузку -- направляются на удаление к хостеру) согласно ОТДЕЛЬНОМУ РЕШЕНИЮ. Естественно со своим номером и датой. Потому что это ОТДЕЛЬНЫЕ, РАЗНЫЕ записи, и смешивать их ЮРИДИЧЕСКИ некорректно.

 

А откуда такая инфа? Проблема в том, что когда был один источник знаний у РКН, то было им попроще наблюдать за содержанием списков, а сейчас 4 источника, видно теперь не справляются.

На адекватность инфу тоже проверяют иногда видимо в РКН, например судебные решения по поводу абсурдопедии вынесли давно, материал засуженый абсурдопедия не собирается удалять, о чем у неё на сайте написано, но в реест запись не поялвляется, значит всетаки часть мозгов у реестрописцев осталась...

Другое дело, что видимо никаких методов проверки изменений в реестре, изменений IP ресурсов и сокращений реестра у них не предусмотрено. Тот же лостфильм, было сначала ссылок 6, потом ещё добавили, потом ещё, и ещё, а в конце добавили <url>http://www.lostfilm.tv</url>. Логика, ау?! А в интервью ещё Жаров заявляет, что провайдеры такие не хорошие, на их призывы блокировать только по URL плохо реагируют. Конечно мне проще заблокировать то, что указано у них в реестре, но или это будет 280+ ссылок, либо 4 домена.

Или вот ещё пример:

<url>http://mirror373.graniru.info/</url>

<domain>mirror373.graniru.info</domain> Уже 373 зеркала этого ресурса и ребята до сих пор не понимают, что так и будет дальше. Но можно было бы заблокировать *.graniru.info и добавлять IP зеркал, и проблемы бы не было, но нет.

Сейчас взял за правило раз в неделю тест запускать и отправлять отчет с изменениями IP для https в РКН.

Вообщем у ребят явная проблема с логикой и пониманием того, что они пытаются сделать, в то же время с адекватностью вроде все впорядке, поэтому видимо из-за непонимания сути проблемы получается все не оч хорошо.

Если делать поуму, то вообще надо сделать как в Китае или даже ещё жесче: deny all, и составлять только белый список IP адресов (те кто сотрудничают с РФ), для открытия провайдером. Тогда отпали бы все вопросы к качеству ссылок в реестре, анонимайзерами, прокси, VPN и прочими. Но это уже к законодательному собранию надо идти

Изменено пользователем MYA

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если делать поуму, то вообще надо сделать как в Китае или даже ещё жесче: deny all, и составлять только белый список IP адресов (те кто сотрудничают с РФ), для открытия провайдером.

 

О перевыполнении планов правительства:

"Бутовский полигон. Это место именуют Русской Голгофой. Бывшая дворянская усадьба, превращенная в 30-хх годах в "спецобъект" НКВД, где в 30-хх годах ХХ века производились массовые расстрелы людей. Во исполнение решения Политбюро ВКП(б) от 2 июля 1937 г. о проведении широкомасштабной операции по репрессированию целых групп населения. Государством осуществлялось массовое истребление своего народа. Устанавливались даже "планы" - сколько человек за определенный период времени необходимо расстрелять, сколько отправить в лагеря ГУЛАГА. При этом уточнялось, что "план можно и перевыполнить"... Первое время расстрелянных закапывали в небольших ямах. Но с августа 1937 года репрессии приняли такие масштабы, что стали рыть большие рвы, длиной около 500 метров, шириной в 3 метра и глубиной в 3 метра. На краю этих рвов и расстреливали. Поименно уже известны более 20 тысяч человек человек, расстрелянных здесь в августе 1937-октябре 1938 года."

Изменено пользователем DimaM

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как на счёт состряпать коллективное письмо? Кто подпишет? Готов наваять текст и приложить алгоритмы оптимизации :)

 

30.03.2015 18:19:39 | Данные XML преобразованы в массив. URL: 7764 (из них доменов без URL: 7). HTTPS: 674.
30.03.2015 18:19:39 | Произведена выборка уникальных URL. Количество URL после выборки: 7256.
30.03.2015 18:19:54 | Произведено удаление URL для которых уже есть заблокированный домен или вышестоящий URL. Количество URL после удаления: 5059.

 

Последняя версия оптимизатора уменьшает реестр на 2705 URL 8-|

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это не столько технологический список, сколько выписка из юридической базы данных. В которой КАЖДОЕ зеркало, КАЖДЫЙ субдомен юридически же блокируются (а ДО попадания в выгрузку -- направляются на удаление к хостеру) согласно ОТДЕЛЬНОМУ РЕШЕНИЮ. Естественно со своим номером и датой. Потому что это ОТДЕЛЬНЫЕ, РАЗНЫЕ записи, и смешивать их ЮРИДИЧЕСКИ некорректно.

А откуда такая инфа?

Из чтения собственно нормативных документов (не в части блокирования операторами, а ДО того -- выявление и локализация ресурсов, занесение в Реестр, отправка предупреждений владельцам ресурсов, хостерам, проверка на удаление противоправного контента, И ТОЛЬКО ПОТОМ, кто не удалил -- выгрузка для операторов.

 

Из самой выгрузки -- иначе зачем бы там оставались наименования органов контроля и номера-даты их решений. Потому что это БАЗА ДАННЫХ для гораздо более объемной работы, чем то, что остается "добивать" операторам.

 

А в интервью ещё Жаров заявляет, что провайдеры такие не хорошие, на их призывы блокировать только по URL плохо реагируют.

Нехорошие операторы. Бедные. Мегажелезки для DPI им никто бесплатно не выдает. И пользователи почему-то не хотят оплачивать свои же кандалы ;) Несознательные наверное, граждане наши...

 

Уже 373 зеркала этого ресурса и ребята до сих пор не понимают, что так и будет дальше.

Да ладно вам так убиваться... Вы их (РКН) наверное слишком идеализируете.

 

1) 99% это не ребята, а девушки. Вернее, тетушки. Дедушкиного возраста даже скорее всего ;) Сами понимаете, НАСКОЛЬКО ГЛУБОКО им и по КАКОМУ БАРАБАНУ все эти ваши технические подробности. Зарплату платят, рабочее время идет, чайник греется... хорошо хоть не такой бред в URL вносят, как в судебных делах бывает.

 

2) РКН контора юридическая. Гуманитарная, можно сказать. Работает со СМИ, перекладывает бумажки, торгует красиво напечатанными лицензиями, ведет большие каталоги всяких наших-ваших реквизитов... а тут им какие-то ИПы с УРЛами законодатели подсунули, как хочешь -- так и вертись. Они бы даже и въехали... но сами же сказали -- не по профилю, не по тематике им эта деятельность -- поэтому и не парятся НАШИМИ удобствами. Не обязаны. Слуги народа. Но не слуги операторов.

 

3) Техосмотром автотранспорта тоже сначала ГАИ занималось, помните?

По мере технического усложнения предмета, аппаратных проверок -- отдали техосмотр специальным конторам.

А поскольку техосмотровые конторы уже особо пощипать с автовладельцев власти не имеют, а работать приходится -- отдали теперь уже страховым конторам.

Ну, страховым, понятно -- их только денежки интересуют. В общем, на тормозах все и спустили.

 

Интересно, на каком этапе мы в этой теме?

Прокуроры ДО реестра судами подзадрали... потом "в реестре нет -- идите лесом"... счас в ГРЧЦ выгрузку и КОНТРОЛЬ передают.

Что дальше?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

счас в ГРЧЦ выгрузку и КОНТРОЛЬ передают.

Что дальше?

Ресстры непосредственно от Мосгорсуда, ФСКН и РАО...

 

И полнейшее наплевательство на содержимое реестров и испольнение фильтрации со стороны контролирующего органа (РКН).

 

Полная аналогия, вобщем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.