MYA

Я за 3 минуты курлю почти 12 тыщ ссылок, пробовал быстрее, но система подвисает

1. я не то чтобы скачиваю - я запрашиваю информацию, в том числе: lastDumpDateUrgently - Момент времени, когда в выгрузку последний раз были внесены изменения, требующие незамедлительного реагирования. 2. да, пустышку; причём и getLastDumpDate, и getLastDumpDateEx ведут себя похожим образом LastDumpDate у меня присутствует и всегда возращает дату, если нет проблем с сервисом РКН. С такой проблемой не сталкивался. Составь отдельные скрипты с каждым методом и попробуй позапускать на разных машинах. Так хотя бы поймешь проблема в системе и библиотеках или же в коде.

берете все IP, которых нет в реестре и отправляете в РКН. Я так каждую неделю делаю, зато с правовой точки зрения это самый правильный выход. И в суде эти письма должны повлиять сильно на исход дела. Кстати по поводу: "Открывается - не соблюдаете закон", если было бы так, то тогда всех бы провадеров уже бы лишили лицензии. В законе четко сказано - ограничить. Ограничивайте все http ссылки и тоже всегда будет ответ на притензии. На 80 порту ты всегда и всех ограничиваешь, а на 443 не судьба, т.к. IP адреса меняются и не всегда аактуальны в реестре. Не знаю как у вас, а у нас РКН проверяет и притензий не имеет, зато вот с прокуратурой тяжело. Самое смешное, что в их списке домены могут быть намешаны с кирилицей и латиницей, а проверяют они всяко разно, и некоторые даже открываются при такой схеме... Хотя открывается конечно не то, что изначально предпалагалось блокировать, но прокуратура для того и проверяет, чтобы предраться к любой мелочи.

Как вариант, если очень уж охото хранить сутки, то можно реализовать так: 1. Выбрал все IP из реестра 2. Снес маршрут для фильтра 3. Составил маршрут для фильтра из IP пункта 1. 4. Резолвишь без перерывов, если нашел IP новый, которого нет в маршруте, заносишь его в маршрут. 5. Часа в 3-4 ночи повторяешь пункт 1. Сложностей в реализации как таковых не видать Я пока не вижу надобности в резолве доменов, да и РКН нас от этого отрекал...

А за какое время у тебя примерно все домены отрезолвятся?

1. Я мб что-то упускаю, но Зачем каждый час скачивать реестр? 2. getLastDumpDate пустышку возвращает? А если заносить все IP из реестра и резолвить раз пол часа/час результат будет плохой?

Они делают не так, просто часто резолвят и актуализируют маршруты. В частности так делают МТС при том они все, что сыпется на IP запретный кидают на блок страницу. Но зато если какой-нибудь 2chru возмет и добавит к своим dns записям ip VK, или ещё какого-либо популярного ресурса вы сразу горя хлебнете.

Лучше не делай этого

А если нет такого атрибута? http://vigruzki.rkn.gov.ru/docs/description_for_operators_actual.pdf Отсутствие значение и означает default, видимо... Другое дело, что закон не редактировали, а по закону провайдер имеет право блокировать любым из 3х способов, разве нет?

Ну да, можно вообще все домены из реестра резолвить на блок страницу, только запар больше а смысла не особо много. У нас например c РКН впн и они могут, когда угодно проверить, да и в домен мы их не пускаем и днсы свои не предоставляем. А вот, когда прокуратура проверяет, то садите её за комп в офисной сети, на которой соц сети перекрыты, проблем будет меньше.

Ты про домен? Точка в конце домена - это что-то типо рудимента для большинства утилит, в т.ч. браузера. По правилам точка (корневой домен) должна быть в конце любого домена. https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D0%BD%D0%B5%D0%B2%D0%BE%D0%B9_%D0%B4%D0%BE%D0%BC%D0%B5%D0%BD Я кстати писал выше, что любой домен типа www.foo.bar блокирую так: *.foo.bar foo.bar *.foo.bar. foo.bar. И спрашивал как народ делает и учитывает ли это...

Если редирект, то конечно надо. По сути перед редиректом у вас открывается сайт medikafarm.com перед отправкой пользователя на другой ресурс. Другое дело, что возможно нет IP-адреса сайта medikafarm.com в реестре и у вас возможно поэтому он открывается (зависит от алгоритма блокирования). Если блокировать по URL или доменам в HTTP запросах, то ресурс medikafarm.com блокируется без проблем, а вот если вы (как сказано в рекомендация РКН) вычленняете из HTTP запроса домен, потом резолвите его в IP, потом сверяете IP с списком запрещенных, чтобы перенаправить запрос по определенному маршруту для дальнейших проверок URL, тогда у вас сайт данный не заблокируется, если его IP нет в реестре. Как-то так.

Видно не верная ссылка. У меня, например, скрипт скачивания, который работал без проблем, ломался, когда версию ввели в реестры, но там другая ошибка была (Error: не указана версия формата). Буквально добалвение третьей переменной с указанием версии реестра решило проблему, правда она фактически бесполезна, т.к. других версий у РКН не предусмотренно, а при попытке скачать версию 2.0, все равно скачивается новая (2.1 кажется) и тестовые реестры у них по другой ссылке, хотя можно было бы просто указывать версию, например "test 3.0" и т.п.

Ну да, да меня не напрягает. Сделал скрипт, раз в неделю его запускаю, отчет к ним отправляю.

Смотря какой вопрос. Если правовой, то могут ответить в течение месяца, если информационный, например я скидывал ip адреса ресурсов, которые не прекрыты, то в тчение недели. Если какой-нибдуь сложный вопрос, то, скорее всего, не ответят. Во всяком случае мне на вопрос про то надо ли блокировать домены более высокого уровня не ответили, а на письмо с ресурсами, которые изменили свои ip адреса, отвечали буквально не следующий день.

А откуда такая инфа? Проблема в том, что когда был один источник знаний у РКН, то было им попроще наблюдать за содержанием списков, а сейчас 4 источника, видно теперь не справляются. На адекватность инфу тоже проверяют иногда видимо в РКН, например судебные решения по поводу абсурдопедии вынесли давно, материал засуженый абсурдопедия не собирается удалять, о чем у неё на сайте написано, но в реест запись не поялвляется, значит всетаки часть мозгов у реестрописцев осталась... Другое дело, что видимо никаких методов проверки изменений в реестре, изменений IP ресурсов и сокращений реестра у них не предусмотрено. Тот же лостфильм, было сначала ссылок 6, потом ещё добавили, потом ещё, и ещё, а в конце добавили <url>http://www.lostfilm.tv</url>. Логика, ау?! А в интервью ещё Жаров заявляет, что провайдеры такие не хорошие, на их призывы блокировать только по URL плохо реагируют. Конечно мне проще заблокировать то, что указано у них в реестре, но или это будет 280+ ссылок, либо 4 домена. Или вот ещё пример: <url>http://mirror373.graniru.info/</url> <domain>mirror373.graniru.info</domain> Уже 373 зеркала этого ресурса и ребята до сих пор не понимают, что так и будет дальше. Но можно было бы заблокировать *.graniru.info и добавлять IP зеркал, и проблемы бы не было, но нет. Сейчас взял за правило раз в неделю тест запускать и отправлять отчет с изменениями IP для https в РКН. Вообщем у ребят явная проблема с логикой и пониманием того, что они пытаются сделать, в то же время с адекватностью вроде все впорядке, поэтому видимо из-за непонимания сути проблемы получается все не оч хорошо. Если делать поуму, то вообще надо сделать как в Китае или даже ещё жесче: deny all, и составлять только белый список IP адресов (те кто сотрудничают с РФ), для открытия провайдером. Тогда отпали бы все вопросы к качеству ссылок в реестре, анонимайзерами, прокси, VPN и прочими. Но это уже к законодательному собранию надо идти

Теоретически все может быть...

У меня есть, но там много лишнего, я когда составлял, сделал сначала одним методом потом другим, проверки старого не удаляя. Тоже curl использовал... Раньше был с сайта мин.юста: Name: www.sakh-88.nm.ru Address: 127.0.0.1 Видимо уже удалили запись из реестра, у меня 45 минут назад актуализировался список, не было этого ip в реестре)

по домену блокирую у меня 17 было в момент проверки РКН. при этом 14 из них https и ip, которого нет в реестре. Да и не как пользователь, по урл конечно блокировать прикольно, да, но смысла от этого совсем мало с моральной точки зрения. Хотя в методе работы РКН и их реестра вообще мало смысла. IPv6 нет в списке, РКН призывает блочить по URL, при этом давая ссылки и ип, на некоторые ресурсы можно зайти подставив заместо домена указаный в реестре ip. Прокси, ВПН, анонимные сети их не колышат нисколько. Если блокировать исключительно по URL (как они есть), то выходит,что не надо блокировать те же url с www или без в домене. В общем цирк и бесмысленная деятельность, на которую уходят наши с вами налоги.

Я имел введу, что у них вообще не работает проверка на дубли. Плюс ко всему, интересно, к какому провайдеру они подключены, что у них эти страницы открылись, после первого занесения в реестр сайта ? Скорее всего у них не блокируется. Ведь занесение в реестр можно обжаловать, удалить запрещенную инфу и сотрудник из РКН должен проверить действительно ли удалена незаконная информация.

А потом на очередном cats.graniru.info будут лежат котики... Которые блокировать нельзя. И про которых обязательно заявление в суд устроят и вообще шум поднимут. О да, а если заблокировать по ip то лежать не будет? По заявлениям того же РКН 30% провайдеров блокируют по ip. Это уже проблема ресурса будет отделится от данного домена/ip, что нарушает законы РФ. Провайдер обязан ограничивать доступ, но имеет право выбрать удобный для себя метод. Я понимаю домены 1 и 2 уровня принципиальны, а дальше.. можно блочить любые. Тем более, что основные крупные ресурсы сотрудничают с РКН (про blogspot не уверен). У нас был абонент, который жаловался на недоступность кооперативной почты, домен которой принадлежал букмекерам и находился в реестре. Я задал вопрос РКН по правомерности наших действий в официальной группе в контакте, т.к. там отвечают быстро, через неделю попросили написать письмо в ТП РКН, сделал, РКН молчит, значит делаю вывод, что действия наши правомерны. Прокси, DNS или ещё какой вариант? Воопрос не про узел связи, а про узел фильтрации, т.е. (насколько я понимаю методы, которыми вы ограничиваете) например DNS, Прокси, DPI, ACL на головной станции/маршрутизаторе/ТКД и т.п.

А можно пруф? Я писал письма по этому поводу в ТП РКН, в группе в контакте, но ответа не получил до сих пор. С другой стороны сам РКН занимается ересью и каждый день добавляют новое зеркало mirrorN.graniru.info, сегодня уже вот 317-тое. Заблокировали бы *.graniru.info и добавляли бы только IP адреса, при поступлении постановлений. Лишняя ведь нагрузка на железо операторов зеркалов кучу подобных блочить...

Добрый день, товарищи форумчане. Вопрос к тем, кто использует cisco SCE для блокировки URL/доменов из РКН реестров. При добавлении записи, например foo.bar, страница сайта http://foo.bar не отроется, а вот если попробовать открыть страницу http://foo.bar./, т.е. с указанием корневого домена url сайта, то страница откроется. В итоге для блокировки одного домена foo.bar приходится добавлять 4 записи: *.foo.bar; foo.bar; *.foo.bar.; foo.bar. Наблюдал ли кто-нибудь подобное? Баг это или фича SCE? Как вылечить подобное?