azhur Опубликовано 11 июля, 2015 · Жалоба Что-то вроде ошибка, проверяю реестр от 10 утра, а возвращает 11. Где-то не допатчены таймзоны? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 11 июля, 2015 · Жалоба Что-то вроде ошибка, проверяю реестр от 10 утра, а возвращает 11. Я просто транслирую циферку, полученную от РКН. Так же, ошибка при вызове python /путь/zapret_checker.py -t в директории вызова создается каталог dump и ркн.лог, из-за чего заббикс агент не стартует А, понял, фиксед: https://github.com/yegorov-p/python-zapret-info/releases/tag/v1.3 Коллеги, существуют ли наработки по ресолвингу адресов доменов из выгрузки ? Интересует вариант с кешированием адресов, которые часто меняются, что б максимально исключить случаи выпадения сайтов из фильтрации. А зачем? Вы хотите своими силами резолвить домены из выгрузки и банить по списку полученных IP адресов? Да. Именно это. А как Вы собираетесь это делать? Я не троллю если что. Допустим, какой-нибудь ya.ru, каким образом Вы собираетесь получить список всех адресов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
voron Опубликовано 11 июля, 2015 · Жалоба Может кто-то предоставить доступ к дампу ? Или кто-то уже выкладывает в открытый доступ? С http://reestr.rublacklist.net с выдачей в json мне работать неудобно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 12 июля, 2015 · Жалоба Что-то вроде ошибка, проверяю реестр от 10 утра, а возвращает 11. Я просто транслирую циферку, полученную от РКН. Так же, ошибка при вызове python /путь/zapret_checker.py -t в директории вызова создается каталог dump и ркн.лог, из-за чего заббикс агент не стартует А, понял, фиксед: https://github.com/y...leases/tag/v1.3 Коллеги, существуют ли наработки по ресолвингу адресов доменов из выгрузки ? Интересует вариант с кешированием адресов, которые часто меняются, что б максимально исключить случаи выпадения сайтов из фильтрации. А зачем? Вы хотите своими силами резолвить домены из выгрузки и банить по списку полученных IP адресов? Да. Именно это. А как Вы собираетесь это делать? Я не троллю если что. Допустим, какой-нибудь ya.ru, каким образом Вы собираетесь получить список всех адресов? Регулярно в течении суток запрашивать DNS и запоминать все ответы. Все это хранить в кеше (сутки) и использовать этот список для роутинга трафика на фильтр, где уже будут отделены "зерна от плевел". Точно знаю что так поступают некоторые сервисы, и не хочется изобретать велосипед. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yegorov-p Опубликовано 12 июля, 2015 · Жалоба Может кто-то предоставить доступ к дампу ? Или кто-то уже выкладывает в открытый доступ? С http://reestr.rublacklist.net с выдачей в json мне работать неудобно https://github.com/zapret-info/z-i Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 13 июля, 2015 · Жалоба Да. Именно это. Лучше не делай этого Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 13 июля, 2015 (изменено) · Жалоба Регулярно в течении суток запрашивать DNS и запоминать все ответы. Все это хранить в кеше (сутки) и использовать этот список для роутинга трафика на фильтр, где уже будут отделены "зерна от плевел". Точно знаю что так поступают некоторые сервисы, и не хочется изобретать велосипед. Они делают не так, просто часто резолвят и актуализируют маршруты. В частности так делают МТС при том они все, что сыпется на IP запретный кидают на блок страницу. Но зато если какой-нибудь 2chru возмет и добавит к своим dns записям ip VK, или ещё какого-либо популярного ресурса вы сразу горя хлебнете. Изменено 13 июля, 2015 пользователем MYA Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lcgc Опубликовано 13 июля, 2015 · Жалоба недоглядели у себя - неделю был протухший ключик обновили ключ, заодно апнули дебиан с 7 на 8 (с визи до джесси) скрипт перловый, самописный, но делался по исходному образцу сейчас наблюдается странное - при запуске каждый час примерно половина попыток неудачна ! причём проблема в том, что запрос метода по схеме () возвращает пустышку (вместо строки в формате юникстайм) никто не сталкивался с подобным ? ЗЫ весь предыдущий год такой проблемы не наблюдалось Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 13 июля, 2015 · Жалоба >Они делают не так, просто часто резолвят и актуализируют маршруты. В частности так делают МТС при том они все, что сыпется на IP запретный кидают на блок страницу. Ну это проблема МТС, что они блокируют все подряд. Я то собираюсь просто сэкономить на производительности фильтра, отправляя на него не весь трафик, а только целевые IP. Если вместе с ними попадется пара сотен чужих - не проблема. L7 фильтр от этого не "опухнет". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 13 июля, 2015 · Жалоба недоглядели у себя - неделю был протухший ключик обновили ключ, заодно апнули дебиан с 7 на 8 (с визи до джесси) скрипт перловый, самописный, но делался по исходному образцу сейчас наблюдается странное - при запуске каждый час примерно половина попыток неудачна ! причём проблема в том, что запрос метода по схеме () возвращает пустышку (вместо строки в формате юникстайм) никто не сталкивался с подобным ? ЗЫ весь предыдущий год такой проблемы не наблюдалось 1. Я мб что-то упускаю, но Зачем каждый час скачивать реестр? 2. getLastDumpDate пустышку возвращает? >Они делают не так, просто часто резолвят и актуализируют маршруты. В частности так делают МТС при том они все, что сыпется на IP запретный кидают на блок страницу. Ну это проблема МТС, что они блокируют все подряд. Я то собираюсь просто сэкономить на производительности фильтра, отправляя на него не весь трафик, а только целевые IP. Если вместе с ними попадется пара сотен чужих - не проблема. L7 фильтр от этого не "опухнет". А если заносить все IP из реестра и резолвить раз пол часа/час результат будет плохой? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 13 июля, 2015 · Жалоба А за какое время у тебя примерно все домены отрезолвятся? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Sergey Gilfanov Опубликовано 13 июля, 2015 · Жалоба Я то собираюсь просто сэкономить на производительности фильтра, отправляя на него не весь трафик, а только целевые IP. Если вместе с ними попадется пара сотен чужих - не проблема. L7 фильтр от этого не "опухнет". Например, кто-нибудь из тех, что там в списке с https записан, поставит в DNS-е на свой домен IP ютуба/gmail-а. L7 фильтра про подмену даже не узнает, поди. Ели в обмен сертификатами не лезет и не смотрит, чьи там они. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 13 июля, 2015 · Жалоба Регулярно в течении суток запрашивать DNS и запоминать все ответы. Все это хранить в кеше (сутки) и использовать этот список для роутинга трафика на фильтр, где уже будут отделены "зерна от плевел". Мне кажется, это глупая затея. Кеширование DNS — это зло. Его нужно делать либо правильно (как кеширующий сервер, с рекурсором и контролем TTL), либо не делать вовсе и форвардить на DNS-сервер. У облачный сервисов IP-адрес может меняться вообще на каждый запрос. У всяких шутников он может обновляться несколько раз в час. Поэтому для сложных случаев локальный кеш не поможет, а для простых все ухудшит. А за какое время у тебя примерно все домены отрезолвятся? Вот тут я скрипт выкладывал. Из него легко извлечь список доменов, сейчас их примерно 10300. Туда же можно прикрутить разрешение доменов, думаю минут в 10 вполне можно уложиться. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 13 июля, 2015 (изменено) · Жалоба Мне кажется, это глупая затея. Кеширование DNS — это зло. Его нужно делать либо правильно (как кеширующий сервер, с рекурсором и контролем TTL), либо не делать вовсе и форвардить на DNS-сервер. У облачный сервисов IP-адрес может меняться вообще на каждый запрос. У всяких шутников он может обновляться несколько раз в час. Поэтому для сложных случаев локальный кеш не поможет, а для сложных все ухудшит. Как вариант, если очень уж охото хранить сутки, то можно реализовать так: 1. Выбрал все IP из реестра 2. Снес маршрут для фильтра 3. Составил маршрут для фильтра из IP пункта 1. 4. Резолвишь без перерывов, если нашел IP новый, которого нет в маршруте, заносишь его в маршрут. 5. Часа в 3-4 ночи повторяешь пункт 1. Сложностей в реализации как таковых не видать Вот тут я скрипт выкладывал. Из него легко извлечь список доменов, сейчас их примерно 10300. Туда же можно прикрутить разрешение доменов, думаю минут в 10 вполне можно уложиться. Я пока не вижу надобности в резолве доменов, да и РКН нас от этого отрекал... Изменено 13 июля, 2015 пользователем MYA Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swelf Опубликовано 13 июля, 2015 (изменено) · Жалоба А за какое время у тебя примерно все домены отрезолвятся? пара минут, $time python resolver.pyreal 2m11.551suser 0m0.844ssys 0m3.864s ниже мой говнкод #!/usr/bin/pythonimport socketimport reimport threadingfd = open('url.list')urls=[]ip_list=[]for l in fd.readlines(): try: #domain = re.match(r'https?://([^/]+)/?.*',l).group(1).replace('\n','') domain = re.match(r'(http)?s?(://)?([^/]+)/?.*',l).group(3).replace('\n','') urls.append(domain) except: passurls=list(set(urls))j=0def resolve(urls): global ip_list global j while len(urls)>0: domain = urls.pop() try: r = socket.gethostbyname_ex(domain) #print r for i in r[2]: ip_list.append(i) except: #print 'not found' #print k j = j + 1 #print jthreads=[]for k in range(200): t = threading.Thread(target=resolve,args=(urls,)) threads.append(t) t.start()for t in threads: t.join()print '################'print len(ip_list)print jfd.close()fd = open('ip.list.resolved','w+')for i in set(ip_list): fd.write("%s\n" % i)fd.close() Я пока не вижу надобности в резолве доменов, да и РКН нас от этого отрекал... Я тоже против, но в нашем случаи их не волнуют то, что домен сменил ip адреса, "страница открывается - не соблюдаете закон". Изменено 13 июля, 2015 пользователем swelf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 13 июля, 2015 · Жалоба но в нашем случаи их не волнуют то, что домен сменил ip адреса, "страница открывается - не соблюдаете закон". Если в реестре указан URL/домен, а не IP — они правы, блокировать нужно по доменному имени. Самостоятельное разрешение имен в IP вылезет боком. В крайнем случае, если все же так делать, нужно делать список записей где разрешенный IP и IP в реестре различаются и высылать админу. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swelf Опубликовано 13 июля, 2015 · Жалоба Если в реестре указан URL/домен, а не IP — они правы, блокировать нужно по доменному имени. Самостоятельное разрешение имен в IP вылезет боком. Есть програмка от РКН(не я проверкой занимаюсь, не помню как называется), каждую неделю нам присылают список урл, и их не волнует, сменился ли ip или нет, страница открывается и это плохо. Боком уже вылезало, когда я резолвил и https домены, лишние ip попадали в список, теперь я обновляю список только для перенаправления 80го порта. И пока проблем нет, да и не вижу какие могут быть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tem Опубликовано 13 июля, 2015 · Жалоба Боком уже вылезало, когда я резолвил и https домены, лишние ip попадали в список, теперь я обновляю список только для перенаправления 80го порта. И пока проблем нет, да и не вижу какие могут быть. Помимо 80 порта в реестре есть 21 8001 8080 24680 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 13 июля, 2015 (изменено) · Жалоба Я тоже против, но в нашем случаи их не волнуют то, что домен сменил ip адреса, "страница открывается - не соблюдаете закон". берете все IP, которых нет в реестре и отправляете в РКН. Я так каждую неделю делаю, зато с правовой точки зрения это самый правильный выход. И в суде эти письма должны повлиять сильно на исход дела. Кстати по поводу: "Открывается - не соблюдаете закон", если было бы так, то тогда всех бы провадеров уже бы лишили лицензии. В законе четко сказано - ограничить. Ограничивайте все http ссылки и тоже всегда будет ответ на притензии. На 80 порту ты всегда и всех ограничиваешь, а на 443 не судьба, т.к. IP адреса меняются и не всегда аактуальны в реестре. Не знаю как у вас, а у нас РКН проверяет и притензий не имеет, зато вот с прокуратурой тяжело. Самое смешное, что в их списке домены могут быть намешаны с кирилицей и латиницей, а проверяют они всяко разно, и некоторые даже открываются при такой схеме... Хотя открывается конечно не то, что изначально предпалагалось блокировать, но прокуратура для того и проверяет, чтобы предраться к любой мелочи. Изменено 13 июля, 2015 пользователем MYA Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lcgc Опубликовано 13 июля, 2015 · Жалоба 1. Я мб что-то упускаю, но Зачем каждый час скачивать реестр? 2. getLastDumpDate пустышку возвращает? 1. я не то чтобы скачиваю - я запрашиваю информацию, в том числе: lastDumpDateUrgently - Момент времени, когда в выгрузку последний раз были внесены изменения, требующие незамедлительного реагирования. 2. да, пустышку; причём и getLastDumpDate, и getLastDumpDateEx ведут себя похожим образом Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MYA Опубликовано 15 июля, 2015 · Жалоба 1. Я мб что-то упускаю, но Зачем каждый час скачивать реестр? 2. getLastDumpDate пустышку возвращает? 1. я не то чтобы скачиваю - я запрашиваю информацию, в том числе: lastDumpDateUrgently - Момент времени, когда в выгрузку последний раз были внесены изменения, требующие незамедлительного реагирования. 2. да, пустышку; причём и getLastDumpDate, и getLastDumpDateEx ведут себя похожим образом LastDumpDate у меня присутствует и всегда возращает дату, если нет проблем с сервисом РКН. С такой проблемой не сталкивался. Составь отдельные скрипты с каждым методом и попробуй позапускать на разных машинах. Так хотя бы поймешь проблема в системе и библиотеках или же в коде. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ilyamikov Опубликовано 15 июля, 2015 (изменено) · Жалоба Привет всем! Мы создали сервис для выполнения требований 139-ФЗ ---> http://fz139.ru/ Правда он, конечно, платный. Из требований - только виртуалка у провайдера. Если кого заинтересует, пишите. Изменено 15 июля, 2015 пользователем ilyamikov Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 15 июля, 2015 · Жалоба 200 тысяч? За неизвестную самоделку, причем без фильтрации списков Минюста? Это серьезно? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ilili Опубликовано 15 июля, 2015 · Жалоба Куку, *** Привет всем! Мы создали сервис для выполнения требований 139-ФЗ ---> http://fz139.ru/ Правда он, конечно, платный. Из требований - только виртуалка у провайдера. Если кого заинтересует, пишите. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
stas_k Опубликовано 15 июля, 2015 · Жалоба Привет всем! производительностьзависитот Вот вам пробелы: поправьте свое позорище. Правда он, конечно, платный. Пробелы бесплатно. Не благодарите. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...