Перейти к содержимому
Калькуляторы

Опубликована Процедура блокировки некошерной инфо

Что-то вроде ошибка, проверяю реестр от 10 утра, а возвращает 11.

Где-то не допатчены таймзоны?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-то вроде ошибка, проверяю реестр от 10 утра, а возвращает 11.

 

Я просто транслирую циферку, полученную от РКН.

 

Так же, ошибка при вызове python /путь/zapret_checker.py -t в директории вызова создается каталог dump и ркн.лог, из-за чего заббикс агент не стартует

 

А, понял, фиксед: https://github.com/yegorov-p/python-zapret-info/releases/tag/v1.3

 

Коллеги, существуют ли наработки по ресолвингу адресов доменов из выгрузки ?

Интересует вариант с кешированием адресов, которые часто меняются, что б максимально исключить случаи выпадения сайтов из фильтрации.

 

А зачем? Вы хотите своими силами резолвить домены из выгрузки и банить по списку полученных IP адресов?

 

 

Да. Именно это.

 

А как Вы собираетесь это делать? Я не троллю если что. Допустим, какой-нибудь ya.ru, каким образом Вы собираетесь получить список всех адресов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Может кто-то предоставить доступ к дампу ? Или кто-то уже выкладывает в открытый доступ? С http://reestr.rublacklist.net с выдачей в json мне работать неудобно

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Что-то вроде ошибка, проверяю реестр от 10 утра, а возвращает 11.

Я просто транслирую циферку, полученную от РКН.

 

Так же, ошибка при вызове python /путь/zapret_checker.py -t в директории вызова создается каталог dump и ркн.лог, из-за чего заббикс агент не стартует

А, понял, фиксед: https://github.com/y...leases/tag/v1.3

 

Коллеги, существуют ли наработки по ресолвингу адресов доменов из выгрузки ?

Интересует вариант с кешированием адресов, которые часто меняются, что б максимально исключить случаи выпадения сайтов из фильтрации.

А зачем? Вы хотите своими силами резолвить домены из выгрузки и банить по списку полученных IP адресов?

 

Да. Именно это.

А как Вы собираетесь это делать? Я не троллю если что. Допустим, какой-нибудь ya.ru, каким образом Вы собираетесь получить список всех адресов?

 

Регулярно в течении суток запрашивать DNS и запоминать все ответы. Все это хранить в кеше (сутки) и использовать этот список для роутинга трафика на фильтр, где уже будут отделены "зерна от плевел".

Точно знаю что так поступают некоторые сервисы, и не хочется изобретать велосипед.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Может кто-то предоставить доступ к дампу ? Или кто-то уже выкладывает в открытый доступ? С http://reestr.rublacklist.net с выдачей в json мне работать неудобно

https://github.com/zapret-info/z-i

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Регулярно в течении суток запрашивать DNS и запоминать все ответы. Все это хранить в кеше (сутки) и использовать этот список для роутинга трафика на фильтр, где уже будут отделены "зерна от плевел".

Точно знаю что так поступают некоторые сервисы, и не хочется изобретать велосипед.

Они делают не так, просто часто резолвят и актуализируют маршруты. В частности так делают МТС при том они все, что сыпется на IP запретный кидают на блок страницу. Но зато если какой-нибудь 2chru возмет и добавит к своим dns записям ip VK, или ещё какого-либо популярного ресурса вы сразу горя хлебнете.

Изменено пользователем MYA

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

недоглядели у себя - неделю был протухший ключик

обновили ключ, заодно апнули дебиан с 7 на 8 (с визи до джесси)

 

скрипт перловый, самописный, но делался по исходному образцу

 

сейчас наблюдается странное - при запуске каждый час примерно половина попыток неудачна !

причём проблема в том, что запрос метода по схеме () возвращает пустышку (вместо строки в формате юникстайм)

 

никто не сталкивался с подобным ?

 

ЗЫ весь предыдущий год такой проблемы не наблюдалось

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

>Они делают не так, просто часто резолвят и актуализируют маршруты. В частности так делают МТС при том они все, что сыпется на IP запретный кидают на блок страницу.

Ну это проблема МТС, что они блокируют все подряд. Я то собираюсь просто сэкономить на производительности фильтра, отправляя на него не весь трафик, а только целевые IP. Если вместе с ними попадется пара сотен чужих - не проблема.

L7 фильтр от этого не "опухнет".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

недоглядели у себя - неделю был протухший ключик

обновили ключ, заодно апнули дебиан с 7 на 8 (с визи до джесси)

 

скрипт перловый, самописный, но делался по исходному образцу

 

сейчас наблюдается странное - при запуске каждый час примерно половина попыток неудачна !

причём проблема в том, что запрос метода по схеме () возвращает пустышку (вместо строки в формате юникстайм)

 

никто не сталкивался с подобным ?

 

ЗЫ весь предыдущий год такой проблемы не наблюдалось

1. Я мб что-то упускаю, но Зачем каждый час скачивать реестр?

2. getLastDumpDate пустышку возвращает?

 

>Они делают не так, просто часто резолвят и актуализируют маршруты. В частности так делают МТС при том они все, что сыпется на IP запретный кидают на блок страницу.

Ну это проблема МТС, что они блокируют все подряд. Я то собираюсь просто сэкономить на производительности фильтра, отправляя на него не весь трафик, а только целевые IP. Если вместе с ними попадется пара сотен чужих - не проблема.

L7 фильтр от этого не "опухнет".

А если заносить все IP из реестра и резолвить раз пол часа/час результат будет плохой?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А за какое время у тебя примерно все домены отрезолвятся?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я то собираюсь просто сэкономить на производительности фильтра, отправляя на него не весь трафик, а только целевые IP. Если вместе с ними попадется пара сотен чужих - не проблема. L7 фильтр от этого не "опухнет".

Например, кто-нибудь из тех, что там в списке с https записан, поставит в DNS-е на свой домен IP ютуба/gmail-а. L7 фильтра про подмену даже не узнает, поди. Ели в обмен сертификатами не лезет и не смотрит, чьи там они.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Регулярно в течении суток запрашивать DNS и запоминать все ответы. Все это хранить в кеше (сутки) и использовать этот список для роутинга трафика на фильтр, где уже будут отделены "зерна от плевел".

Мне кажется, это глупая затея.

Кеширование DNS — это зло. Его нужно делать либо правильно (как кеширующий сервер, с рекурсором и контролем TTL), либо не делать вовсе и форвардить на DNS-сервер.

У облачный сервисов IP-адрес может меняться вообще на каждый запрос.

У всяких шутников он может обновляться несколько раз в час.

Поэтому для сложных случаев локальный кеш не поможет, а для простых все ухудшит.

 

А за какое время у тебя примерно все домены отрезолвятся?

Вот тут я скрипт выкладывал.

Из него легко извлечь список доменов, сейчас их примерно 10300.

Туда же можно прикрутить разрешение доменов, думаю минут в 10 вполне можно уложиться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне кажется, это глупая затея.

Кеширование DNS — это зло. Его нужно делать либо правильно (как кеширующий сервер, с рекурсором и контролем TTL), либо не делать вовсе и форвардить на DNS-сервер.

У облачный сервисов IP-адрес может меняться вообще на каждый запрос.

У всяких шутников он может обновляться несколько раз в час.

Поэтому для сложных случаев локальный кеш не поможет, а для сложных все ухудшит.

 

Как вариант, если очень уж охото хранить сутки, то можно реализовать так:

1. Выбрал все IP из реестра

2. Снес маршрут для фильтра

3. Составил маршрут для фильтра из IP пункта 1.

4. Резолвишь без перерывов, если нашел IP новый, которого нет в маршруте, заносишь его в маршрут.

5. Часа в 3-4 ночи повторяешь пункт 1.

 

Сложностей в реализации как таковых не видать

 

Вот тут я скрипт выкладывал.

Из него легко извлечь список доменов, сейчас их примерно 10300.

Туда же можно прикрутить разрешение доменов, думаю минут в 10 вполне можно уложиться.

 

Я пока не вижу надобности в резолве доменов, да и РКН нас от этого отрекал...

Изменено пользователем MYA

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А за какое время у тебя примерно все домены отрезолвятся?

 

пара минут,

 

$time python resolver.pyreal    2m11.551suser    0m0.844ssys     0m3.864s

 

ниже мой говнкод

 

#!/usr/bin/pythonimport socketimport reimport threadingfd = open('url.list')urls=[]ip_list=[]for l in fd.readlines():   try:       #domain = re.match(r'https?://([^/]+)/?.*',l).group(1).replace('\n','')       domain = re.match(r'(http)?s?(://)?([^/]+)/?.*',l).group(3).replace('\n','')       urls.append(domain)   except:       passurls=list(set(urls))j=0def resolve(urls):   global ip_list   global j   while len(urls)>0:       domain = urls.pop()       try:           r = socket.gethostbyname_ex(domain)           #print r           for i in r[2]:               ip_list.append(i)       except:           #print 'not found'       #print k           j = j + 1       #print jthreads=[]for k in range(200):   t = threading.Thread(target=resolve,args=(urls,))   threads.append(t)   t.start()for t in threads:   t.join()print '################'print len(ip_list)print jfd.close()fd = open('ip.list.resolved','w+')for i in set(ip_list):   fd.write("%s\n" % i)fd.close()

 

 

Я пока не вижу надобности в резолве доменов, да и РКН нас от этого отрекал...

Я тоже против, но в нашем случаи их не волнуют то, что домен сменил ip адреса, "страница открывается - не соблюдаете закон".

Изменено пользователем swelf

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

но в нашем случаи их не волнуют то, что домен сменил ip адреса, "страница открывается - не соблюдаете закон".

 

Если в реестре указан URL/домен, а не IP — они правы, блокировать нужно по доменному имени.

Самостоятельное разрешение имен в IP вылезет боком.

В крайнем случае, если все же так делать, нужно делать список записей где разрешенный IP и IP в реестре различаются и высылать админу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если в реестре указан URL/домен, а не IP — они правы, блокировать нужно по доменному имени.

Самостоятельное разрешение имен в IP вылезет боком.

 

Есть програмка от РКН(не я проверкой занимаюсь, не помню как называется), каждую неделю нам присылают список урл, и их не волнует, сменился ли ip или нет, страница открывается и это плохо.

Боком уже вылезало, когда я резолвил и https домены, лишние ip попадали в список, теперь я обновляю список только для перенаправления 80го порта. И пока проблем нет, да и не вижу какие могут быть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Боком уже вылезало, когда я резолвил и https домены, лишние ip попадали в список, теперь я обновляю список только для перенаправления 80го порта. И пока проблем нет, да и не вижу какие могут быть.

 

 

Помимо 80 порта в реестре есть

21

8001

8080

24680

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я тоже против, но в нашем случаи их не волнуют то, что домен сменил ip адреса, "страница открывается - не соблюдаете закон".

 

берете все IP, которых нет в реестре и отправляете в РКН.

Я так каждую неделю делаю, зато с правовой точки зрения это самый правильный выход. И в суде эти письма должны повлиять сильно на исход дела.

Кстати по поводу: "Открывается - не соблюдаете закон", если было бы так, то тогда всех бы провадеров уже бы лишили лицензии. В законе четко сказано - ограничить. Ограничивайте все http ссылки и тоже всегда будет ответ на притензии.

На 80 порту ты всегда и всех ограничиваешь, а на 443 не судьба, т.к. IP адреса меняются и не всегда аактуальны в реестре.

Не знаю как у вас, а у нас РКН проверяет и притензий не имеет, зато вот с прокуратурой тяжело. Самое смешное, что в их списке домены могут быть намешаны с кирилицей и латиницей, а проверяют они всяко разно, и некоторые даже открываются при такой схеме... Хотя открывается конечно не то, что изначально предпалагалось блокировать, но прокуратура для того и проверяет, чтобы предраться к любой мелочи.

Изменено пользователем MYA

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Я мб что-то упускаю, но Зачем каждый час скачивать реестр?

2. getLastDumpDate пустышку возвращает?

 

1. я не то чтобы скачиваю - я запрашиваю информацию, в том числе:

lastDumpDateUrgently - Момент времени, когда в выгрузку последний раз были внесены изменения, требующие незамедлительного реагирования.

 

2. да, пустышку; причём и getLastDumpDate, и getLastDumpDateEx ведут себя похожим образом

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Я мб что-то упускаю, но Зачем каждый час скачивать реестр?

2. getLastDumpDate пустышку возвращает?

 

1. я не то чтобы скачиваю - я запрашиваю информацию, в том числе:

lastDumpDateUrgently - Момент времени, когда в выгрузку последний раз были внесены изменения, требующие незамедлительного реагирования.

 

2. да, пустышку; причём и getLastDumpDate, и getLastDumpDateEx ведут себя похожим образом

LastDumpDate у меня присутствует и всегда возращает дату, если нет проблем с сервисом РКН.

С такой проблемой не сталкивался. Составь отдельные скрипты с каждым методом и попробуй позапускать на разных машинах. Так хотя бы поймешь проблема в системе и библиотеках или же в коде.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Привет всем!

Мы создали сервис для выполнения требований 139-ФЗ ---> http://fz139.ru/

Правда он, конечно, платный.

Из требований - только виртуалка у провайдера.

Если кого заинтересует, пишите.

Изменено пользователем ilyamikov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

200 тысяч?

За неизвестную самоделку, причем без фильтрации списков Минюста?

Это серьезно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Куку, ***

 

 

Привет всем!

Мы создали сервис для выполнения требований 139-ФЗ ---> http://fz139.ru/

Правда он, конечно, платный.

Из требований - только виртуалка у провайдера.

Если кого заинтересует, пишите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Привет всем!

 

nag-fz-139.jpg

 

производительностьзависитот

 

Вот вам пробелы:          

 

поправьте свое позорище.

 

Правда он, конечно, платный.

Пробелы бесплатно. Не благодарите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.