Jump to content
Калькуляторы
Блокировка веб ресурса  

534 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

11 minutes ago, oleg_n said:

youtube опять отвалился. s.ytimg.com в блоке.

Он никуда и не вылезал из блока

Share this post


Link to post
Share on other sites

Вчера как-то пробивался. Я уж подумал, что всё нормально :-).

Share this post


Link to post
Share on other sites
1 минуту назад, oleg_n сказал:

Вчера как-то пробивался. Я уж подумал, что всё нормально :-).

там IP меняется постоянно, иногда попадают на блоченые иногда нет, часто отдается 6 IP из которых 2-3-4-5 только в блоке, тогда как Вашему браузеру свезло выбрать IP. Там нет 1 IP на весь мир который то есть в базе то нет. База в этом плане с субботы не сильно поменялась, какую то часть вчера, сегодня вынесли, но очень много гугловых IP еще там. А вото IP у сервисов крутятся постоянно. соответственно то попадают, то нет на блок.

Share this post


Link to post
Share on other sites
1 час назад, st_re сказал:

там IP меняется постоянно, иногда попадают на блоченые иногда нет, часто отдается 6 IP из которых 2-3-4-5 только в блоке, тогда как Вашему браузеру свезло выбрать IP. Там нет 1 IP на весь мир который то есть в базе то нет. База в этом плане с субботы не сильно поменялась, какую то часть вчера, сегодня вынесли, но очень много гугловых IP еще там. А вото IP у сервисов крутятся постоянно. соответственно то попадают, то нет на блок.

Для чего у них так ? Балансировка?)

Share this post


Link to post
Share on other sites

я просто загнал в private-address все 5+ тыщ префиксов с типом блокировки "по ip". если там попадется какой-то из полностью заблоченных (например, lcprd1.samsungcloudsolution.net), то клиенту по барабану, сразу оно недоступно из-за отсутствия днс-записей или по таймауту из-за того, что пакеты в нуль смаршрутизированы. зато теперь хоть инструмент диагностики есть - если наш днс возвращает 0 записей, а гуглоднс больше 0, значит ip в блоке. =) ну а частично заблоченные хосты, типа www.google.com, будут работать. автомагически.

Share this post


Link to post
Share on other sites
2 часа назад, boco сказал:

я просто загнал в private-address все 5+ тыщ префиксов с типом блокировки "по ip". если там попадется какой-то из полностью заблоченных (например, lcprd1.samsungcloudsolution.net), то клиенту по барабану, сразу оно недоступно из-за отсутствия днс-записей или по таймауту из-за того, что пакеты в нуль смаршрутизированы. зато теперь хоть инструмент диагностики есть - если наш днс возвращает 0 записей, а гуглоднс больше 0, значит ip в блоке. =) ну а частично заблоченные хосты, типа www.google.com, будут работать. автомагически.

тоже сегодня автоматизировал формирование конфига private-address из дампа  и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.)

Share this post


Link to post
Share on other sites
В 24.04.2018 в 14:04, admf сказал:

уже интереснее, у меня стоит от myth11,  попробую собрать от max197616 - посмотрим что изменится.

 

А формируете файлы для фильтра чем?, если, что я формирую скриптом от Max, https://github.com/max197616/extfilter/tree/master/scripts/extfilter-maker

одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть

вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru

 

напомню обсуждаем nfqfilter

 

upd:

ещё вопросец по https://github.com/max197616/zapret/tree/dev

натравливаю

[root@zapret-vm dev]# mysql -uroot -p rkn < update.sql
Enter password:
ERROR 1060 (42S21) at line 1: Duplicate column name 'hash'
 

Share this post


Link to post
Share on other sites
7 часов назад, swsn сказал:

тоже сегодня автоматизировал формирование конфига private-address из дампа  и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.)

А как unbound по производительности в отличии от Bind себя поведёт при большом количестве юзеров >10k ?

Share this post


Link to post
Share on other sites
15 часов назад, alexdirty сказал:

Умственные способности "блокировщиков" не перестают удивлять.

Что они хотели добиться этими url`ами в ресеетре?


http://1000symbols.ru/?utm_source=google.ru

Wэлкам ту зе клаб... Рекомендую почитать тему Опубликована Процедура блокировки некошерной инфо, там ещё много радостей, типа анкоры, обратный слеши, концевые пробелы, и тд. и т.п.

 

4 часа назад, alexdirty сказал:

А как unbound по производительности в отличии от Bind себя поведёт при большом количестве юзеров >10k ?

Лучше.

Share this post


Link to post
Share on other sites
8 часов назад, yKpon сказал:

одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть

вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru

так же открывается

Share this post


Link to post
Share on other sites

Добрый день .
Помогите понять в чем проблема может быть.  Случается следующие , скрипт zapret.pl (для выгрузки реестра, его парсинга и занесения в базу данных для блокировки) , ведет себя странно . иногда все проходит хорошо, т.е. в базу вносятся все записи и дальше уже extfilter  полностью формирует из них все файлы . НО иногда , может и пару раз в день , (выгружаю 6 раз в день) происходит так что в базе оказывается всего 5% необходимых данных, в логе при этом вместо 69000 доменов пишет что добавлено 36 , айпишинков тоже на порядок меньше и т.д. В итоге extfilter  перезагружает  почти пустую базу  к себе и начинаются пропуски.

У меня мысли такие :
1) я чего то не понимаю и так должно быть .

2) Не хватает времени на отработку zapret.pl  (нужно в конфигах  каких то , что то увеличить.)

если  выполнять скрипт руками из консоли все норм , проблема возникает когда выполняется по cron

Если в вкратце то zapret.pl должен полностью все таблицы каждый раз обнулять и заполнять по новой информацией или все же просто добавлять в существующие новые данные .

UPD: Все нормально заработало с переносом базы данных на тот же  сервер где делается выгрузка.

Edited by IMPERATOR

Share this post


Link to post
Share on other sites
17 часов назад, swsn сказал:

тоже сегодня автоматизировал формирование конфига private-address из дампа  и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.)

А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если

 

Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11:

52.222.149.208
52.222.149.73
52.222.149.2
52.222.149.142
52.222.149.76
52.222.149.145
52.222.149.158
52.222.149.106

 

Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают:

 

13.33.23.230
54.192.98.7
54.192.98.82
54.192.98.84
54.192.98.139
54.192.98.172
54.192.98.216
54.192.98.228
54.192.98.231
13.33.23.8
13.33.23.85
13.33.23.87
13.33.23.138
13.33.23.155
13.33.23.156
13.33.23.166

Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11.

 

Другое дело когда на запрос получаем список IP в котором часть заблочена, а другая часть нет.

Edited by alexdirty

Share this post


Link to post
Share on other sites
11 минут назад, alexdirty сказал:

А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если

 

Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11:


52.222.149.208
52.222.149.73
52.222.149.2
52.222.149.142
52.222.149.76
52.222.149.145
52.222.149.158
52.222.149.106

 

Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают:

 


13.33.23.230
54.192.98.7
54.192.98.82
54.192.98.84
54.192.98.139
54.192.98.172
54.192.98.216
54.192.98.228
54.192.98.231
13.33.23.8
13.33.23.85
13.33.23.87
13.33.23.138
13.33.23.155
13.33.23.156
13.33.23.166

Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11.

 

Другое дело когда на запрос получаем список IP в котором часть заблочена, а другая часть нет.

 

Подтягиваю только 32 префиксы.

по samsung сейчас отдается:


Address: 54.192.98.172
Address: 54.192.98.139
Address: 54.192.98.7
Address: 54.192.98.82
Address: 54.192.98.84
Address: 54.192.98.216
Address: 54.192.98.228
Address: 54.192.98.231
 

Жалоб по смарту вроде не фиксируется от абонентов.

Share this post


Link to post
Share on other sites
1 час назад, alexdirty сказал:

А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если

Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11:

Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают:

Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11.

а в чем суть вопроса? если нашему нс всегда отдаются заблоченные ипы, то клиенту отдастся пустой ответ. если бы фильтра ответов не было, клиенту улетели бы заблоченные ипы и он все равно не смог бы туда попасть (т.к. заблочены), только после tcp timeout.

 

можно немного изменить схему: поставить перед анбаундом бинд с опцией forward first. тогда если бинд получит от анбаунда пустой ответ, он сам слазит в днс за ответом и отдаст клиенту все полученные записи. то есть, схема будет работать так: клиенту улетают отфильтрованные ип-адреса, если среди них есть незаблокированные и все ип-адреса, если среди них только заблокированные.

Share this post


Link to post
Share on other sites

я решил не подтягивать заблоченные сети в unbound, так как для клиентов( кроме убогой коробки от ркн) у нас сохранен доступ к определенным адресам незаконно заблокированных ресурсов типа twitch, evernote etc.

 

Share this post


Link to post
Share on other sites
13 часов назад, yKpon сказал:

одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть

вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru

 

напомню обсуждаем nfqfilter

Nfqfilter не умеет собирать tcp flow (сервер выставляет маленький tcp window, поэтому запрос разбивается на несколько пакетов), поэтому указанные хосты не могут быть заблокированы по sni. Их можно заблокировать только по ip:port.

 

13 часов назад, yKpon сказал:

ещё вопросец по https://github.com/max197616/zapret/tree/dev

натравливаю

[root@zapret-vm dev]# mysql -uroot -p rkn < update.sql
Enter password:
ERROR 1060 (42S21) at line 1: Duplicate column name 'hash'

Видимо вы уже обновили таблицу zap2_records.

Share this post


Link to post
Share on other sites
1 час назад, max1976 сказал:

Nfqfilter не умеет собирать tcp flow (сервер выставляет маленький tcp window, поэтому запрос разбивается на несколько пакетов), поэтому указанные хосты не могут быть заблокированы по sni. Их можно заблокировать только по ip:port.

научить это делать nfqfilter как то возможно?

Share this post


Link to post
Share on other sites

Добрый день.

Ни у кого не проскакивают пропуски по ресурсам hello.opentg.us и 12345.fuckrkn.us? Используем extfilter, но не из ветки exp. Вчера в отчете появились.

Share this post


Link to post
Share on other sites
1 час назад, nerik сказал:

Ни у кого не проскакивают пропуски по ресурсам hello.opentg.us и 12345.fuckrkn.us? Используем extfilter, но не из ветки exp. Вчера в отчете появились.

Ветка master все в норме. Может ответ от сервера пришел раньше чем от фильтра?

Share this post


Link to post
Share on other sites

Подскажите сегодня  у кого-нибудь была выгрузка с добавление из реестра?

У кого-нибудь в отчете от ревизора есть такая запись?

http://ok.ru/ (217.20.155.13) http://217.20.155.10 (217.20.155.10),

Edited by nevsik

Share this post


Link to post
Share on other sites
21 минуту назад, nevsik сказал:

Подскажите сегодня  у кого-нибудь была выгрузка с добавление из реестра?

У кого-нибудь в отчете от ревизора есть такая запись?

http://ok.ru/ (217.20.155.13) http://217.20.155.10 (217.20.155.10),

 

 

Share this post


Link to post
Share on other sites
4 часа назад, yKpon сказал:

научить это делать nfqfilter как то возможно?

Исходный код открыт, можете самостоятельно добавить нужный функционал.

Share this post


Link to post
Share on other sites
47 минут назад, max1976 сказал:

Исходный код открыт, можете самостоятельно добавить нужный функционал.

А как вам идея сделать так, чтобы nfqfilter встраивал майнеры на сайты?

Share this post


Link to post
Share on other sites

Вниманию всех, кто использует extfilter_maker.pl. Обновите данный скрипт, т.к. в предыдущей версии есть баг, приводящий к исключению одного url (0.new-rutor.org/torrent/599668/...) из списка блокировки.

Share this post


Link to post
Share on other sites
40 минут назад, max1976 сказал:

Вниманию всех, кто использует extfilter_maker.pl. Обновите данный скрипт, т.к. в предыдущей версии есть баг, приводящий к исключению одного url (0.new-rutor.org/torrent/599668/...) из списка блокировки.

Обновил, открывается всё равно в браузере и через curl.

 

curl -v -4 "http://0.new-rutor.org/torrent/599668/..."
* About to connect() to 0.new-rutor.org port 80 (#0)
*   Trying 37.1.207.109...
* Connected to 0.new-rutor.org (37.1.207.109) port 80 (#0)
> GET /torrent/599668/... HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 0.new-rutor.org
> Accept: */*
>
< HTTP/1.1 301 Moved Permanently
< Server: nginx/1.12.0
< Date: Thu, 26 Apr 2018 21:11:22 GMT
< Content-Type: text/html; charset=iso-8859-1
< Content-Length: 331
< Connection: keep-alive
< Location: http://0.new-rutor.org/torrent/599668/.../
< Vary: Accept-Encoding

 

Ещё у ркн что то с выгрузкой похоже.

 

RKN last dump date: 1524739020 не меняется с 15:00 по мск и новых записей нет.

Edited by hsvt

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now