Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

11 minutes ago, oleg_n said:

youtube опять отвалился. s.ytimg.com в блоке.

Он никуда и не вылезал из блока

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вчера как-то пробивался. Я уж подумал, что всё нормально :-).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 минуту назад, oleg_n сказал:

Вчера как-то пробивался. Я уж подумал, что всё нормально :-).

там IP меняется постоянно, иногда попадают на блоченые иногда нет, часто отдается 6 IP из которых 2-3-4-5 только в блоке, тогда как Вашему браузеру свезло выбрать IP. Там нет 1 IP на весь мир который то есть в базе то нет. База в этом плане с субботы не сильно поменялась, какую то часть вчера, сегодня вынесли, но очень много гугловых IP еще там. А вото IP у сервисов крутятся постоянно. соответственно то попадают, то нет на блок.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, st_re сказал:

там IP меняется постоянно, иногда попадают на блоченые иногда нет, часто отдается 6 IP из которых 2-3-4-5 только в блоке, тогда как Вашему браузеру свезло выбрать IP. Там нет 1 IP на весь мир который то есть в базе то нет. База в этом плане с субботы не сильно поменялась, какую то часть вчера, сегодня вынесли, но очень много гугловых IP еще там. А вото IP у сервисов крутятся постоянно. соответственно то попадают, то нет на блок.

Для чего у них так ? Балансировка?)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

я просто загнал в private-address все 5+ тыщ префиксов с типом блокировки "по ip". если там попадется какой-то из полностью заблоченных (например, lcprd1.samsungcloudsolution.net), то клиенту по барабану, сразу оно недоступно из-за отсутствия днс-записей или по таймауту из-за того, что пакеты в нуль смаршрутизированы. зато теперь хоть инструмент диагностики есть - если наш днс возвращает 0 записей, а гуглоднс больше 0, значит ip в блоке. =) ну а частично заблоченные хосты, типа www.google.com, будут работать. автомагически.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, boco сказал:

я просто загнал в private-address все 5+ тыщ префиксов с типом блокировки "по ip". если там попадется какой-то из полностью заблоченных (например, lcprd1.samsungcloudsolution.net), то клиенту по барабану, сразу оно недоступно из-за отсутствия днс-записей или по таймауту из-за того, что пакеты в нуль смаршрутизированы. зато теперь хоть инструмент диагностики есть - если наш днс возвращает 0 записей, а гуглоднс больше 0, значит ip в блоке. =) ну а частично заблоченные хосты, типа www.google.com, будут работать. автомагически.

тоже сегодня автоматизировал формирование конфига private-address из дампа  и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 24.04.2018 в 14:04, admf сказал:

уже интереснее, у меня стоит от myth11,  попробую собрать от max197616 - посмотрим что изменится.

 

А формируете файлы для фильтра чем?, если, что я формирую скриптом от Max, https://github.com/max197616/extfilter/tree/master/scripts/extfilter-maker

одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть

вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru

 

напомню обсуждаем nfqfilter

 

upd:

ещё вопросец по https://github.com/max197616/zapret/tree/dev

натравливаю

[root@zapret-vm dev]# mysql -uroot -p rkn < update.sql
Enter password:
ERROR 1060 (42S21) at line 1: Duplicate column name 'hash'
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

7 часов назад, swsn сказал:

тоже сегодня автоматизировал формирование конфига private-address из дампа  и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.)

А как unbound по производительности в отличии от Bind себя поведёт при большом количестве юзеров >10k ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

15 часов назад, alexdirty сказал:

Умственные способности "блокировщиков" не перестают удивлять.

Что они хотели добиться этими url`ами в ресеетре?


http://1000symbols.ru/?utm_source=google.ru

Wэлкам ту зе клаб... Рекомендую почитать тему Опубликована Процедура блокировки некошерной инфо, там ещё много радостей, типа анкоры, обратный слеши, концевые пробелы, и тд. и т.п.

 

4 часа назад, alexdirty сказал:

А как unbound по производительности в отличии от Bind себя поведёт при большом количестве юзеров >10k ?

Лучше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 часов назад, yKpon сказал:

одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть

вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru

так же открывается

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день .
Помогите понять в чем проблема может быть.  Случается следующие , скрипт zapret.pl (для выгрузки реестра, его парсинга и занесения в базу данных для блокировки) , ведет себя странно . иногда все проходит хорошо, т.е. в базу вносятся все записи и дальше уже extfilter  полностью формирует из них все файлы . НО иногда , может и пару раз в день , (выгружаю 6 раз в день) происходит так что в базе оказывается всего 5% необходимых данных, в логе при этом вместо 69000 доменов пишет что добавлено 36 , айпишинков тоже на порядок меньше и т.д. В итоге extfilter  перезагружает  почти пустую базу  к себе и начинаются пропуски.

У меня мысли такие :
1) я чего то не понимаю и так должно быть .

2) Не хватает времени на отработку zapret.pl  (нужно в конфигах  каких то , что то увеличить.)

если  выполнять скрипт руками из консоли все норм , проблема возникает когда выполняется по cron

Если в вкратце то zapret.pl должен полностью все таблицы каждый раз обнулять и заполнять по новой информацией или все же просто добавлять в существующие новые данные .

UPD: Все нормально заработало с переносом базы данных на тот же  сервер где делается выгрузка.

Изменено пользователем IMPERATOR

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

17 часов назад, swsn сказал:

тоже сегодня автоматизировал формирование конфига private-address из дампа  и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.)

А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если

 

Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11:

52.222.149.208
52.222.149.73
52.222.149.2
52.222.149.142
52.222.149.76
52.222.149.145
52.222.149.158
52.222.149.106

 

Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают:

 

13.33.23.230
54.192.98.7
54.192.98.82
54.192.98.84
54.192.98.139
54.192.98.172
54.192.98.216
54.192.98.228
54.192.98.231
13.33.23.8
13.33.23.85
13.33.23.87
13.33.23.138
13.33.23.155
13.33.23.156
13.33.23.166

Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11.

 

Другое дело когда на запрос получаем список IP в котором часть заблочена, а другая часть нет.

Изменено пользователем alexdirty

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

11 минут назад, alexdirty сказал:

А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если

 

Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11:


52.222.149.208
52.222.149.73
52.222.149.2
52.222.149.142
52.222.149.76
52.222.149.145
52.222.149.158
52.222.149.106

 

Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают:

 


13.33.23.230
54.192.98.7
54.192.98.82
54.192.98.84
54.192.98.139
54.192.98.172
54.192.98.216
54.192.98.228
54.192.98.231
13.33.23.8
13.33.23.85
13.33.23.87
13.33.23.138
13.33.23.155
13.33.23.156
13.33.23.166

Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11.

 

Другое дело когда на запрос получаем список IP в котором часть заблочена, а другая часть нет.

 

Подтягиваю только 32 префиксы.

по samsung сейчас отдается:


Address: 54.192.98.172
Address: 54.192.98.139
Address: 54.192.98.7
Address: 54.192.98.82
Address: 54.192.98.84
Address: 54.192.98.216
Address: 54.192.98.228
Address: 54.192.98.231
 

Жалоб по смарту вроде не фиксируется от абонентов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, alexdirty сказал:

А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если

Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11:

Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают:

Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11.

а в чем суть вопроса? если нашему нс всегда отдаются заблоченные ипы, то клиенту отдастся пустой ответ. если бы фильтра ответов не было, клиенту улетели бы заблоченные ипы и он все равно не смог бы туда попасть (т.к. заблочены), только после tcp timeout.

 

можно немного изменить схему: поставить перед анбаундом бинд с опцией forward first. тогда если бинд получит от анбаунда пустой ответ, он сам слазит в днс за ответом и отдаст клиенту все полученные записи. то есть, схема будет работать так: клиенту улетают отфильтрованные ип-адреса, если среди них есть незаблокированные и все ип-адреса, если среди них только заблокированные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

я решил не подтягивать заблоченные сети в unbound, так как для клиентов( кроме убогой коробки от ркн) у нас сохранен доступ к определенным адресам незаконно заблокированных ресурсов типа twitch, evernote etc.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 часов назад, yKpon сказал:

одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть

вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru

 

напомню обсуждаем nfqfilter

Nfqfilter не умеет собирать tcp flow (сервер выставляет маленький tcp window, поэтому запрос разбивается на несколько пакетов), поэтому указанные хосты не могут быть заблокированы по sni. Их можно заблокировать только по ip:port.

 

13 часов назад, yKpon сказал:

ещё вопросец по https://github.com/max197616/zapret/tree/dev

натравливаю

[root@zapret-vm dev]# mysql -uroot -p rkn < update.sql
Enter password:
ERROR 1060 (42S21) at line 1: Duplicate column name 'hash'

Видимо вы уже обновили таблицу zap2_records.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, max1976 сказал:

Nfqfilter не умеет собирать tcp flow (сервер выставляет маленький tcp window, поэтому запрос разбивается на несколько пакетов), поэтому указанные хосты не могут быть заблокированы по sni. Их можно заблокировать только по ip:port.

научить это делать nfqfilter как то возможно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день.

Ни у кого не проскакивают пропуски по ресурсам hello.opentg.us и 12345.***rkn.us? Используем extfilter, но не из ветки exp. Вчера в отчете появились.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, nerik сказал:

Ни у кого не проскакивают пропуски по ресурсам hello.opentg.us и 12345.***rkn.us? Используем extfilter, но не из ветки exp. Вчера в отчете появились.

Ветка master все в норме. Может ответ от сервера пришел раньше чем от фильтра?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите сегодня  у кого-нибудь была выгрузка с добавление из реестра?

У кого-нибудь в отчете от ревизора есть такая запись?

http://ok.ru/ (217.20.155.13) http://217.20.155.10 (217.20.155.10),

Изменено пользователем nevsik

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

21 минуту назад, nevsik сказал:

Подскажите сегодня  у кого-нибудь была выгрузка с добавление из реестра?

У кого-нибудь в отчете от ревизора есть такая запись?

http://ok.ru/ (217.20.155.13) http://217.20.155.10 (217.20.155.10),

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 часа назад, yKpon сказал:

научить это делать nfqfilter как то возможно?

Исходный код открыт, можете самостоятельно добавить нужный функционал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

47 минут назад, max1976 сказал:

Исходный код открыт, можете самостоятельно добавить нужный функционал.

А как вам идея сделать так, чтобы nfqfilter встраивал майнеры на сайты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вниманию всех, кто использует extfilter_maker.pl. Обновите данный скрипт, т.к. в предыдущей версии есть баг, приводящий к исключению одного url (0.new-rutor.org/torrent/599668/...) из списка блокировки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

40 минут назад, max1976 сказал:

Вниманию всех, кто использует extfilter_maker.pl. Обновите данный скрипт, т.к. в предыдущей версии есть баг, приводящий к исключению одного url (0.new-rutor.org/torrent/599668/...) из списка блокировки.

Обновил, открывается всё равно в браузере и через curl.

 

curl -v -4 "http://0.new-rutor.org/torrent/599668/..."
* About to connect() to 0.new-rutor.org port 80 (#0)
*   Trying 37.1.207.109...
* Connected to 0.new-rutor.org (37.1.207.109) port 80 (#0)
> GET /torrent/599668/... HTTP/1.1
> User-Agent: curl/7.29.0
> Host: 0.new-rutor.org
> Accept: */*
>
< HTTP/1.1 301 Moved Permanently
< Server: nginx/1.12.0
< Date: Thu, 26 Apr 2018 21:11:22 GMT
< Content-Type: text/html; charset=iso-8859-1
< Content-Length: 331
< Connection: keep-alive
< Location: http://0.new-rutor.org/torrent/599668/.../
< Vary: Accept-Encoding

 

Ещё у ркн что то с выгрузкой похоже.

 

RKN last dump date: 1524739020 не меняется с 15:00 по мск и новых записей нет.

Изменено пользователем hsvt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.