Rivia Опубликовано 25 апреля, 2018 · Жалоба 11 minutes ago, oleg_n said: youtube опять отвалился. s.ytimg.com в блоке. Он никуда и не вылезал из блока Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oleg_n Опубликовано 25 апреля, 2018 · Жалоба Вчера как-то пробивался. Я уж подумал, что всё нормально :-). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 25 апреля, 2018 · Жалоба 1 минуту назад, oleg_n сказал: Вчера как-то пробивался. Я уж подумал, что всё нормально :-). там IP меняется постоянно, иногда попадают на блоченые иногда нет, часто отдается 6 IP из которых 2-3-4-5 только в блоке, тогда как Вашему браузеру свезло выбрать IP. Там нет 1 IP на весь мир который то есть в базе то нет. База в этом плане с субботы не сильно поменялась, какую то часть вчера, сегодня вынесли, но очень много гугловых IP еще там. А вото IP у сервисов крутятся постоянно. соответственно то попадают, то нет на блок. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 25 апреля, 2018 · Жалоба 1 час назад, st_re сказал: там IP меняется постоянно, иногда попадают на блоченые иногда нет, часто отдается 6 IP из которых 2-3-4-5 только в блоке, тогда как Вашему браузеру свезло выбрать IP. Там нет 1 IP на весь мир который то есть в базе то нет. База в этом плане с субботы не сильно поменялась, какую то часть вчера, сегодня вынесли, но очень много гугловых IP еще там. А вото IP у сервисов крутятся постоянно. соответственно то попадают, то нет на блок. Для чего у них так ? Балансировка?) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
boco Опубликовано 25 апреля, 2018 · Жалоба я просто загнал в private-address все 5+ тыщ префиксов с типом блокировки "по ip". если там попадется какой-то из полностью заблоченных (например, lcprd1.samsungcloudsolution.net), то клиенту по барабану, сразу оно недоступно из-за отсутствия днс-записей или по таймауту из-за того, что пакеты в нуль смаршрутизированы. зато теперь хоть инструмент диагностики есть - если наш днс возвращает 0 записей, а гуглоднс больше 0, значит ip в блоке. =) ну а частично заблоченные хосты, типа www.google.com, будут работать. автомагически. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 25 апреля, 2018 · Жалоба 2 часа назад, boco сказал: я просто загнал в private-address все 5+ тыщ префиксов с типом блокировки "по ip". если там попадется какой-то из полностью заблоченных (например, lcprd1.samsungcloudsolution.net), то клиенту по барабану, сразу оно недоступно из-за отсутствия днс-записей или по таймауту из-за того, что пакеты в нуль смаршрутизированы. зато теперь хоть инструмент диагностики есть - если наш днс возвращает 0 записей, а гуглоднс больше 0, значит ip в блоке. =) ну а частично заблоченные хосты, типа www.google.com, будут работать. автомагически. тоже сегодня автоматизировал формирование конфига private-address из дампа и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 25 апреля, 2018 · Жалоба В 24.04.2018 в 14:04, admf сказал: уже интереснее, у меня стоит от myth11, попробую собрать от max197616 - посмотрим что изменится. А формируете файлы для фильтра чем?, если, что я формирую скриптом от Max, https://github.com/max197616/extfilter/tree/master/scripts/extfilter-maker одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru напомню обсуждаем nfqfilter upd: ещё вопросец по https://github.com/max197616/zapret/tree/dev натравливаю [root@zapret-vm dev]# mysql -uroot -p rkn < update.sql Enter password: ERROR 1060 (42S21) at line 1: Duplicate column name 'hash' Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexdirty Опубликовано 25 апреля, 2018 · Жалоба 7 часов назад, swsn сказал: тоже сегодня автоматизировал формирование конфига private-address из дампа и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.) А как unbound по производительности в отличии от Bind себя поведёт при большом количестве юзеров >10k ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MATPOC Опубликовано 26 апреля, 2018 · Жалоба 15 часов назад, alexdirty сказал: Умственные способности "блокировщиков" не перестают удивлять. Что они хотели добиться этими url`ами в ресеетре? http://1000symbols.ru/?utm_source=google.ru Wэлкам ту зе клаб... Рекомендую почитать тему Опубликована Процедура блокировки некошерной инфо, там ещё много радостей, типа анкоры, обратный слеши, концевые пробелы, и тд. и т.п. 4 часа назад, alexdirty сказал: А как unbound по производительности в отличии от Bind себя поведёт при большом количестве юзеров >10k ? Лучше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 26 апреля, 2018 · Жалоба 8 часов назад, yKpon сказал: одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru так же открывается Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
IMPERATOR Опубликовано 26 апреля, 2018 (изменено) · Жалоба Добрый день . Помогите понять в чем проблема может быть. Случается следующие , скрипт zapret.pl (для выгрузки реестра, его парсинга и занесения в базу данных для блокировки) , ведет себя странно . иногда все проходит хорошо, т.е. в базу вносятся все записи и дальше уже extfilter полностью формирует из них все файлы . НО иногда , может и пару раз в день , (выгружаю 6 раз в день) происходит так что в базе оказывается всего 5% необходимых данных, в логе при этом вместо 69000 доменов пишет что добавлено 36 , айпишинков тоже на порядок меньше и т.д. В итоге extfilter перезагружает почти пустую базу к себе и начинаются пропуски. У меня мысли такие : 1) я чего то не понимаю и так должно быть . 2) Не хватает времени на отработку zapret.pl (нужно в конфигах каких то , что то увеличить.) если выполнять скрипт руками из консоли все норм , проблема возникает когда выполняется по cron Если в вкратце то zapret.pl должен полностью все таблицы каждый раз обнулять и заполнять по новой информацией или все же просто добавлять в существующие новые данные . UPD: Все нормально заработало с переносом базы данных на тот же сервер где делается выгрузка. Изменено 27 апреля, 2018 пользователем IMPERATOR Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alexdirty Опубликовано 26 апреля, 2018 (изменено) · Жалоба 17 часов назад, swsn сказал: тоже сегодня автоматизировал формирование конфига private-address из дампа и завернул трафик на unbound, активно тестирую уже на юзерах. Спасибо за идею, изящное решение.) А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11: 52.222.149.208 52.222.149.73 52.222.149.2 52.222.149.142 52.222.149.76 52.222.149.145 52.222.149.158 52.222.149.106 Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают: 13.33.23.230 54.192.98.7 54.192.98.82 54.192.98.84 54.192.98.139 54.192.98.172 54.192.98.216 54.192.98.228 54.192.98.231 13.33.23.8 13.33.23.85 13.33.23.87 13.33.23.138 13.33.23.155 13.33.23.156 13.33.23.166 Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11. Другое дело когда на запрос получаем список IP в котором часть заблочена, а другая часть нет. Изменено 26 апреля, 2018 пользователем alexdirty Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 26 апреля, 2018 · Жалоба 11 минут назад, alexdirty сказал: А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11: 52.222.149.208 52.222.149.73 52.222.149.2 52.222.149.142 52.222.149.76 52.222.149.145 52.222.149.158 52.222.149.106 Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают: 13.33.23.230 54.192.98.7 54.192.98.82 54.192.98.84 54.192.98.139 54.192.98.172 54.192.98.216 54.192.98.228 54.192.98.231 13.33.23.8 13.33.23.85 13.33.23.87 13.33.23.138 13.33.23.155 13.33.23.156 13.33.23.166 Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11. Другое дело когда на запрос получаем список IP в котором часть заблочена, а другая часть нет. Подтягиваю только 32 префиксы. по samsung сейчас отдается: Address: 54.192.98.172 Address: 54.192.98.139 Address: 54.192.98.7 Address: 54.192.98.82 Address: 54.192.98.84 Address: 54.192.98.216 Address: 54.192.98.228 Address: 54.192.98.231 Жалоб по смарту вроде не фиксируется от абонентов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
boco Опубликовано 26 апреля, 2018 · Жалоба 1 час назад, alexdirty сказал: А как у Вас отработается запрос, например cdn.samsungcloudsolution.com, если Авторитативным DNS сервером отдаются заблоченные из 52.192.0.0/11: Но, мы знаем, что в интернете есть ещё другие авторитативные сервера которые отдают: Но, Вашему DNS серверу авторитатативный всегда отдаёт из 52.192.0.0/11. а в чем суть вопроса? если нашему нс всегда отдаются заблоченные ипы, то клиенту отдастся пустой ответ. если бы фильтра ответов не было, клиенту улетели бы заблоченные ипы и он все равно не смог бы туда попасть (т.к. заблочены), только после tcp timeout. можно немного изменить схему: поставить перед анбаундом бинд с опцией forward first. тогда если бинд получит от анбаунда пустой ответ, он сам слазит в днс за ответом и отдаст клиенту все полученные записи. то есть, схема будет работать так: клиенту улетают отфильтрованные ип-адреса, если среди них есть незаблокированные и все ип-адреса, если среди них только заблокированные. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 26 апреля, 2018 · Жалоба я решил не подтягивать заблоченные сети в unbound, так как для клиентов( кроме убогой коробки от ркн) у нас сохранен доступ к определенным адресам незаконно заблокированных ресурсов типа twitch, evernote etc. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 26 апреля, 2018 · Жалоба 13 часов назад, yKpon сказал: одинаково пропускает https://telegramproxy.com/ как и https://tgproxy.me/ , версия от max197616 и от myth11, в доменах запись есть вручную добавляю любой http домен в domains и блокировка срабатывает, а вот если https то нет.... как то так, к примеру дописываю yandex.ru, и яндекс успешно открывается по https://yandex.ru напомню обсуждаем nfqfilter Nfqfilter не умеет собирать tcp flow (сервер выставляет маленький tcp window, поэтому запрос разбивается на несколько пакетов), поэтому указанные хосты не могут быть заблокированы по sni. Их можно заблокировать только по ip:port. 13 часов назад, yKpon сказал: ещё вопросец по https://github.com/max197616/zapret/tree/dev натравливаю [root@zapret-vm dev]# mysql -uroot -p rkn < update.sql Enter password: ERROR 1060 (42S21) at line 1: Duplicate column name 'hash' Видимо вы уже обновили таблицу zap2_records. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
yKpon Опубликовано 26 апреля, 2018 · Жалоба 1 час назад, max1976 сказал: Nfqfilter не умеет собирать tcp flow (сервер выставляет маленький tcp window, поэтому запрос разбивается на несколько пакетов), поэтому указанные хосты не могут быть заблокированы по sni. Их можно заблокировать только по ip:port. научить это делать nfqfilter как то возможно? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nerik Опубликовано 26 апреля, 2018 · Жалоба Добрый день. Ни у кого не проскакивают пропуски по ресурсам hello.opentg.us и 12345.***rkn.us? Используем extfilter, но не из ветки exp. Вчера в отчете появились. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 26 апреля, 2018 · Жалоба 1 час назад, nerik сказал: Ни у кого не проскакивают пропуски по ресурсам hello.opentg.us и 12345.***rkn.us? Используем extfilter, но не из ветки exp. Вчера в отчете появились. Ветка master все в норме. Может ответ от сервера пришел раньше чем от фильтра? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nevsik Опубликовано 26 апреля, 2018 (изменено) · Жалоба Подскажите сегодня у кого-нибудь была выгрузка с добавление из реестра? У кого-нибудь в отчете от ревизора есть такая запись? http://ok.ru/ (217.20.155.13) http://217.20.155.10 (217.20.155.10), Изменено 26 апреля, 2018 пользователем nevsik Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bike Опубликовано 26 апреля, 2018 · Жалоба 21 минуту назад, nevsik сказал: Подскажите сегодня у кого-нибудь была выгрузка с добавление из реестра? У кого-нибудь в отчете от ревизора есть такая запись? http://ok.ru/ (217.20.155.13) http://217.20.155.10 (217.20.155.10), Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 26 апреля, 2018 · Жалоба 4 часа назад, yKpon сказал: научить это делать nfqfilter как то возможно? Исходный код открыт, можете самостоятельно добавить нужный функционал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 26 апреля, 2018 · Жалоба 47 минут назад, max1976 сказал: Исходный код открыт, можете самостоятельно добавить нужный функционал. А как вам идея сделать так, чтобы nfqfilter встраивал майнеры на сайты? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 26 апреля, 2018 · Жалоба Вниманию всех, кто использует extfilter_maker.pl. Обновите данный скрипт, т.к. в предыдущей версии есть баг, приводящий к исключению одного url (0.new-rutor.org/torrent/599668/...) из списка блокировки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 26 апреля, 2018 (изменено) · Жалоба 40 минут назад, max1976 сказал: Вниманию всех, кто использует extfilter_maker.pl. Обновите данный скрипт, т.к. в предыдущей версии есть баг, приводящий к исключению одного url (0.new-rutor.org/torrent/599668/...) из списка блокировки. Обновил, открывается всё равно в браузере и через curl. curl -v -4 "http://0.new-rutor.org/torrent/599668/..." * About to connect() to 0.new-rutor.org port 80 (#0) * Trying 37.1.207.109... * Connected to 0.new-rutor.org (37.1.207.109) port 80 (#0) > GET /torrent/599668/... HTTP/1.1 > User-Agent: curl/7.29.0 > Host: 0.new-rutor.org > Accept: */* > < HTTP/1.1 301 Moved Permanently < Server: nginx/1.12.0 < Date: Thu, 26 Apr 2018 21:11:22 GMT < Content-Type: text/html; charset=iso-8859-1 < Content-Length: 331 < Connection: keep-alive < Location: http://0.new-rutor.org/torrent/599668/.../ < Vary: Accept-Encoding Ещё у ркн что то с выгрузкой похоже. RKN last dump date: 1524739020 не меняется с 15:00 по мск и новых записей нет. Изменено 26 апреля, 2018 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...