Jump to content
Калькуляторы
Блокировка веб ресурса  

546 members have voted

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

6 minutes ago, max1976 said:

Все необходимые подготовки делает exfilter_maker.

с флагом make_sp_chars = true ссылки появляются в нескольких вариантах:

muzlishko.ru/mp3/%D0%9D%D0%BE%D1%87%D0%BD%D0%BE%D0%B9%20%D0%9F%D0%B0%D1%82%D1%80%D1%83%D0%BB%D1%8C
muzlishko.ru/mp3/Ночной%20Патруль
muzlishko.ru/mp3/������%20�������

но всё равно не блокируется, если в урле кириллица. может проблема где-то в gcc или в системе? помогите советом пожалуйста :)

отдебажить это нет возможности? посмотреть бы, в каком виде фильтр принимает url и кодирует ли он его дополнительно

Share this post


Link to post
Share on other sites
1 минуту назад, ke1evra сказал:

но всё равно не блокируется, если в урле кириллица. может проблема где-то в gcc или в системе? помогите советом пожалуйста :)

отдебажить это нет возможности? посмотреть бы, в каком виде фильтр принимает url и кодирует ли он его дополнительно 

Всё замечательно блокируется. Не надо ничего отлаживать. Сам фильтр не занимается никакой кодировкой url.

Share this post


Link to post
Share on other sites
On 2/21/2020 at 4:12 PM, max1976 said:

Всё замечательно блокируется. Не надо ничего отлаживать. Сам фильтр не занимается никакой кодировкой url.

у меня почему-то если в запросе есть кириллица, именно в строке запроса (кириллические домены блокирует на ура), то проходит мимо фильтра, я залогировал функцию on_header_complete_ext в worker.cpp:

если я делаю 

curl -L http://ukranews.life/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/

то она выполняется, d->host_r.buf = 'ukranews.life' и d->uri.buf = '/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/'

 

а если

curl -L http://www.opamuzika.ru/mp3/Железный%20Порядок

то on_header_complete_ext вообще не выполняется

Edited by ke1evra

Share this post


Link to post
Share on other sites
3 часа назад, ke1evra сказал:

у меня почему-то если в запросе есть кириллица, именно в строке запроса (кириллические домены блокирует на ура), то проходит мимо фильтра, я залогировал функцию on_header_complete_ext в worker.cpp:

если я делаю 


curl -L http://ukranews.life/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/

то она выполняется, d->host_r.buf = 'ukranews.life' и d->uri.buf = '/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/'

 

а если


curl -L http://www.opamuzika.ru/mp3/Железный%20Порядок

то on_header_complete_ext вообще не выполняется 

 

curl не выполняет кодирование кириллицы, поэтому в таком виде блокировки не будет.

Share this post


Link to post
Share on other sites
1 hour ago, max1976 said:

curl не выполняет кодирование кириллицы, поэтому в таком виде блокировки не будет.

докопался я до истины, пересобрал peafowl с флагом HTTP_PARSER_STRICT=0

 

роюсь в коде и просто в шоке, какую колоссальную работу вы сделали. спасибо =)

Share this post


Link to post
Share on other sites

А ни кто не переделывал скрипт, чтобы он скачивал по логину и паролю?

Share this post


Link to post
Share on other sites

подскажите пожалуйста, а какие именно ошибки являются input errors? фильтр работает-работает, а потом на порту subscriber появляется

Information Application - Port 0 input packets 491200231, input errors: 1, mbuf errors: 0, missed packets: 0

интернет работает без глюков, а вот трассировка ломается - один из хопов перестаёт отвечать:

1    <1 мс    <1 мс    <1 мс  192.168.0.1
2  10.10.10.1  сообщает: Заданная сеть недоступна.

рестарт фильтра помогает, но эта одна ошибка периодически вылезает. почему-то всегда input errors: 1, т.е. они не растут и вылазит только на стороне subscriber

Share this post


Link to post
Share on other sites
В 20.02.2020 в 04:11, apog сказал:

Коллеги, а кто использует zabbix_data для мониторинга extfilter'а? Собрал, пробую вручную запустить для проверки - zabbix_data extfilter.discovery отрабатывает как надо, а все остальное, к примеру zabbix_data worker.core.2.total_packets вываливается с ошибкой сегментирования. ОС Debian 10, ядро 4.19.0-8-amd64.

 

Я использую и я же его написал и как видите у меня все в порядке.

111.jpg

Share this post


Link to post
Share on other sites

Доброго!

Версия фильтра 0.99.4

Включил дебаг. Но в /var/log/extFilter.log вижу только статистику.

Скрытый текст

[logging]
loggers.root.level = information
loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 10
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

Как посмотреть дебаг лог?

Edited by Morphus

Share this post


Link to post
Share on other sites

Добрый вечер!

Установили и запустили extFilter - по отчету от Ревизора пропусков <1%.

Среди пропущенных (действительно не блокируется) есть ресурс http://crc07.com.

Он присутсвует в domains и ssl_hosts.

 

P.S. Из самодельных костылей из extfilter-quagga сделали extfilter-ipset для тестирования блокировки через тестовый софт маршрутизатор на базе ipset.

 

Пытаемся разобраться почему этот ресурс не блокируется. Коллеги можете посмотреть - у вас блокируется http://crc07.com?

 

 

Edited by palsecam

Share this post


Link to post
Share on other sites

отмотать на предыдущую страницу этого треда ?

Share this post


Link to post
Share on other sites
5 minutes ago, st_re said:

отмотать на предыдущую страницу этого треда ?

Спасибо!

Извините пропустил :(

Share this post


Link to post
Share on other sites

Если кто использует squidGuard, как мы, обратите внимание.

Стало много протекать ссылок с множественными слэшами, типа такой http://ist5-1.filesor.com//pimpandhost.com//1//_//_//_//1//6//E//C//S//6ECSn//Kevin.jpg

Оказалось в squidGuarde баг, вот патч

 

--- squidGuard-1.5/src/sgDiv.c     2009-09-27 23:41:50.000000000 +0400
+++ squidGuard-1.5.fix/src/sgDiv.c 2020-04-23 18:43:25.718945563 +0300
@@ -142,7 +142,8 @@
  *           then shift the rest of the string left one char */
        if('/' == p[ndx] && '/' == p[ndx+1]) {
          size_t sz = strlen(p+ndx+1);
-         strncpy(p+ndx,p+ndx+1, sz);
+         //strncpy(p+ndx,p+ndx+1, sz);
+         memmove(p+ndx,p+ndx+1, sz);
          p[ndx+sz] = '\0';
           if(1 == report_once) {
              sgLogWarn("WARN: Possible bypass attempt. Found multiple slashes where only one is expected: %s", s->orig);
 

Share this post


Link to post
Share on other sites

@TangalDI Хм.. интересный дефект, видимо вызван оптимизатором кода.

 

И кто-бы мог подумать лет 20 назад, к чему в будущем приведет рост размера машинного слова и оптимизаторы.

 

З.Ы.

Хотя стандарт когда-то заранее предупреждал об "андефайн", но раньше то работало :-).

 

Теперь хвост приходится через промежуточный буфер таскать (если конечно оптимизатор не выручит опять) - это совсем не айс.

 

Впору свою memcpy_left c горя писать.

 

А лучше сразу переписать удалялку "/" в цикл с проверкой и посимвольным копированием внутри буфера со сдвигом влево (если он не равен 0) { if (sdvig !=0) a[ i- sdvig ]=a[ i ] }.

А то, при таком подходе, если в строке будет куча слэшей, то хвост можно и 40 раз через буфер "протятнуть"

 

 

Share this post


Link to post
Share on other sites

Запускаю zapret.pl, получаю это:

 

"my" variable $dir masks earlier declaration in same scope at ./zapret.pl line 1553.
"my" variable $dir masks earlier declaration in same scope at ./zapret.pl line 1554.
Unmatched right curly bracket at ./zapret.pl line 1530, at end of line
syntax error at ./zapret.pl line 1530, near "sub sendRequest

}"
syntax error at ./zapret.pl line 1548, near "}"
Can't redeclare "my" in "my" at ./zapret.pl line 1555, near "my"
BEGIN not safe after errors--compilation aborted at ./zapret.pl line 1585.
 

Вопрос ЧЯДН?

Share this post


Link to post
Share on other sites

Доброго. В последнее время вылазит такая запись:

07 Май, 2020 11:38:56
https://win-now.co:443/, 192. 168.1.1, GET
ФНС 02 Май, 2020 13:33:30 200
С: http://win-now.co (192.168. 1.1)

 

Сайт резолвит на локлаьный адрес. Я сам себя должен заблочить получается.. Я в замешательстве.

Share this post


Link to post
Share on other sites

забавно, запретите ревизору на зарезервированные для локальных сетей ip ходить :)

Edited by epollia

Share this post


Link to post
Share on other sites

 

В 08.05.2020 в 19:02, Morphus сказал:

Доброго. В последнее время вылазит такая запись:

07 Май, 2020 11:38:56
https://win-now.co:443/, 192. 168.1.1, GET
ФНС 02 Май, 2020 13:33:30 200
С: http://win-now.co (192.168. 1.1)

 

Сайт резолвит на локлаьный адрес. Я сам себя должен заблочить получается.. Я в замешательстве.

Есть у меня основания полагать что этот адрес указан на самом Ревизоре....

Так что не заблочить его.

Share this post


Link to post
Share on other sites
В 21.03.2020 в 13:30, big-town сказал:

Я использую и я же его написал и как видите у меня все в порядке.

111.jpg

Да, спасибо. Возможно на гитхабе ошибка. В getdata.h добавил строку

char* getvalue(char* s);

и заработало как надо.

Share this post


Link to post
Share on other sites

Всем привет. Возникла ситуация которую никак не получается отдебажить. На одном из каналов имею фильтр бриджом , и начиная с 31 декабря он начал периодически прекращать пропускать через себя трафик. Просто pps падают и все. Периодичность была где-то 2 недели около 3 ночи . Сейчас периодичность стала раз в несколько часов. Включил дебаг- чисто. Пробовал менять модули , рокировку серверов(у меня 4 штуки dpi  одинаковой конфигурации) . При рокировке проблема перемещается на другой сервер. В общем проблема не аппаратная. С счетчиков удалось снять только x_l3_l4_xsum_error: 52679454. Но сомневаюсь что это связанно с проблемой. Симптом - со стороны головного провайдера пропадают маки а с стороны нашей видны.работа в байпасе на l2fwd вроде как стабильна

Share this post


Link to post
Share on other sites

С пустыми листами  кто нибудь пробовал запускать? У меня http редиректит на  заглушку все подряд))

Share this post


Link to post
Share on other sites
 
 

Всем хук!

Столкнулись с проблемой невозможности забрать выгрузку ркн скриптом zapret.pl

 
 

Ошибка : 500 Can't connect to vigruzki2.rkn.gov.ru:443

Мы забираем по логин/пароль

Решение проблемы здесь https://habr.com/ru/company/habr/blog/504708/

Share this post


Link to post
Share on other sites

Любопытно. Все больше убеждаюсь, что халява в SSL всегда вылезает боком.

Но в данном случае гораздо правильнее будет игнорировать ошибки сертификата, а не выстраивать цепочку доверия.

Завтра РКН может решить вообще самоподписанный сертификат использовать.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now