1. Для блокировка используем

[ke1evra]

6 minutes ago, max1976 said:

Все необходимые подготовки делает exfilter_maker.

с флагом make_sp_chars = true ссылки появляются в нескольких вариантах:

muzlishko.ru/mp3/%D0%9D%D0%BE%D1%87%D0%BD%D0%BE%D0%B9%20%D0%9F%D0%B0%D1%82%D1%80%D1%83%D0%BB%D1%8C
muzlishko.ru/mp3/Ночной%20Патруль
muzlishko.ru/mp3/������%20�������

но всё равно не блокируется, если в урле кириллица. может проблема где-то в gcc или в системе? помогите советом пожалуйста :)

отдебажить это нет возможности? посмотреть бы, в каком виде фильтр принимает url и кодирует ли он его дополнительно

[max1976]

1 минуту назад, ke1evra сказал:

но всё равно не блокируется, если в урле кириллица. может проблема где-то в gcc или в системе? помогите советом пожалуйста :)

отдебажить это нет возможности? посмотреть бы, в каком виде фильтр принимает url и кодирует ли он его дополнительно 

Всё замечательно блокируется. Не надо ничего отлаживать. Сам фильтр не занимается никакой кодировкой url.

[ke1evra]

On 2/21/2020 at 4:12 PM, max1976 said:

Всё замечательно блокируется. Не надо ничего отлаживать. Сам фильтр не занимается никакой кодировкой url.

у меня почему-то если в запросе есть кириллица, именно в строке запроса (кириллические домены блокирует на ура), то проходит мимо фильтра, я залогировал функцию on_header_complete_ext в worker.cpp:

если я делаю 

curl -L http://ukranews.life/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/

то она выполняется, d->host_r.buf = 'ukranews.life' и d->uri.buf = '/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/'

 

а если

curl -L http://www.opamuzika.ru/mp3/Железный%20Порядок

то on_header_complete_ext вообще не выполняется

Изменено 25 февраля, 2020 пользователем ke1evra

[max1976]

3 часа назад, ke1evra сказал:

у меня почему-то если в запросе есть кириллица, именно в строке запроса (кириллические домены блокирует на ура), то проходит мимо фильтра, я залогировал функцию on_header_complete_ext в worker.cpp:

если я делаю 

curl -L http://ukranews.life/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/

то она выполняется, d->host_r.buf = 'ukranews.life' и d->uri.buf = '/mixail-xachaturyan-dochernyaya-lyubov-i-ruben-tatulyan/'

 

а если

curl -L http://www.opamuzika.ru/mp3/Железный%20Порядок

то on_header_complete_ext вообще не выполняется 

 

curl не выполняет кодирование кириллицы, поэтому в таком виде блокировки не будет.

[ke1evra]

1 hour ago, max1976 said:

curl не выполняет кодирование кириллицы, поэтому в таком виде блокировки не будет.

докопался я до истины, пересобрал peafowl с флагом HTTP_PARSER_STRICT=0

 

роюсь в коде и просто в шоке, какую колоссальную работу вы сделали. спасибо =)

[oborot.bolta]

А ни кто не переделывал скрипт, чтобы он скачивал по логину и паролю?

[ke1evra]

подскажите пожалуйста, а какие именно ошибки являются input errors? фильтр работает-работает, а потом на порту subscriber появляется

Information Application - Port 0 input packets 491200231, input errors: 1, mbuf errors: 0, missed packets: 0

интернет работает без глюков, а вот трассировка ломается - один из хопов перестаёт отвечать:

1    <1 мс    <1 мс    <1 мс  192.168.0.1
2  10.10.10.1  сообщает: Заданная сеть недоступна.

рестарт фильтра помогает, но эта одна ошибка периодически вылезает. почему-то всегда input errors: 1, т.е. они не растут и вылазит только на стороне subscriber

[big-town]

В 20.02.2020 в 04:11, apog сказал:

Коллеги, а кто использует zabbix_data для мониторинга extfilter'а? Собрал, пробую вручную запустить для проверки - zabbix_data extfilter.discovery отрабатывает как надо, а все остальное, к примеру zabbix_data worker.core.2.total_packets вываливается с ошибкой сегментирования. ОС Debian 10, ядро 4.19.0-8-amd64.

 

Я использую и я же его написал и как видите у меня все в порядке.

[Morphus]

Доброго!

Версия фильтра 0.99.4

Включил дебаг. Но в /var/log/extFilter.log вижу только статистику.

Скрытый текст

[logging]
loggers.root.level = information
loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 10
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local

 

Как посмотреть дебаг лог?

Изменено 25 марта, 2020 пользователем Morphus

[palsecam]

Добрый вечер!

Установили и запустили extFilter - по отчету от Ревизора пропусков <1%.

Среди пропущенных (действительно не блокируется) есть ресурс http://crc07.com.

Он присутсвует в domains и ssl_hosts.

 

P.S. Из самодельных костылей из extfilter-quagga сделали extfilter-ipset для тестирования блокировки через тестовый софт маршрутизатор на базе ipset.

 

Пытаемся разобраться почему этот ресурс не блокируется. Коллеги можете посмотреть - у вас блокируется http://crc07.com?

 

 

Изменено 8 апреля, 2020 пользователем palsecam

[st_re]

отмотать на предыдущую страницу этого треда ?

[palsecam]

5 minutes ago, st_re said:

отмотать на предыдущую страницу этого треда ?

Спасибо!

Извините пропустил :(

[TangalDI]

Если кто использует squidGuard, как мы, обратите внимание.

Стало много протекать ссылок с множественными слэшами, типа такой http://ist5-1.filesor.com//pimpandhost.com//1//_//_//_//1//6//E//C//S//6ECSn//Kevin.jpg

Оказалось в squidGuarde баг, вот патч

 

--- squidGuard-1.5/src/sgDiv.c     2009-09-27 23:41:50.000000000 +0400
+++ squidGuard-1.5.fix/src/sgDiv.c 2020-04-23 18:43:25.718945563 +0300
@@ -142,7 +142,8 @@
  *           then shift the rest of the string left one char */
        if('/' == p[ndx] && '/' == p[ndx+1]) {
          size_t sz = strlen(p+ndx+1);
-         strncpy(p+ndx,p+ndx+1, sz);
+         //strncpy(p+ndx,p+ndx+1, sz);
+         memmove(p+ndx,p+ndx+1, sz);
          p[ndx+sz] = '\0';
           if(1 == report_once) {
              sgLogWarn("WARN: Possible bypass attempt. Found multiple slashes where only one is expected: %s", s->orig);
 

[sdy_moscow]

@TangalDI Кроме ускорения, непонятно что-то, что еще дает такой код.

[TangalDI]

1 час назад, sdy_moscow сказал:

@TangalDI Кроме ускорения, непонятно что-то, что еще дает такой код.

не скажите

https://ideone.com/R7hJ8T

[sdy_moscow]

@TangalDI Хм.. интересный дефект, видимо вызван оптимизатором кода.

 

И кто-бы мог подумать лет 20 назад, к чему в будущем приведет рост размера машинного слова и оптимизаторы.

 

З.Ы.

Хотя стандарт когда-то заранее предупреждал об "андефайн", но раньше то работало :-).

 

Теперь хвост приходится через промежуточный буфер таскать (если конечно оптимизатор не выручит опять) - это совсем не айс.

 

Впору свою memcpy_left c горя писать.

 

А лучше сразу переписать удалялку "/" в цикл с проверкой и посимвольным копированием внутри буфера со сдвигом влево (если он не равен 0) { if (sdvig !=0) a[ i- sdvig ]=a[ i ] }.

А то, при таком подходе, если в строке будет куча слэшей, то хвост можно и 40 раз через буфер "протятнуть"

 

 

[шнурок]

Запускаю zapret.pl, получаю это:

 

"my" variable $dir masks earlier declaration in same scope at ./zapret.pl line 1553.
"my" variable $dir masks earlier declaration in same scope at ./zapret.pl line 1554.
Unmatched right curly bracket at ./zapret.pl line 1530, at end of line
syntax error at ./zapret.pl line 1530, near "sub sendRequest

}"
syntax error at ./zapret.pl line 1548, near "}"
Can't redeclare "my" in "my" at ./zapret.pl line 1555, near "my"
BEGIN not safe after errors--compilation aborted at ./zapret.pl line 1585.
 

Вопрос ЧЯДН?

[Morphus]

Доброго. В последнее время вылазит такая запись:

07 Май, 2020 11:38:56
https://win-now.co:443/, 192. 168.1.1, GET
ФНС 02 Май, 2020 13:33:30 200
С: http://win-now.co (192.168. 1.1)

 

Сайт резолвит на локлаьный адрес. Я сам себя должен заблочить получается.. Я в замешательстве.

[epollia]

забавно, запретите ревизору на зарезервированные для локальных сетей ip ходить :)

Изменено 8 мая, 2020 пользователем epollia

[Hawk128]

 

В 08.05.2020 в 19:02, Morphus сказал:

Доброго. В последнее время вылазит такая запись:

07 Май, 2020 11:38:56
https://win-now.co:443/, 192. 168.1.1, GET
ФНС 02 Май, 2020 13:33:30 200
С: http://win-now.co (192.168. 1.1)

 

Сайт резолвит на локлаьный адрес. Я сам себя должен заблочить получается.. Я в замешательстве.

Есть у меня основания полагать что этот адрес указан на самом Ревизоре....

Так что не заблочить его.

[apog]

В 21.03.2020 в 13:30, big-town сказал:

Я использую и я же его написал и как видите у меня все в порядке.

Да, спасибо. Возможно на гитхабе ошибка. В getdata.h добавил строку

char* getvalue(char* s);

и заработало как надо.

[swsn]

Всем привет. Возникла ситуация которую никак не получается отдебажить. На одном из каналов имею фильтр бриджом , и начиная с 31 декабря он начал периодически прекращать пропускать через себя трафик. Просто pps падают и все. Периодичность была где-то 2 недели около 3 ночи . Сейчас периодичность стала раз в несколько часов. Включил дебаг- чисто. Пробовал менять модули , рокировку серверов(у меня 4 штуки dpi  одинаковой конфигурации) . При рокировке проблема перемещается на другой сервер. В общем проблема не аппаратная. С счетчиков удалось снять только x_l3_l4_xsum_error: 52679454. Но сомневаюсь что это связанно с проблемой. Симптом - со стороны головного провайдера пропадают маки а с стороны нашей видны.работа в байпасе на l2fwd вроде как стабильна

[swsn]

С пустыми листами  кто нибудь пробовал запускать? У меня http редиректит на  заглушку все подряд))

[Max_Hat]

Всем хук! Столкнулись с проблемой невозможности забрать выгрузку ркн скриптом zapret.pl     Ошибка : 500 Can't connect to vigruzki2.rkn.gov.ru:443 Мы забираем по логин/пароль Решение проблемы здесь https://habr.com/ru/company/habr/blog/504708/

[alibek]

Любопытно. Все больше убеждаюсь, что халява в SSL всегда вылезает боком.

Но в данном случае гораздо правильнее будет игнорировать ошибки сертификата, а не выстраивать цепочку доверия.

Завтра РКН может решить вообще самоподписанный сертификат использовать.