Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

565 пользователей проголосовало

  1. 1. Для блокировка используем



Блокировка сайтов провайдерами маневры с DNS

Пытаюсь распарсить dump.xml, выбрав из него список доменов, которые надо блокировать целиком:

xmlstarlet sel -T -t -m "reg:register/content" -v "concat('',domain)" -n /etc/zapret/dump.xml | sort -u | sed -r -e 's_^(.*)$_zone \"\1\" \{ type master\; file \"\/etc\/bind\/db.null\"\; \};_g' > /etc/zapret/named.blocked

В результате хочется получить список уникальных доменов, а выходит ерунда. Например, если посмотреть полученное вот так:

 cat named.blocked | grep e38.us
zone "e38.us" { type master; file "/etc/bind/db.null"; };
zone "e38.us." { type master; file "/etc/bind/db.null"; };
zone "www.e38.us" { type master; file "/etc/bind/db.null"; };

видно, что уникальности нет :(

Что-то не соображу, как поправить парсер, чтобы решить эту задачку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А я недавно, после ввода DPI, решил загружать в Bind только те домены, которые явно банятся как домены. Чтобы совсем не насиловать сервис.

Вот так:

xmlstarlet select --template -v "/reg:register/content[@blockType=domain' or @blockType='domain-mask]/domain" dump.xml

если кому-то нужен пример выборки xmlstarlet'а...

 

Уникальность, либо: | sort -u | uniq

либо ещё функция distinct-values у xmlstarlet'а есть (но я не пользовался)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня "sort -u" присутствует, добавление "| uniq" ситуацию не исправляет. Видимо в реестр криво занесены имена доменов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На самом свежем extfilter получил печальную проблему:

если url_normalization=true, то проходят ссылки с запятыми и прочим непотребством

если url_normalization=false, то проходят ссылки с двойными и тройными слешами

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2017-04-12 14:49:41.290 [2085] Error CSender - sendto() failed to 91.225.248.129:80 errno: 101

 

Есть у кого подобное ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Доброго времени суток! Столкнулся с необходимостью блокировки впервые, прошу помощи.

Имеется: xml-дамп из Carbon Reductor

Что нужно: Загрузить дамп в blacklist-rkn-tool -> закинуть в mysqlite -> далее запрещенные URL's в Squid для редиректа или дропа.

 

Подскажите, пожалуйста, в какую сторону копать.

 

В bl-rkn загрузил сторонний дамп командой

# ./bl-rkn.py -dump

предварительно в конфиге указав этот файл, но ничего не произошло - в логах:

2017-04-13 14:26:19,940  отсутствует файл с телом запроса
2017-04-13 14:26:19,940  Script stopped.

 

 

А дальше затык, не нашёл документации. Буду премного благодарен.

Изменено пользователем roman1295

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как много слов и как мало смысла...

 

Могу сказать только, что мои эксперименты со squidGuard закончились с неудовлетворительными результатами. А регулярками блокировать... Производительность будет никакая

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Идея о завороте в сквид - увы, провальна. Например мы берём ip из реестра (а он меняется) и заворачиваем на сквид, там строим списки запрета - и тут-же получаем пропуск. Только ДПИ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Идея о завороте в сквид - увы, провальна. Например мы берём ip из реестра (а он меняется) и заворачиваем на сквид, там строим списки запрета - и тут-же получаем пропуск. Только ДПИ.

Ну, ребята с http://zapretservice.ru/, например, вполне себе фильтровалку на базе сквида сделали, и она даже работает.

Тут проблема в другом, оно же, как и любой прокси, свой IP адрес в качестве сорса будет подставлять. А фильтровать надо еще и список минюста. А в нем - до фига вконтакта. Вы готовы, чтобы все ваши пользователи ходили во вконтакт с одного ипа? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Идея о завороте в сквид - увы, провальна. Например мы берём ip из реестра (а он меняется) и заворачиваем на сквид, там строим списки запрета - и тут-же получаем пропуск. Только ДПИ.

Ну, ребята с http://zapretservice.ru/, например, вполне себе фильтровалку на базе сквида сделали, и она даже работает.

Тут проблема в другом, оно же, как и любой прокси, свой IP адрес в качестве сорса будет подставлять. А фильтровать надо еще и список минюста. А в нем - до фига вконтакта. Вы готовы, чтобы все ваши пользователи ходили во вконтакт с одного ипа? :)

Погуглите squid+tproxy

 

ps: Миньюст ручками, глазками и интуицией разгребаете?

Изменено пользователем Antares

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тут проблема в другом, оно же, как и любой прокси, свой IP адрес в качестве сорса будет подставлять. А фильтровать надо еще и список минюста. А в нем - до фига вконтакта. Вы готовы, чтобы все ваши пользователи ходили во вконтакт с одного ипа? :)

Ну и я о том-же, не спасает сквид. Про списки - ну за скромные деньги на техсаппорт производители софтовых ДПИ вполне их сами в облаке делают. Более того, скатовцы обещали доступ к спискам даже без оплаченного саппорта. Но никто не гарантирован от яровых высевов, поэтому саппорт таки нужен. И еще раз - фильтрация - это не основной бизнес провайдера, а голые издержки, посему держать высококлассного спеца для этих госхотелок - нерентабельно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Зазеркалил транковый порт на extFilter а счетчики пакетов почемуто в extFilter не растут, в чем может быть дело? грешу на адаптер e1000e

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Зазеркалил транковый порт на extFilter а счетчики пакетов почемуто в extFilter не растут, в чем может быть дело? грешу на адаптер e1000e

 

Логи в дебаг и посмотрите что бы там не было Port 0 down или что то подобное. Тоже была такая проблема. Поменял в коде sleep 5 и вроде все подхватилось

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Зазеркалил транковый порт на extFilter а счетчики пакетов почемуто в extFilter не растут, в чем может быть дело? грешу на адаптер e1000e

 

Логи в дебаг и посмотрите что бы там не было Port 0 down или что то подобное. Тоже была такая проблема. Поменял в коде sleep 5 и вроде все подхватилось

 

А где (в каком файле поменяли sleep)

 

и ещё есть dpdk шная програмулинна, чтоб запустить tcpdump на dpdk шном интерфейсе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну штатной тоже можно проверить. Но она кажется использует ядро линукса. Я менял путь с исходникам/src/main.cpp 106 строка что ли там. Или ищите код

 

if (!link.link_status)
{
       sleep(1);
       rte_eth_link_get_nowait(port, &link);
}

 

вот там надо еденицу на 5 сменить

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну штатной тоже можно проверить. Но она кажется использует ядро линукса. Я менял путь с исходникам/src/main.cpp 106 строка что ли там. Или ищите код

 

if (!link.link_status)
{
       sleep(1);
       rte_eth_link_get_nowait(port, &link);
}

 

вот там надо еденицу на 5 сменить

 

Я там на 10 поменял, но не в этом дело, пакеты то попадают на интерфейс, но такое ощущение, что н не понимает VLAN.

Счетчики растут, но как то кисло:

 

Port 0 input packets: 172, input errors: 0, mbuf errors: 0

Thread seen packets: 170, IP packets: 0 (IPv4 packets: 0, IPv6 packets: 0), seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.57 pps

 

 

 

а вот на адаптере vmxnet3 замечено при старте большое значение mbuf errors: но счетчики не растут после старта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я там на 10 поменял, но не в этом дело, пакеты то попадают на интерфейс, но такое ощущение, что н не понимает VLAN.

Счетчики растут, но как то кисло:

У меня было похожее, когда отзеркалил трафик не в том направлении. Надо было Rx, а я Tx отправил на зеркало. Сижу, смотрю.... ничего не происходит. :) Потом разобрался.

p.s. Метки 802.1q ему не мешают - у меня там трафик в нескольких вилан зеркалится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я там на 10 поменял, но не в этом дело, пакеты то попадают на интерфейс, но такое ощущение, что н не понимает VLAN.

Счетчики растут, но как то кисло:

У меня было похожее, когда отзеркалил трафик не в том направлении. Надо было Rx, а я Tx отправил на зеркало. Сижу, смотрю.... ничего не происходит. :) Потом разобрался.

p.s. Метки 802.1q ему не мешают - у меня там трафик в нескольких вилан зеркалится.

 

отзеркалил то я правильно, если интерфейс отсоединяю от DPDK то tcpdump ом вижу нормально трафик бегущий в инет во вне.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Дело скорее всего в вмваре.

 

все установлено на bare metall

 

в том то и дело, что на вмваре все ок

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день!

Столкнулись с такой проблемой: иногда после перезапуска nfqfilter зависает, в логах показывает запуск программы, и дальше в логах тишина, хотя, как я понимаю, он должен писать туда статистику каждые 5 минут, сайты не блокирует, при этом процесс запущен

 

 

 

2017-04-16 23:19:41.748 [17690] Information Application - nDPI memory (once): 104.60 KB

2017-04-16 23:19:41.748 [17690] Information Application - nDPI memory per flow: 1.91 KB

2017-04-16 23:19:41.748 [17690] Information Application - nDPI current memory usage: 73.74 MB

2017-04-16 23:19:41.748 [17690] Information Application - nDPI maximum memory usage: 73.74 MB

2017-04-16 23:19:41.748 [17690] Information Application - Total seen packets: 89447548, Total seen bytes: 12136583957, Average packet size: 135 bytes, Traffic throughput: 12.71 K pps

2017-04-16 23:19:41.748 [17690] Information Application - Total matched by ip/port: 0, Total matched by ssl: 865, Total matched by ssl/ip: 0

2017-04-16 23:19:41.748 [17690] Information Application - Total redirected domains 772, Total redirected urls: 3140, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 865

2017-04-16 23:19:41.947 [19029] Information Application - Starting up on queue: 0

-- Куча строк типа Pattern 'xxxxxxxx.xxx/xxx' already present in the URL database from file /usr/local/etc/nfqfilter.d/urls --

2017-04-16 23:19:44.104 [19029] Information nfqThread - NFQ: Binding to queue 0

2017-04-16 23:19:44.104 [19029] Information nfqThread - Setting queue length to 4096

2017-04-16 23:19:44.104 [19029] Information nfqThread - Setting nfnl bufsize to 6144000

2017-04-17 01:15:02.798 [20391] Information Application - Starting up on queue: 0

-- Куча строк типа Pattern 'xxxxxxxx.xxx/xxx' already present in the URL database from file /usr/local/etc/nfqfilter.d/urls --

2017-04-17 01:15:04.840 [20391] Information nfqThread - NFQ: Binding to queue 0

2017-04-17 01:15:04.840 [20391] Information nfqThread - Setting queue length to 4096

2017-04-17 01:15:04.840 [20391] Information nfqThread - Setting nfnl bufsize to 6144000

2017-04-17 01:20:04.839 [20391] Information Application - nDPI memory (once): 104.60 KB

2017-04-17 01:20:04.840 [20391] Information Application - nDPI memory per flow: 1.91 KB

2017-04-17 01:20:04.840 [20391] Information Application - nDPI current memory usage: 2.97 MB

2017-04-17 01:20:04.840 [20391] Information Application - nDPI maximum memory usage: 2.97 MB

2017-04-17 01:20:04.840 [20391] Information Application - Total seen packets: 1240969, Total seen bytes: 144896241, Average packet size: 116 bytes, Traffic throughput: 4.14

K pps

2017-04-17 01:20:04.840 [20391] Information Application - Total matched by ip/port: 0, Total matched by ssl: 138, Total matched by ssl/ip: 0

2017-04-17 01:20:04.840 [20391] Information Application - Total redirected domains 178, Total redirected urls: 900, Total marked ssl: 0, Total marked hosts: 0, Total rst se

nded: 138

2017-04-17 01:25:04.840 [20391] Information Application - nDPI memory (once): 104.60 KB

2017-04-17 01:25:04.840 [20391] Information Application - nDPI memory per flow: 1.91 KB

2017-04-17 01:25:04.840 [20391] Information Application - nDPI current memory usage: 4.15 MB

2017-04-17 01:25:04.840 [20391] Information Application - nDPI maximum memory usage: 4.15 MB

2017-04-17 01:25:04.840 [20391] Information Application - Total seen packets: 2473465, Total seen bytes: 384046261, Average packet size: 155 bytes, Traffic throughput: 4.12

K pps

2017-04-17 01:25:04.841 [20391] Information Application - Total matched by ip/port: 0, Total matched by ssl: 284, Total matched by ssl/ip: 0

2017-04-17 01:25:04.841 [20391] Information Application - Total redirected domains 556, Total redirected urls: 1632, Total marked ssl: 0, Total marked hosts: 0, Total rst s

ended: 284

 

 

 

Из-за чего может возникать эта проблема? Как устранить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

max1976

Я смотрю появилась 0.50 версия Extfilter с глобальными изменениями . Не расскажите в вкратце об них?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Судя по коду оптимизации и добавились ацлы, что ограничить трафик на фильтр )

также поддержка второго сокета и нескольких портов..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Судя по коду оптимизации и добавились ацлы, что ограничить трафик на фильтр )

также поддержка второго сокета и нескольких портов..

 

Не совсем правильно по ACL. ACL используются для работы со списками ip:port или просто по ip.

Поддержка систем с более чем одним процессором добавлена, но пока не до конца, т.к. используется библиотека multifast, в которой нет поддержки нескольких процессоров и требуется ее доработка.

Изменен алгоритм работы с сетевой картой. Раньше один процесс собирал пакеты с карты и отправлял другим процессам, теперь же каждый процесс сам собирает пакеты и сам же их обрабатывает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.