Andrei Опубликовано 12 апреля, 2017 · Жалоба Пытаюсь распарсить dump.xml, выбрав из него список доменов, которые надо блокировать целиком: xmlstarlet sel -T -t -m "reg:register/content" -v "concat('',domain)" -n /etc/zapret/dump.xml | sort -u | sed -r -e 's_^(.*)$_zone \"\1\" \{ type master\; file \"\/etc\/bind\/db.null\"\; \};_g' > /etc/zapret/named.blocked В результате хочется получить список уникальных доменов, а выходит ерунда. Например, если посмотреть полученное вот так: cat named.blocked | grep e38.us zone "e38.us" { type master; file "/etc/bind/db.null"; }; zone "e38.us." { type master; file "/etc/bind/db.null"; }; zone "www.e38.us" { type master; file "/etc/bind/db.null"; }; видно, что уникальности нет :( Что-то не соображу, как поправить парсер, чтобы решить эту задачку. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Urs_ak Опубликовано 12 апреля, 2017 · Жалоба А я недавно, после ввода DPI, решил загружать в Bind только те домены, которые явно банятся как домены. Чтобы совсем не насиловать сервис. Вот так: xmlstarlet select --template -v "/reg:register/content[@blockType=domain' or @blockType='domain-mask]/domain" dump.xml если кому-то нужен пример выборки xmlstarlet'а... Уникальность, либо: | sort -u | uniq либо ещё функция distinct-values у xmlstarlet'а есть (но я не пользовался) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Andrei Опубликовано 12 апреля, 2017 · Жалоба У меня "sort -u" присутствует, добавление "| uniq" ситуацию не исправляет. Видимо в реестр криво занесены имена доменов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bbapkk Опубликовано 12 апреля, 2017 · Жалоба На самом свежем extfilter получил печальную проблему: если url_normalization=true, то проходят ссылки с запятыми и прочим непотребством если url_normalization=false, то проходят ссылки с двойными и тройными слешами Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 12 апреля, 2017 · Жалоба 2017-04-12 14:49:41.290 [2085] Error CSender - sendto() failed to 91.225.248.129:80 errno: 101 Есть у кого подобное ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roman1295 Опубликовано 13 апреля, 2017 (изменено) · Жалоба Доброго времени суток! Столкнулся с необходимостью блокировки впервые, прошу помощи. Имеется: xml-дамп из Carbon Reductor Что нужно: Загрузить дамп в blacklist-rkn-tool -> закинуть в mysqlite -> далее запрещенные URL's в Squid для редиректа или дропа. Подскажите, пожалуйста, в какую сторону копать. В bl-rkn загрузил сторонний дамп командой # ./bl-rkn.py -dump предварительно в конфиге указав этот файл, но ничего не произошло - в логах: 2017-04-13 14:26:19,940 отсутствует файл с телом запроса 2017-04-13 14:26:19,940 Script stopped. А дальше затык, не нашёл документации. Буду премного благодарен. Изменено 13 апреля, 2017 пользователем roman1295 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 13 апреля, 2017 · Жалоба Как много слов и как мало смысла... Могу сказать только, что мои эксперименты со squidGuard закончились с неудовлетворительными результатами. А регулярками блокировать... Производительность будет никакая Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 13 апреля, 2017 · Жалоба Идея о завороте в сквид - увы, провальна. Например мы берём ip из реестра (а он меняется) и заворачиваем на сквид, там строим списки запрета - и тут-же получаем пропуск. Только ДПИ. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 13 апреля, 2017 · Жалоба либо как-то патчить сквид Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
duckhawk Опубликовано 14 апреля, 2017 · Жалоба Идея о завороте в сквид - увы, провальна. Например мы берём ip из реестра (а он меняется) и заворачиваем на сквид, там строим списки запрета - и тут-же получаем пропуск. Только ДПИ. Ну, ребята с http://zapretservice.ru/, например, вполне себе фильтровалку на базе сквида сделали, и она даже работает. Тут проблема в другом, оно же, как и любой прокси, свой IP адрес в качестве сорса будет подставлять. А фильтровать надо еще и список минюста. А в нем - до фига вконтакта. Вы готовы, чтобы все ваши пользователи ходили во вконтакт с одного ипа? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 14 апреля, 2017 (изменено) · Жалоба Идея о завороте в сквид - увы, провальна. Например мы берём ip из реестра (а он меняется) и заворачиваем на сквид, там строим списки запрета - и тут-же получаем пропуск. Только ДПИ. Ну, ребята с http://zapretservice.ru/, например, вполне себе фильтровалку на базе сквида сделали, и она даже работает. Тут проблема в другом, оно же, как и любой прокси, свой IP адрес в качестве сорса будет подставлять. А фильтровать надо еще и список минюста. А в нем - до фига вконтакта. Вы готовы, чтобы все ваши пользователи ходили во вконтакт с одного ипа? :) Погуглите squid+tproxy ps: Миньюст ручками, глазками и интуицией разгребаете? Изменено 14 апреля, 2017 пользователем Antares Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 14 апреля, 2017 · Жалоба Тут проблема в другом, оно же, как и любой прокси, свой IP адрес в качестве сорса будет подставлять. А фильтровать надо еще и список минюста. А в нем - до фига вконтакта. Вы готовы, чтобы все ваши пользователи ходили во вконтакт с одного ипа? :) Ну и я о том-же, не спасает сквид. Про списки - ну за скромные деньги на техсаппорт производители софтовых ДПИ вполне их сами в облаке делают. Более того, скатовцы обещали доступ к спискам даже без оплаченного саппорта. Но никто не гарантирован от яровых высевов, поэтому саппорт таки нужен. И еще раз - фильтрация - это не основной бизнес провайдера, а голые издержки, посему держать высококлассного спеца для этих госхотелок - нерентабельно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 14 апреля, 2017 · Жалоба Зазеркалил транковый порт на extFilter а счетчики пакетов почемуто в extFilter не растут, в чем может быть дело? грешу на адаптер e1000e Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 15 апреля, 2017 · Жалоба Зазеркалил транковый порт на extFilter а счетчики пакетов почемуто в extFilter не растут, в чем может быть дело? грешу на адаптер e1000e Логи в дебаг и посмотрите что бы там не было Port 0 down или что то подобное. Тоже была такая проблема. Поменял в коде sleep 5 и вроде все подхватилось Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 15 апреля, 2017 · Жалоба Зазеркалил транковый порт на extFilter а счетчики пакетов почемуто в extFilter не растут, в чем может быть дело? грешу на адаптер e1000e Логи в дебаг и посмотрите что бы там не было Port 0 down или что то подобное. Тоже была такая проблема. Поменял в коде sleep 5 и вроде все подхватилось А где (в каком файле поменяли sleep) и ещё есть dpdk шная програмулинна, чтоб запустить tcpdump на dpdk шном интерфейсе? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 15 апреля, 2017 · Жалоба Ну штатной тоже можно проверить. Но она кажется использует ядро линукса. Я менял путь с исходникам/src/main.cpp 106 строка что ли там. Или ищите код if (!link.link_status) { sleep(1); rte_eth_link_get_nowait(port, &link); } вот там надо еденицу на 5 сменить Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 15 апреля, 2017 · Жалоба Ну штатной тоже можно проверить. Но она кажется использует ядро линукса. Я менял путь с исходникам/src/main.cpp 106 строка что ли там. Или ищите код if (!link.link_status) { sleep(1); rte_eth_link_get_nowait(port, &link); } вот там надо еденицу на 5 сменить Я там на 10 поменял, но не в этом дело, пакеты то попадают на интерфейс, но такое ощущение, что н не понимает VLAN. Счетчики растут, но как то кисло: Port 0 input packets: 172, input errors: 0, mbuf errors: 0 Thread seen packets: 170, IP packets: 0 (IPv4 packets: 0, IPv6 packets: 0), seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 0.57 pps а вот на адаптере vmxnet3 замечено при старте большое значение mbuf errors: но счетчики не растут после старта. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xcme Опубликовано 15 апреля, 2017 · Жалоба Я там на 10 поменял, но не в этом дело, пакеты то попадают на интерфейс, но такое ощущение, что н не понимает VLAN. Счетчики растут, но как то кисло: У меня было похожее, когда отзеркалил трафик не в том направлении. Надо было Rx, а я Tx отправил на зеркало. Сижу, смотрю.... ничего не происходит. :) Потом разобрался. p.s. Метки 802.1q ему не мешают - у меня там трафик в нескольких вилан зеркалится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 15 апреля, 2017 · Жалоба Я там на 10 поменял, но не в этом дело, пакеты то попадают на интерфейс, но такое ощущение, что н не понимает VLAN. Счетчики растут, но как то кисло: У меня было похожее, когда отзеркалил трафик не в том направлении. Надо было Rx, а я Tx отправил на зеркало. Сижу, смотрю.... ничего не происходит. :) Потом разобрался. p.s. Метки 802.1q ему не мешают - у меня там трафик в нескольких вилан зеркалится. отзеркалил то я правильно, если интерфейс отсоединяю от DPDK то tcpdump ом вижу нормально трафик бегущий в инет во вне. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 16 апреля, 2017 · Жалоба Дело скорее всего в вмваре. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
oborot.bolta Опубликовано 17 апреля, 2017 · Жалоба Дело скорее всего в вмваре. все установлено на bare metall в том то и дело, что на вмваре все ок Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
evgen.v Опубликовано 17 апреля, 2017 · Жалоба Добрый день! Столкнулись с такой проблемой: иногда после перезапуска nfqfilter зависает, в логах показывает запуск программы, и дальше в логах тишина, хотя, как я понимаю, он должен писать туда статистику каждые 5 минут, сайты не блокирует, при этом процесс запущен 2017-04-16 23:19:41.748 [17690] Information Application - nDPI memory (once): 104.60 KB 2017-04-16 23:19:41.748 [17690] Information Application - nDPI memory per flow: 1.91 KB 2017-04-16 23:19:41.748 [17690] Information Application - nDPI current memory usage: 73.74 MB 2017-04-16 23:19:41.748 [17690] Information Application - nDPI maximum memory usage: 73.74 MB 2017-04-16 23:19:41.748 [17690] Information Application - Total seen packets: 89447548, Total seen bytes: 12136583957, Average packet size: 135 bytes, Traffic throughput: 12.71 K pps 2017-04-16 23:19:41.748 [17690] Information Application - Total matched by ip/port: 0, Total matched by ssl: 865, Total matched by ssl/ip: 0 2017-04-16 23:19:41.748 [17690] Information Application - Total redirected domains 772, Total redirected urls: 3140, Total marked ssl: 0, Total marked hosts: 0, Total rst sended: 865 2017-04-16 23:19:41.947 [19029] Information Application - Starting up on queue: 0 -- Куча строк типа Pattern 'xxxxxxxx.xxx/xxx' already present in the URL database from file /usr/local/etc/nfqfilter.d/urls -- 2017-04-16 23:19:44.104 [19029] Information nfqThread - NFQ: Binding to queue 0 2017-04-16 23:19:44.104 [19029] Information nfqThread - Setting queue length to 4096 2017-04-16 23:19:44.104 [19029] Information nfqThread - Setting nfnl bufsize to 6144000 2017-04-17 01:15:02.798 [20391] Information Application - Starting up on queue: 0 -- Куча строк типа Pattern 'xxxxxxxx.xxx/xxx' already present in the URL database from file /usr/local/etc/nfqfilter.d/urls -- 2017-04-17 01:15:04.840 [20391] Information nfqThread - NFQ: Binding to queue 0 2017-04-17 01:15:04.840 [20391] Information nfqThread - Setting queue length to 4096 2017-04-17 01:15:04.840 [20391] Information nfqThread - Setting nfnl bufsize to 6144000 2017-04-17 01:20:04.839 [20391] Information Application - nDPI memory (once): 104.60 KB 2017-04-17 01:20:04.840 [20391] Information Application - nDPI memory per flow: 1.91 KB 2017-04-17 01:20:04.840 [20391] Information Application - nDPI current memory usage: 2.97 MB 2017-04-17 01:20:04.840 [20391] Information Application - nDPI maximum memory usage: 2.97 MB 2017-04-17 01:20:04.840 [20391] Information Application - Total seen packets: 1240969, Total seen bytes: 144896241, Average packet size: 116 bytes, Traffic throughput: 4.14 K pps 2017-04-17 01:20:04.840 [20391] Information Application - Total matched by ip/port: 0, Total matched by ssl: 138, Total matched by ssl/ip: 0 2017-04-17 01:20:04.840 [20391] Information Application - Total redirected domains 178, Total redirected urls: 900, Total marked ssl: 0, Total marked hosts: 0, Total rst se nded: 138 2017-04-17 01:25:04.840 [20391] Information Application - nDPI memory (once): 104.60 KB 2017-04-17 01:25:04.840 [20391] Information Application - nDPI memory per flow: 1.91 KB 2017-04-17 01:25:04.840 [20391] Information Application - nDPI current memory usage: 4.15 MB 2017-04-17 01:25:04.840 [20391] Information Application - nDPI maximum memory usage: 4.15 MB 2017-04-17 01:25:04.840 [20391] Information Application - Total seen packets: 2473465, Total seen bytes: 384046261, Average packet size: 155 bytes, Traffic throughput: 4.12 K pps 2017-04-17 01:25:04.841 [20391] Information Application - Total matched by ip/port: 0, Total matched by ssl: 284, Total matched by ssl/ip: 0 2017-04-17 01:25:04.841 [20391] Information Application - Total redirected domains 556, Total redirected urls: 1632, Total marked ssl: 0, Total marked hosts: 0, Total rst s ended: 284 Из-за чего может возникать эта проблема? Как устранить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 19 апреля, 2017 · Жалоба max1976 Я смотрю появилась 0.50 версия Extfilter с глобальными изменениями . Не расскажите в вкратце об них? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 19 апреля, 2017 · Жалоба Судя по коду оптимизации и добавились ацлы, что ограничить трафик на фильтр ) также поддержка второго сокета и нескольких портов.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 19 апреля, 2017 · Жалоба Судя по коду оптимизации и добавились ацлы, что ограничить трафик на фильтр ) также поддержка второго сокета и нескольких портов.. Не совсем правильно по ACL. ACL используются для работы со списками ip:port или просто по ip. Поддержка систем с более чем одним процессором добавлена, но пока не до конца, т.к. используется библиотека multifast, в которой нет поддержки нескольких процессоров и требуется ее доработка. Изменен алгоритм работы с сетевой картой. Раньше один процесс собирал пакеты с карты и отправлял другим процессам, теперь же каждый процесс сам собирает пакеты и сам же их обрабатывает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...