1. Для блокировка используем

[arhead]

23 минуты назад, max1976 сказал:

Версия ветки exp - блокируется без проблем

А эта ветка стабильна? И какие отличия?

Изменено 29 марта, 2018 пользователем arhead

[max1976]

19 минут назад, arhead сказал:

А эта ветка стабильна?

Я сам пользуюсь этой версией. Единственное ограничение - отсылка пакетов в сторону клиента только через дополнительный dpdk интерфейс.

[Antares]

1 час назад, hsvt сказал:

У меня вот эта хреновина проскакивает, как же достало это всё уже...

 

  </content>
  <content id="843639" includeTime="2018-03-20T19:38:11" entryType="1" hash="42CE842D9E68C6F64E139C4FF7C5D8E8">
    <decision date="2018-03-12" number="399805-URL-on" org="îñêîìíàäçîð"/>
    <url><![CDATA[http://av.av4.xyz/v/s://xseed18.com/nid/3345/title/%E0%B8%AB%E0%B8%B5%E0%B9%81%E0%B8%94%E0%B8%87%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%88%E0%B8%B4%E0%B9%8B%E0%B8%A1%E0%B9%80%E0%B8%94%E0%B9%87%E0%B8%81%E0%B8%AD%E0%B8%99%E0%B8%B8%E0%B8%9A%E0%B8%B2%E0%B8%A5%E0%B8%8A%E0%B8%B1%E0%B8%94%E0%B9%86%E0%B9%83%E0%B8%88%E0%B9%81%E0%B8%95%E0%B8%81%E0%B8%95%E0%B8%B1%E0%B9%89%E0%B8%87%E0%B8%81%E0%B8%A5%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B9%81%E0%B8%AB%E0%B8%81%E0%B8%AB%E0%B8%B5%E0%B9%82%E0%B8%8A%E0%B8%A7%E0%B9%8C%E0%B9%82%E0%B8%AB%E0%B8%99%E0%B8%81%E0%B8%99%E0%B8%B9%E0%B8%99%E0%B8%AB%E0%B8%B5%E0%B8%AD%E0%B8%B9%E0%B8%A1%E0%B9%86%E0%B8%AB%E0%B8%B5%E0%B8%AD%E0%B8%A7%E0%B8%A1%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%94%E0%B8%B9%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7%E0%B8%84%E0%B8%A7%E0%B8%A2%E0%B9%81%E0%B8%82%E0%B9%87%E0%B8%87%E0%B8%99%E0%B9%88%E0%B8%B2%E0%B8%A3%E0%B8%B1%E0%B8%81%E0%B8%99%E0%B9%88%E0%B8%B2%E0%B9%80%E0%B8%A2%E0%B9%87%E0%B8%94%E0%B8%A1%E0%B8%B2%E0%B8%81%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%84%E0%B8%A5%E0%B8%B4]]></url>
    <domain><![CDATA[av.av4.xyz]]></domain>
    <ip>104.28.21.78</ip>
    <ip>104.28.20.78</ip>
  </content>

 

 

 

4 минуты назад, max1976 сказал:

Я сам пользуюсь этой версией. Единственное ограничение - отсылка пакетов в сторону клиента только через дополнительный dpdk интерфейс.

А как сделать, чтобы и в основной ветке блокировалось?

[arhead]

2 минуты назад, max1976 сказал:

Единственное ограничение - отсылка пакетов в сторону клиента только через дополнительный dpdk интерфейс.

Вот это блин и как раз не делал что бы через дпдк интерфейс отправлял. Надо как нибудь настроить это. Там я как понял надо что бы мак адрес роутера виделся основного?

[dee]

Скрытый текст

2018-03-29 19:00:35.888 [15575] Information TriesControl - Loaded 109981 lines from the domains file '/usr/local/etc/extfilter/DUMP/domains'
2018-03-29 19:00:35.917 [15575] Information TriesControl - Loaded 97618 lines from the urls file '/usr/local/etc/extfilter/DUMP/urls'
2018-03-29 19:00:35.919 [15575] Information TriesControl - Masked domains: #keys 3283, #nodes 4533
2018-03-29 19:00:36.093 [15575] Information TriesControl - URLS: #keys 207598, #nodes 295072
2018-03-29 19:00:36.093 [15575] Information TriesControl - Set active trie in the slot 0
2018-03-29 19:00:36.112 [15575] Information TriesControl - Loaded 117301 lines from the domains file '/usr/local/etc/extfilter/DUMP/ssl_host'
2018-03-29 19:00:36.114 [15575] Information TriesControl - Masked domains: #keys 3283, #nodes 4533
2018-03-29 19:00:36.192 [15575] Information TriesControl - URLS: #keys 117172, #nodes 165709
2018-03-29 19:00:36.192 [15575] Information TriesControl - Set active trie in the slot 0
2018-03-29 19:00:36.192 [15575] Information Application - Setting mbuf size to 16384
2018-03-29 19:00:36.202 [15575] Information Application - Allocated mbuf pool (16384 entries) on socket 0
2018-03-29 19:00:36.204 [15575] Information Application - Allocated memory pool (16384 entries) for packet info on sockets 0
2018-03-29 19:00:36.204 [15575] Information Application - Port 0 creating queues: rx queue=3, tx queue=3
2018-03-29 19:00:36.204 [15575] Information Application - port=0 rx_queueid=0 nb_rxd=256 core=4
2018-03-29 19:00:36.204 [15575] Information Application - port=0 tx_queueid=0 nb_txd=512 core=4
2018-03-29 19:00:36.204 [15575] Information Application - port=0 rx_queueid=1 nb_rxd=256 core=5
2018-03-29 19:00:36.204 [15575] Information Application - port=0 tx_queueid=1 nb_txd=512 core=5
2018-03-29 19:00:36.204 [15575] Information Application - port=0 rx_queueid=2 nb_rxd=256 core=6
2018-03-29 19:00:36.204 [15575] Information Application - port=0 tx_queueid=2 nb_txd=512 core=6
2018-03-29 19:00:39.973 [15575] Information Application - Port 0 MAC: 00:1e:67:38:c6:31
2018-03-29 19:00:39.973 [15575] Information Application - Create pool 'DPIHTTPPool' for the http dissector with number of entries: 250000, element size 960 size: 240000000 bytes
2018-03-29 19:00:40.002 [15575] Information Application - Allocating 3840000000 bytes (10000000 entries) for ipv4 flow pool
2018-03-29 19:00:40.213 [15575] Fatal Application - Not enough memory for ipv4 flows pool. Tried to allocate 3840000000 bytes on socket 0
2018-03-29 19:00:40.213 [15575] Error Application - Exception: Not enough memory for flows pool
 

что то из exp не хочет запускаться при тех же условиях что и ветка master

 

что то прочитал в ридмишке это :

Цитата

Для работы программы требуется не менее двух интерфейсов, подключенных в DPDK

получается нужно через дпдк 

dpdk-devbind.py -b igb_uio 0000:09:00.X

добавлять несколько интерфейсов (один для миррора , другой для отправки ?) блин и не ясно это

 

[port 1]
type = sender
; На какой mac адрес отправлять пакеты

про какой именно мак идёт речь ? 

(у меня система построена не так наверно как у всех и миррорится трафф через pc router tc , линк напрямую идёт от роутера на extFilter и  возникает вопрос зачем мне  и чем делать ещё линк ... 

Изменено 29 марта, 2018 пользователем dee

[max1976]

2 часа назад, Antares сказал:

А как сделать, чтобы и в основной ветке блокировалось?

url_normalization в конфиге выключен?

 

50 минут назад, dee сказал:

про какой именно мак идёт речь ? 

MAC адрес интерфейса роутра, на который фильтр будет отсылать пакеты. Этот роутер должен знать как доставить пакет к абоненту (по адресу назначения в пакете от фильтра).

[Antares]

2 минуты назад, max1976 сказал:

url_normalization в конфиге выключен?

закоментирован

[max1976]

10 минут назад, Antares сказал:

закоментирован

Проблема ясна. Сейчас правлю extfilter_maker.pl для master ветки.

[max1976]

16 минут назад, max1976 сказал:

Сейчас правлю extfilter_maker.pl для master ветки.

Исправление на github'е. Для исправления необходимо обновить extfilter_maker.pl и запустить его для формирования обновленных списков фильтра.

[Antares]

3 минуты назад, max1976 сказал:

Исправление на github'е. Для исправления необходимо обновить extfilter_maker.pl и запустить его для формирования обновленных списков фильтра.

не помогло

[max1976]

2 минуты назад, Antares сказал:

не помогло

Пришлите вывод

grep "av.av4.xyz/v/s:/xseed18.com" urls

 

[Antares]

grep "av.av4.xyz/v/s:/xseed18.com" urls
av.av4.xyz/v/s:/xseed18.com/nid/3345/title/%E0%B8%AB%E0%B8%B5%E0%B9%81%E0%B8%94%E0%B8%87%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%88%E0%B8%B4%E0%B9%8B%E0%B8%A1%E0%B9%80%E0%B8%94%E0%B9%87%E0%B8%81%E0%B8%AD%E0%B8%99%E0%B8%B8%E0%B8%9A%E0%B8%B2%E0%B8%A5%E0%B8%8A%E0%B8%B1%E0%B8%94%E0%B9%86%E0%B9%83%E0%B8%88%E0%B9%81%E0%B8%95%E0%B8%81%E0%B8%95%E0%B8%B1%E0%B9%89%E0%B8%87%E0%B8%81%E0%B8%A5%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B9%81%E0%B8%AB%E0%B8%81%E0%B8%AB%E0%B8%B5%E0%B9%82%E0%B8%8A%E0%B8%A7%E0%B9%8C%E0%B9%82%E0%B8%AB%E0%B8%99%E0%B8%81%E0%B8%99%E0%B8%B9%E0%B8%99%E0%B8

 

[max1976]

1 минуту назад, Antares сказал:

grep "av.av4.xyz/v/s:/xseed18.com" urls
av.av4.xyz/v/s:/xseed18.com/nid/3345/title/%E0%B8%AB%E0%B8%B5%E0%B9%81%E0%B8%94%E0%B8%87%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%88%E0%B8%B4%E0%B9%8B%E0%B8%A1%E0%B9%80%E0%B8%94%E0%B9%87%E0%B8%81%E0%B8%AD%E0%B8%99%E0%B8%B8%E0%B8%9A%E0%B8%B2%E0%B8%A5%E0%B8%8A%E0%B8%B1%E0%B8%94%E0%B9%86%E0%B9%83%E0%B8%88%E0%B9%81%E0%B8%95%E0%B8%81%E0%B8%95%E0%B8%B1%E0%B9%89%E0%B8%87%E0%B8%81%E0%B8%A5%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B9%81%E0%B8%AB%E0%B8%81%E0%B8%AB%E0%B8%B5%E0%B9%82%E0%B8%8A%E0%B8%A7%E0%B9%8C%E0%B9%82%E0%B8%AB%E0%B8%99%E0%B8%81%E0%B8%99%E0%B8%B9%E0%B8%99%E0%B8

 

В таком виде должна блокироваться. Может у вас в кэше эта страница?

[Antares]

2 минуты назад, max1976 сказал:

В таком виде должна блокироваться. Может у вас в кэше эта страница?

Да нет, разными броузерами пробовал

 

в таком не блокируется

http://av.av4.xyz/v/s://xseed18.com/nid/3345/title/%E0%B8%AB%E0%B8%B5%E0%B9%81%E0%B8%94%E0%B8%87%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%88%E0%B8%B4%E0%B9%8B%E0%B8%A1%E0%B9%80%E0%B8%94%E0%B9%87%E0%B8%81%E0%B8%AD%E0%B8%99%E0%B8%B8%E0%B8%9A%E0%B8%B2%E0%B8%A5%E0%B8%8A%E0%B8%B1%E0%B8%94%E0%B9%86%E0%B9%83%E0%B8%88%E0%B9%81%E0%B8%95%E0%B8%81%E0%B8%95%E0%B8%B1%E0%B9%89%E0%B8%87%E0%B8%81%E0%B8%A5%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B9%81%E0%B8%AB%E0%B8%81%E0%B8%AB%E0%B8%B5%E0%B9%82%E0%B8%8A%E0%B8%A7%E0%B9%8C%E0%B9%82%E0%B8%AB%E0%B8%99%E0%B8%81%E0%B8%99%E0%B8%B9%E0%B8%99%E0%B8%AB%E0%B8%B5%E0%B8%AD%E0%B8%B9%E0%B8%A1%E0%B9%86%E0%B8%AB%E0%B8%B5%E0%B8%AD%E0%B8%A7%E0%B8%A1%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%94%E0%B8%B9%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7%E0%B8%84%E0%B8%A7%E0%B8%A2%E0%B9%81%E0%B8%82%E0%B9%87%E0%B8%87%E0%B8%99%E0%B9%88%E0%B8%B2%E0%B8%A3%E0%B8%B1%E0%B8%81%E0%B8%99%E0%B9%88%E0%B8%B2%E0%B9%80%E0%B8%A2%E0%B9%87%E0%B8%94%E0%B8%A1%E0%B8%B2%E0%B8%81%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%84%E0%B8%A5%E0%B8%B4

а в таком да

av.av4.xyz/v/s:/xseed18.com/nid/3345/title/%E0%B8%AB%E0%B8%B5%E0%B9%81%E0%B8%94%E0%B8%87%E0%B9%86%E0%B9%80%E0%B8%A5%E0%B8%A2%E0%B8%84%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%88%E0%B8%B4%E0%B9%8B%E0%B8%A1%E0%B9%80%E0%B8%94%E0%B9%87%E0%B8%81%E0%B8%AD%E0%B8%99%E0%B8%B8%E0%B8%9A%E0%B8%B2%E0%B8%A5%E0%B8%8A%E0%B8%B1%E0%B8%94%E0%B9%86%E0%B9%83%E0%B8%88%E0%B9%81%E0%B8%95%E0%B8%81%E0%B8%95%E0%B8%B1%E0%B9%89%E0%B8%87%E0%B8%81%E0%B8%A5%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B9%81%E0%B8%AB%E0%B8%81%E0%B8%AB%E0%B8%B5%E0%B9%82%E0%B8%8A%E0%B8%A7%E0%B9%8C%E0%B9%82%E0%B8%AB%E0%B8%99%E0%B8%81%E0%B8%99%E0%B8%B9%E0%B8%99%E0%B8

 

[max1976]

7 минут назад, Antares сказал:

Да нет, разными броузерами пробовал

Зайдите по ссылке из реестра curl'ом и снимите дамп tcpdump'ом.

[Antares]

это уже завтра...сегодня пора спать )) спасибо

[Andrei]

1 час назад, max1976 сказал:

Исправление на github'е.

Это https://github.com/max197616/extfilter актуальная ветка?

[max1976]

16 минут назад, Andrei сказал:

Это https://github.com/max197616/extfilter актуальная ветка?

Эта ветка не совсем актуальная, но я вношу в нее изменения если есть серьезные баги. Дальнейшее развитие здесь.

[myth]

А ответов по L3 больше не будет?

[max1976]

22 минуты назад, myth сказал:

А ответов по L3 больше не будет?

Отправки пакетов ядром linux'а не будет. Только через dpdk.

[XomA]

35 минут назад, max1976 сказал:

Отправки пакетов ядром linux'а не будет. Только через dpdk.

А при посылке rst через dpdk какие ip адреса будут подставлены в качестве отправителя? Адреса заблокированных урлов?

[ne-vlezay80]

1 час назад, max1976 сказал:

Отправки пакетов ядром linux'а не будет. Только через dpdk.

А можно ли через dpdk сделать активный dpi?

[Antares]

9 часов назад, max1976 сказал:

Зайдите по ссылке из реестра curl'ом и снимите дамп tcpdump'ом.

 

traf.cap

[myth]

10 часов назад, max1976 сказал:

Отправки пакетов ядром linux'а не будет. Только через dpdk.

3 линка тащить чтоле к серверу вместо 2х?

 

А профит в чем?

[max1976]

1 час назад, myth сказал:

А профит в чем?

В скорости отправки пакетов.

 

4 часа назад, Antares сказал:

 

traf.cap

Что у вас установлено в параметре url_additional_info ?