ipt_NETFLOW

[crown]

Some update:

I think it is Netflow 5 format rrelated problem. it doesn't export ingress and egress information in packets. I think Netflow v9 does! I was looking how to send v9 flows using ipt_netflow no luck! README and forum don't suggest any solution :(

 

The problem is that it is a passive, non transitive traffic. Any suggestions ho to get accurate view for IN/OUT traffic in promisc mode?

[_INF_]

Собрал ipt_NETFLOW 1.7.1 для CentOS/RHEL/SL 6 пока только для архитектуры x86_64, ставим так

 

Устанавливаем репозиторий

rpm -ihv http://mirror.yandex.ru/epel/6/x86_64/epel-release-6-5.noarch.rpm
rpm -ihv http://centos.alt.ru/pub/repository/centos/6/x86_64/centalt-release-6-1.noarch.rpm

 

ставим софт

 

yum install ipt_netflow kmod-ipt_netflow

[breusovok]

Есть проблема:

В сети 3 наса, на всех стоит ubuntu 11.10, на ней крутится accel-ppp+iptables(v1.4.9.1, собирал из исходняков)+ipt_netflow(1.7.1, также их исходняков)

uname -a
Linux ppp4 3.0.0-12-server #20-Ubuntu SMP Fri Oct 7 16:36:30 UTC 2011 x86_64 x86_64 x86_64 GNU/Linux

Периодически, некоторым пользователям начисляется огромное кол-во трафика, от наса не зависит, такое встречается на всех трех насах. коллектор netflow - демон Lanbilling 1.9, когда была фряха с mpd, таких проблем не было. Никто не сталкивался с такой заморочкой?

[orlik]

Есть проблема:

 

Периодически, некоторым пользователям начисляется огромное кол-во трафика

 

а не пробовали смотреть что там за трафик ? и что значит огромный ?

[breusovok]

За 1 день выкачать 50 Гб трафика при тарифе 512к просто не реально физически. Поверю до 4 Гб в сутки. За вчерашний день человек 5-6 имеют в статистике по 40-50 гб. В табличках биллинга какой-то трафик на ИП абонентов действительно есть, сессии/порты/ИП есть. Но физически такой трафик не может успеть пройти через нас за 1 день. Проблему c Lanbilling-ом пока не признаю, т.к. на фряхе/циске 7204 такой проблемы нет.

[KotikBSd]

ищите всплекс в файлах :) я думаю у вас же не один нетфлоу вайл создается в сутки... так же не стоит отменять тот факт что может у абонента шейпер не отработал? и ни о каких 512 речи не шло? :)

в общем нужно максимально собрать данные отовсех мест. например данные по загрузке порта, если свтч у правляемый, данные аккаунтинг пакетов ppp наса, итд, и всё сравнить. Ну а если ничего у вас кроме данных netflow нет, это печально, так как это не правильно, и разобраться в этой проблеме будет очень сложно...

[breusovok]

Ну почему нет ничего, кроме нетфлоу? Есть статистика с портов коммутатора, с портов наса, и т.п. Но всплеска трафика нет нигде! Нас абонентов не шейпит, шейпит выше железяка, там если ИП не попал не в одну таблицу шейпинга (ipfw), он попадает в табличку на 64k. Так что это точно не в шейпере дело. А вот насчет файлов - если можно подробнее. Где должны создаваться эти файлы? на насе? или на коллекторе? У меня в качестве коллектора стоит биллинг Lanbilling, на сколько я знаю он файлы не создает, пишет напрямую в базу.

[QWE]

подскажите подходящий дистр Linux для работы модуля ipt_netflow

судя из описания ipt_netflow максимальная версия ядра может быть 2.6.37

2011-01-25 ABC

 

* ipt_NETFLOW.c: compile compatibility with 2.6.37 (ipt_*)

* ipt_NETFLOW.c: compile compatibility with 2.6.36.3 (NIPQUAD)

 

CentOS6.2 на сервер не ставиться (

[breusovok]

У меня на Дебиане (Убунту) 3.0.0.12 робит, правда есть непонятные глюки, пока не знаю с чем связаные.

[settler001]

подскажите подходящий дистр Linux для работы модуля ipt_netflow

судя из описания ipt_netflow максимальная версия ядра может быть 2.6.37

2011-01-25 ABC

 

* ipt_NETFLOW.c: compile compatibility with 2.6.37 (ipt_*)

* ipt_NETFLOW.c: compile compatibility with 2.6.36.3 (NIPQUAD)

 

CentOS6.2 на сервер не ставиться (

 

Debian 6, самосборное ядро 3.3.6

ipt_netflow из cvs работает нормально. Пока правда еще и суток не прошло :)

[sn0wle0]

подскажите подходящий дистр Linux для работы модуля ipt_netflow

судя из описания ipt_netflow максимальная версия ядра может быть 2.6.37

2011-01-25 ABC

 

* ipt_NETFLOW.c: compile compatibility with 2.6.37 (ipt_*)

* ipt_NETFLOW.c: compile compatibility with 2.6.36.3 (NIPQUAD)

 

CentOS6.2 на сервер не ставиться (

 

У меня на Scientific linux и на Centos 6 ipt_netflow работает прекрасно.

Ставил отсюда:

http://centos.alt.ru/pub/repository/centos/6/x86_64/ipt_netflow-1.7.1-1.el6.x86_64.rpm

http://centos.alt.ru/pub/repository/centos/6/x86_64/kmod-ipt_netflow-1.7.1-1.el6.x86_64.rpm

[pavel.odintsov]

дополнение , проблема проявляется когда делаю копию трафика и tx и rx , если делать например только RX то все работает нормально

 

Та же самая проблема, бьемся третий день. Включаем миррор только TX - iptables не видит вообще ничего, а при RX - отлично ловится :(

 

У Вас в итоге что-то получилось?

 

Update: починили, проблема была в D-Link свитче, который не додумывался снимать теги при мирроринге трафика.

Edited September 28, 2012 by pavel.odintsov

[sire]

У меня не работает хак с бриджем и дамми интерфейсом.

 

Есть сервер, подключенный к порту коммутатора, на котором настроен порт мирроринг. Зеркалируется входящий и исходящий трафик с одного порта на порт, к которому подключен сервер.

На сервере tcpdump показывает зеркалируемый трафик и на eth1, и на br0. Но счётчик iptables для правила -j NETFLOW равен нулю, и ipt_netflow не видит трафик с зеркалируемого порта.

На сервере стоит клон RHEL 6.1 с ядром 2.6.32-131.0.15.el6.x86_64, iptables 1.4.7, ipt_netflow 1.8.

Настраивал по этой доке.

 

Есть какие-нибудь идеи?

[pavel.odintsov]

sire у бриджа точно setaging отключено?

[crown]

За 1 день выкачать 50 Гб трафика при тарифе 512к просто не реально физически. Поверю до 4 Гб в сутки. За вчерашний день человек 5-6 имеют в статистике по 40-50 гб. В табличках биллинга какой-то трафик на ИП абонентов действительно есть, сессии/порты/ИП есть. Но физически такой трафик не может успеть пройти через нас за 1 день. Проблему c Lanbilling-ом пока не признаю, т.к. на фряхе/циске 7204 такой проблемы нет.

 

PKTTYPE = broadcast and PKTTYPE = multicast are your "friends" :)

 

V9 still not supported :(

[breusovok]

За 1 день выкачать 50 Гб трафика при тарифе 512к просто не реально физически. Поверю до 4 Гб в сутки. За вчерашний день человек 5-6 имеют в статистике по 40-50 гб. В табличках биллинга какой-то трафик на ИП абонентов действительно есть, сессии/порты/ИП есть. Но физически такой трафик не может успеть пройти через нас за 1 день. Проблему c Lanbilling-ом пока не признаю, т.к. на фряхе/циске 7204 такой проблемы нет.

 

PKTTYPE = broadcast and PKTTYPE = multicast are your "friends" :)

 

V9 still not supported :(

Could be, could be. Now, with the transition to unlimited tariffs, the question was not relevant, no matter how many counted. But, thank you!

[sire]

sire у бриджа точно setaging отключено?

Да, пробовал и с включенным, и с отключенным :(

[pavel.odintsov]

sire а вообще трафик на интерфейсе виден? Если сделать iftop -i ethX -n что-либо покажет? В ifconfig ethX значения увеличиваются?

[sire]

sire а вообще трафик на интерфейсе виден? Если сделать iftop -i ethX -n что-либо покажет? В ifconfig ethX значения увеличиваются?

Если я правильно понимаю Ваш вопрос, то я уже писал "На сервере tcpdump показывает зеркалируемый трафик и на eth1, и на br0. Но счётчик iptables для правила -j NETFLOW равен нулю, и ipt_netflow не видит трафик с зеркалируемого порта."

[Sonne]

Уважаемые,

 

хочу поставить ipt_netflow в режиме port mirror через Catalyst 3560.

 

Операционная система Debian 6.0, текущая версия ядра:

Linux mon 2.6.32-5-686 #1 SMP Sun Sep 23 09:49:36 UTC 2012 i686 GNU/Linux

 

Есть ли стабильные пакеты для Debian? Нужно ли искать определенную версию под определенное ядро?

 

Судя по топику работа с ipt_netflow представляет из себя непрерывные глюки.

Печально когда люди описывают свои проблемы, но не пишут о положительных результатах.

[ThreeDHead]

Не всю ветку читал, но скажу что у нас работает ipt_NETFLOW. Насколько помню, то патчили именно ядро. С Дебианом не получилось, а с Убунтой срослось.

# uname -a
Linux nfcollector1 2.6.32.15 #1 SMP Mon Jun 7 12:41:36 AQTT 2010 i686 GNU/Linux

Пережевывает до 7 гигабит трафика, выше начинаются проблемы. Но это беда решается установкой дополнительного тазика.

[Sonne]

Поставил ipt_netflow, ядро 2.6.32-5-686, Debian 6

Модуль скомпилировался и встал без проблем. Настроил бридж:

 

brctl addbr br0
brctl addif br0 eth1
ifconfig br0 up
brctl setageing br0 0
/sbin/ifconfig eth1 promisc
/sbin/ifconfig br0 promisc

 

iptables -A FORWARD -i br0 -j NETFLOW

Трафик на бридже есть, в - нетфлоу - нет!Ладно, добавил в правилах

 

iptables -A INPUT -i br0 -j NETFLOW

Запустил пинг - netflow его видит!

 

Что я не доделал?

 

Update. Проблема была в том, что не был создан и добавлен в бридж второй интерфейс dummy0. Без этого не происходит форвардинга пакетов и iptabes FORWARD соответственно не может их переслать в назначение NETFLOW.

 

Правильнее будет сделать как то так:

 

/sbin/ifconfig eth1 promisc
/sbin/ifconfig dummy0 up
/usr/sbin/brctl addbr br0
/usr/sbin/brctl addif br0 eth1
/usr/sbin/brctl addif br0 dummy0
/sbin/ifconfig br0 up
/usr/sbin/brctl setageing br0 0

[taf_321]

Что я не доделал?

 

Бридж он же как бы эмулятор свитча. Пакет приешел, свитч смотрит куда его слать, получателя нету? Значит не шлем а тихо прибиваем после PREROUTING но до FORWARD и INPUT.

 

Как вариант, на машине с бриджем можно поднять дефолтовый маршрут на blackhole. По идее тогда трафик получит формального получателя и FORWARD начнет работать.

[agr]

Не совсем так. Пакет пришедший на bridge попадет собственно на IP и cможет обрабатываться iptables только если dst mac принадлежит самой машине. В случае с отзеркалированным трафиком dst mac'и пакетов - это mac'и клиентов либо шлюза.

Чтобы все заработало нужно при помощи ebtables "вытолкнуть" пакет с уровня Ethernet на уровень IP.

[Sonne]

Не совсем так. Пакет пришедший на bridge попадет собственно на IP и cможет обрабатываться iptables только если dst mac принадлежит самой машине. В случае с отзеркалированным трафиком dst mac'и пакетов - это mac'и клиентов либо шлюза.

Чтобы все заработало нужно при помощи ebtables "вытолкнуть" пакет с уровня Ethernet на уровень IP.

 

Мне кажется что ebtables не обязателен:

http://habrahabr.ru/qa/29447/

 

Другой вопрос, что в инструкции написано создать eth0 и dummy0, а я этого не сделал! Поэтому трафик и не форвардится. Проверил, так и есть, как только добавил второй интерфейс в бридж на него пошел трафик и iptables его видит. В этом вся суть хака.

 

Посылаю лучи поноса crown, который своим конфигом марал топик. Некультурно выкладывать глючные конфиги и не давать после рабочий вариант.