И снова сбор netflow

[white_crow]

поискал тут, почитал еще раз про netflow...

 

Много видел названий пакетов/демонов/софтин...

http://nfsen.sourceforge.net/#mozTocId301830

http://nfdump.sourceforge.net/

http://www.flukenetworks.com/enterprise-network/network-monitoring/OptiView-NetFlow-Tracker

http://code.google.com/p/flow-tools/

http://www.manageengine.com/products/netflow'>http://www.manageengine.com/products/netflow

ORION NetFlow Traffic Analyzer

 

и т.д. и т.п.

 

И все же - какое проверенное решение посоветуете, чтобы минимальное вмешательство было, т.е. админ попадает под троллейбус, приходит другой - читает мануал и разбирается во всем без проблем, а не копается в самописных костылях и скриптах.

это может быть как свободное решение, так и коммерческое (но цена должны быть подъемной - т.е. не десятки/сотни тысяч долларов, а единицы тысяч долларов в год). Но рекомендовать только проверенные в продакшн решения.

 

Дано:

потоки нетфлоу есть - нужно только собирать, хранить для "погонов" и иметь фронтенд - для персонала - чтобы там поиск был и т.п.

Юзеров чуть более чем 10 тысяч физиков.

Трафик - единицы гигабит. Понятно - что потребление растет - решение должно быть масштабируемым - т.е. каждый коллектор может обслуживать определенное к-во NASов.

Так как адреса белые, и раздаются динамически - собирать нужно - очень желательно- в контексте юзера, а не тупо сначала по логам искать кому какой ip был выдан и когда, потом искать по IP и по времени в базе нетфлоу...

Мне вот понравилось http://www.manageengine.com - он берет по snmp - имя тунеля с NASа - т.е. имя (логин) юзера - что является уникальным идентификатором юзера в системе.

(да, да - мы лохи - до сих пор не юзаем IPoE - юзаем L2TP).

Но эта софтина стоит реально очень дорого - может для буржуев - это хорошо, но с нашими совковыми ARPU - никуда не годится. да и не совсем ясно - подходит это реально для провайдинга...

 

И еще вопрос - насколько все сильно меняется, если сразу в условие ставить, что нужна поддержка netflow v9 - ибо рано или поздно ipv6 настигнет - или когда настигнет - тогда и думать, а заранее не думать про это?

И еще вопрос - как меняет всю ситуацию - если нет тунелей, а IPoE - или пофиГ? или зависит как реализовано IPoE ? (это я в контексте, что по snmp имя тунеля с NASа уже не возьмешь...)

Edited January 14, 2012 by white_crow

[white_crow]

либо сегодня воскресенье и никто не отвечает, либо тупой вопрос и/или тема, либо никто не ответит вашпе - и надо пробовать разные варианты и собирать самому все грабли, которые сто раз проходили другие...

[lan-viper]

И еще вопрос - как меняет всю ситуацию - если нет тунелей, а IPoE - или пофиГ? или зависит как реализовано IPoE ? (это я в контексте, что по snmp имя тунеля с NASа уже не возьмешь...)

IPoE то по разному можно реализовать, кто то делает NAT 1:1, кто то по dhcp на интерфейс абонента отдаёт реальник, отсюда будет сильно разниться реализация учёта трафика в контексте учётной записи биллинга.

Да и вообще в данной сфере мелькают приватные реализации, читай самописные, либо дорогущие, написанные под ограниченный круг ПО, которое интегрируется между собой (биллинг, коллекторы и т.п.).

Про сбитого админа лучше не думать - это будет трагедия для конторы! ))) Копаться в самописных костылях придётся.

[sirmax]

white_crow

Я писал сам, т.к. биллинг самописный, соответвенно особого выбора не было.

[white_crow]

печально как-то.

Может отечественным софтверным компаниям пора написать русский коллектор для сбора статистики для органов?

Или нет ниши? И пусть каждый пишет сам?

[snark]

В BGBilling есть коллектор который не только собирает, но и детализацию по пользовательской сессии выдает как в админке, так и в клиентском вебе, высылая файл с детализацией на мыло. Полнейшая интеграция с Вашим L2TP - by default/design ;)

[Dyr]

Коллектор на Java?!

[snark]

Вы так говорите, как будто это что-то плохое.

Лично мной, за годы использования, глюков не замечено, да и flow-tools скрестить можно.

[Dyr]

Да как-то предубеждение против Java есть, что это весьма медленно.

[snark]

Я сам такой же был ;) Тоже думал что слова "ява" и "тормоза" это если не синонимы, то уж очень рядом, но практика показала обратное. Попробуйте на досуге - думаю Вы тоже измените свое мнение. Например ихний радиус (тоже ява, ага) нормально держит >1-2k онлайна при поминутных апдейтах. Узким местом оказывается уже не ява или радиус, а БД, правда мускул с иннодб нормально справляется из за отсутствия табличных блокировок.

[Dyr]

Спасибо, у меня самописный "разбиратель" на perl, работает вполне удовлетворительно.

[white_crow]

Короче, резюмирую сам себе по теме "сбор netflow"

 

Попробовал кучу разных утилит и программулек .

Остановился на nfdump.

Плюсы:

 

1. Для *NIX

2. Открытый бесплатный проект

3. Понятный и логичный

4. Поддержка NFv9

5. Есть Мануал : ) Инсталляция и запуск прошли без проблем : ) (там фактически то вообще не потребоалось хоть сколько сложный действий)

6. Не нужно ничего самому дописывать

7. Есть разные варианты бэкендов и фронтендов для этой штуки

Ща пробую свободный симпатишный проект stager (потом еще попробую NfSen - is a graphical web based front end for the nfdump netflow tools.)

Красивые диаграммы, графики, мониторинг, поиск и фильтрация.

Хотя, если будет напрягать проц и место БД (postgreSQL) начнет занимать неприлично места, оставлю голый пакет nfdump.

 

В котором простые логичные утилиты и никакх баз данных

nfcapd - netflow capture daemon. "слушает" сеть - ловит сырые потоки netflow от сенсоров (кстати, нетфлоу сенсоры я не пробовал - нет нужды, но кто будет читать топик - учтите - выбор сенсора - это отдельная тема от выбора коллектора).

 

nfdump - netflow dump. Кушает сырую стату - и преобразовывает в "текст" в привычном формате tcpdump. Читать можно хоть живьем, скормить Варешарку и т.д.

 

nfprofile - netflow profiler - кушает стату с учетом фильтров. Может быть полезно для уменьшения объемов. Я думаю - для органов вполне хватит хранить только трафик с портами ниже 1024 , весь остальной пир-ту-пир им не нужен.

По крайней мере все запросы были по веб трафу и почте. И только один по торрент клиенту - раздача детского порева. Но запрос звучал не "кому раздвал юзер", а наоборот - кто раздавал с такого то IP в такое-то время - логи радиуса тут полностью выручают (раздаем белые адреса , с NATом все было бы не так просто для нас и органов : )

 

nfreplay - netflow replay

Reads the netflow data from the files stored by nfcapd and sends it over the network to another host.

Прикольная штука - читает файл со статой и вещает на нужный хост нетфлоу потоки (т.е. обратная операция)

 

nfclean.pl - cleanup old data

понятная штука - в крон чистку запуливаем, если надо

 

ft2nfdump - Read and convert flow-tools data.

Reads flow-tools data from files or from stdin in a chain of flow-tools commands and converts the data into nfdump format to be processed by nfdump.

Понятная штука - может кушать файлы или поток из стандартного ввода (stdin) в формате flow-tools и преобразовывать в nfdump

 

Прим. синтаксис поиска (фильтрации) в nfdump вполне понятен, гибок, удобен. И в мануале расписан на примерах.

Edited February 10, 2012 by white_crow

[vxb]

Но запрос звучал не "кому раздвал юзер", а наоборот - кто раздавал с такого то IP в такое-то время - логи радиуса тут полностью выручают (раздаем белые адреса , с NATом все было бы не так просто для нас и органов : )

оно всегда так звучит, ip, дата, время - кто ?

в случае с nat'ом и доступом к публичным популярным сервисам как правило предоставляют десяток ситуаций ip, дата, время и url .)

отвечай как хочешь..

 

по теме - раскидываем самописным perl-скриптом

[white_crow]

оно всегда так звучит, ip, дата, время - кто ?

1. Но есть нюанс - почти всегда IP - это твой IP - всмысле IP провайдера - поэтому к тебе и приходит запрос.

И вот расскажите мне - если у вас NAT - что Вы делаете? (конечно, если у вас NAT 1 в 1, или 1 к N) и вам еще говорят точное время и + адрес ресурса - тогда вопросов нет...

А если адрес ресурса не говорят (но такое бывало редко (real politic : ) - и у вас жуткий маскарадинг, то... уже сложнее .....

 

{Уже тут ранее писали варианты - типа два коллектора - до NAT и после NAT - синхронизированно время с одного NTP.

И можно по timestamp и по сопоставлению вроде портов что-то найти....}

 

Но я вам скажу - мне таки удобно раздавать белые и не париться : )

Все страхи и прочие "недостатки" не волнуют ни грама....

Тупая труба должна только форвардить в обе стороны и все : )

 

 

2. Еще есть один вариант - наоборот - органы рассылают провайдерам адреса ресурсов (например, экстремистские сайты) - просят подготовить список "посетителей".

Либо как дело с детской порнографией по линнии интерпола - юзер из западной страны раздавал через "ослика" детскую порнографию. Сообщают его адрес и порт местным органам - те рассылают всем провайдерам и вуаля - надо найти за, например такой-то месяц - всех - кто качал. Потом по цепочке далее - кто раздавал - в итоге сеть порнушников детских получает пативен...

Можно, конечно , сказать - никто у нас не качал....но это уже другая история...

 

Был еще странный запрос - точно уже не помню как он звучал, но что-то типа топ 10 или топ 100 посещяемых ресурсов составить (и это не от аналитических агенств, а от МВД : )

Нахрена - не знаю. Но все позиции заняли адреса vkontakte : )

Т.е. профита никакого от такого запроса : )

 

P.S.

Короче - установил пакеты nfdump + nfsen = все просто устанавливается, и работает. Пользоваться просто и удобно. При этом все достаточно мощно, гибко, фильтры, отчеты, визуализация.

Ресурсов практически не кушает (кроме, очевидно объемов HDD, но гибко можно настроить - сколько хранить сырую инфу, периоды ротации, агрегации, сжимать или нет и прочее...)

Рекомендую тем, кому лень или не хватает времени или мозга самому что-то писать - все уже написано до вас : )

Edited February 11, 2012 by white_crow

[Ilya Evseev]

А если адрес ресурса не говорят (но такое бывало редко (real politic : ) - и у вас жуткий маскарадинг, то... уже сложнее .....

 

{Уже тут ранее писали варианты - типа два коллектора - до NAT и после NAT - синхронизированно время с одного NTP.

Какая-то немыслимая экзотика, imho.

Коллектор всегда ставится до NAT и ведёт учёт по внутренним IP.

Для NAT из динамического пула используется не отдельный коллектор, а журнал назначения NAT-привязок,

которым генераторы отчётов пользуются перед обращением к журналу коллектора.

[white_crow]

да, сферическая экзотика в вакууме : )

короче NAT меня вообще не волнует...

Сбор нетфлоу осилил. Тема закрыта.

[Dyr]

"журнал назначения NAT-привязок" это что?

[white_crow]

"журнал назначения NAT-привязок" это что?

У меня есть предположение - что это обычный LOG из, например, iptables.

тобишь логируется NAT.

 

А затем при поиске в netflow статистике - используются данные из этого журнала.

[sherwood]

Здравствуйте. Не много не в тему, но почти. Настраиваю связку manageengine netflow analyzer с mikrotik x86. Как то давно, когда программа была версии 7 делал связку по статье ТУТ ставил программу на Win XP, завелось все без проблем. Теперь встала необходимость еще раз это сделать. Имеем Windows 7 Начальная SP1 32 разрядная. Поставил на неё программу 9.8.6 (билд 9861), активировал лицензию, вроде всё хорошо. На микротике настроил Trafic Flow, там вроде нет проблем ( с этого микротика уже отправляется статистика на другой сервер), я думаю нет проблем с одного микротика отправлять статистику на разные сервера но с одним портом 9996?

 

/ip traffic-flow set enabled=yes

/ip traffic-flow target add address=192.168.167.78:9996 version=9

 

Запустил программу на сколько я помню и в мануалах написано, что она должна сразу получит данные от микротика но в поле девайсы нет ни чего. Пробовал менять порт на 9997, не помогло. Правильно я понимаю, что в программе не надо ни чего настраивать на первом этапе, она должна сама подхватить роутер с интерфейсами? Или в новых версиях что то поменялось? Но я не нашел как добавить роутер в программу. Может Win 7 что то блокирует, но вроде по умолчанию не должно, антивируса нет. Спасибо.

[ayf]

оно всегда так звучит, ip, дата, время - кто ?

в случае с nat'ом и доступом к публичным популярным сервисам как правило предоставляют десяток ситуаций ip, дата, время и url .)

отвечай как хочешь..

 

Ну как сказать. Последний запрос, который к нам приходил, звучал так: а не появлялся ли у вас на сети ноутбук с мак-адресом таким-то за последние 2 года? А если появлялся, то когда и где.

[sherwood]

Победил. Дело было в firewall windows, открыл 9996 порт на соединение и заработало. Теперь проблема с настройкой отсылки репортов на почту. Настроил -

 

 

и не взлетело. на роутере посмотрел, пакеты с этого ПК и этого порта 465 вроде уходят.

[sherwood]

Здравствуйте. Отсылку репортов осилил, не на все почтовые сервера может отправлять, связано наверное с аунтификацией, поменял почтовый ящик с другого сервера и все заработало. Теперь ни как не могу понять в чем проблема с отчетами, а именно если попытатся найти определенный удаленный адрес (например кто в течении дня, недели, месяца) заходил на определенный ip, то поиск происходит только в диапазоне 2 часа. То есть я в 00:10 пропинговал определенный адрес, в 09:00 решил найти этот адрес, делаю настройки поиска 00:00-08:00 то ни чего нет, а если задать диапазон не более 2 часов, то все находит 00:00-02:00. Облазил все настройки так и не нашел почему так. Может кто знает в чем проблема?

 

 

Edited May 10, 2017 by sherwood