[t0ly]

- спасибо!

- что на данный момент поддерживает FreeBSD ?

- мне кажется для FreeBSD стоит поменять /usr/src на /usr/local/src

Изменено 10 февраля, 2015 пользователем t0ly

[pavel.odintsov]

Захват sflow v5/netflow v5/v9/pcap :)

[pavel.odintsov]

- мне кажется для FreeBSD стоит поменять /usr/src на /usr/local/src

 

Да, конечно же! Спасибо, исправил в гайде.

[vlad11]

Маленький вопрос.

На машину с fastnetmon надо обязательно слать миррор с портов или можно слать несколько-много netflow v5|v9 потоков?

[pavel.odintsov]

Маленький вопрос.

На машину с fastnetmon надо обязательно слать миррор с портов или можно слать несколько-много netflow v5|v9 потоков?

 

Можно и mirror (несколько портов даже) и netflow (тоже сколько угодно потоков) одновременно в принципе. Mirror намного точнее и быстрее реагирует на атаки и дает детальный по-пакетный лог, что за трафик был. Единственное, не уверен, что сейчас корректно хендлятся шаблонизированные netflow версии 9 от нескольких роутеров, если они по-разному называют свои айдишники шаблонов.

[vlad11]

Маленький вопрос.

На машину с fastnetmon надо обязательно слать миррор с портов или можно слать несколько-много netflow v5|v9 потоков?

 

Можно и mirror (несколько портов даже) и netflow (тоже сколько угодно потоков) одновременно в принципе. Mirror намного точнее и быстрее реагирует на атаки и дает детальный по-пакетный лог, что за трафик был. Единственное, не уверен, что сейчас корректно хендлятся шаблонизированные netflow версии 9 от нескольких роутеров, если они по-разному называют свои айдишники шаблонов.

 

Меня устроят и потоки netflow v5, ибо зеркалить траффик не всегда технически возможно.

[pavel.odintsov]

Маленький вопрос.

На машину с fastnetmon надо обязательно слать миррор с портов или можно слать несколько-много netflow v5|v9 потоков?

 

Можно и mirror (несколько портов даже) и netflow (тоже сколько угодно потоков) одновременно в принципе. Mirror намного точнее и быстрее реагирует на атаки и дает детальный по-пакетный лог, что за трафик был. Единственное, не уверен, что сейчас корректно хендлятся шаблонизированные netflow версии 9 от нескольких роутеров, если они по-разному называют свои айдишники шаблонов.

 

Меня устроят и потоки netflow v5, ибо зеркалить траффик не всегда технически возможно.

 

С netflow v5 все должно быть ОК, потому что он прост как топор :)

[pavel.odintsov]

Маленький вопрос.

На машину с fastnetmon надо обязательно слать миррор с портов или можно слать несколько-много netflow v5|v9 потоков?

 

Можно и mirror (несколько портов даже) и netflow (тоже сколько угодно потоков) одновременно в принципе. Mirror намного точнее и быстрее реагирует на атаки и дает детальный по-пакетный лог, что за трафик был. Единственное, не уверен, что сейчас корректно хендлятся шаблонизированные netflow версии 9 от нескольких роутеров, если они по-разному называют свои айдишники шаблонов.

 

Меня устроят и потоки netflow v5, ибо зеркалить траффик не всегда технически возможно.

 

Как успехи, все работает ОК?

[t0ly]

у нас появился новый профиль атаки, идет флуд с большого количества ip (видимо уязвимые днс) на нашу сеть /24, т е не на один или несколько адресов, а именно на сеть.

[pavel.odintsov]

у нас появился новый профиль атаки, идет флуд с большого количества ip (видимо уязвимые днс) на нашу сеть /24, т е не на один или несколько адресов, а именно на сеть.

 

Буквально вчера-позавчера видели нечто подобное, били UDP флудом по 5 разным близким друг в другу узлам в пределах одной /24й сети. В принципе, есть возможность считать трафик per сеть, но я сейчас кардинально думаю поменять подход к работе структуры хранения трафика, чтобы получить поддержку работы с сетями /16 и крупнее - сейчас оно потребляет ужасающий объем памяти...

[Megas]

Понимаю что может что-то не досмотрел или не туда что-то ввел, но почему может быть такая краткая информация на экране без ипов?

Доку пересмотрел но ничего про описание не нашел.

 

Также заметил проблему, в конфиге указанно, но при старте программы в логе не отображается, удалось соединится системе или нет.

redis_port = 6379

redis_host = 127.0.0.1

redis_enabled = yes

 

и еще, было бы не плохо в серверный файл добавить возможность просмотра доступных опций запуска.

[vlad11]

Как успехи, все работает ОК?

 

Я не тестил.

Желавший эту схему клиент куда-то пропал ...

[pavel.odintsov]

Понимаю что может что-то не досмотрел или не туда что-то ввел, но почему может быть такая краткая информация на экране без ипов?

Доку пересмотрел но ничего про описание не нашел.

 

Также заметил проблему, в конфиге указанно, но при старте программы в логе не отображается, удалось соединится системе или нет.

redis_port = 6379

redis_host = 127.0.0.1

redis_enabled = yes

 

и еще, было бы не плохо в серверный файл добавить возможность просмотра доступных опций запуска.

 

Добрый день!

 

Скорее всего, Вы сетки забыли указать в файлике /etc/networks_list. Redis сейчас оторван и не работает, он был в тулзе раньше, когда она еще и трафик считала, но со временем мне эта идея нравится перестала - потому что это совершенно отдельная задача и приделывать к монитору атак эту фичу мне расхотелось :)

[pavel.odintsov]

Хорошие новости, похоже удалось завести netmap и на FreeBSD и на Linux :) С матами и костылями, но удалось!

[t0ly]

OOOOoooo!

 

еще можно с его разработчиком пообщатся, он регирует когда задают грамотные вопросы.

[SyJet]

Хорошие новости, похоже удалось завести netmap и на FreeBSD и на Linux :) С матами и костылями, но удалось!

Netmap лучше pfring_dna или он бесплатен?

[pavel.odintsov]

Хорошие новости, похоже удалось завести netmap и на FreeBSD и на Linux :) С матами и костылями, но удалось!

Netmap лучше pfring_dna или он бесплатен?

 

Логика работы у них очень похожая, реализация - отличается. netmap полностью бесплатен, в этом его киллер фича.

 

А рамках сухого захвата трафика сейчас принимается (без обработки/копирования в user space) 8 Mpps, при этом очень слабая машина на E5-2407 2.2Ghz * 4 нагружена на 15%. Экстраполируя - получаем около 32 Mpps на слабющем проце за 300 евро :) Пожалуй, это крутые цифры.

Изменено 4 марта, 2015 пользователем pavel.odintsov

[nukerpsych]

Здравствуйте, нет ли возможности добавить в программу возможность понимать IPFIX?

У нас Juniper серии MX стоит, а он остальные форматы считает на процессоре RE, то есть медленно и печально.

 

PS. Либо может подскажет кто нибудь конвертер флоу, чтобы на лету принимал конвертировал в другой формат и отправлял на другой IP:Порт.

[pavel.odintsov]

Добрый день!

 

Сам протокол ipfix в целом очень похож на Netflow v9. Точно netflow 9 сделан у них в софте? Я забил фич риквест - https://github.com/FastVPSEestiOu/fastnetmon/issues/128 но смогу заняться им как только закончу с netmap, а это около нескольких недель. А какой у Вас поток и сколько сеток хотите мониторить?

[nukerpsych]

Добрый день!

 

Сам протокол ipfix в целом очень похож на Netflow v9. Точно netflow 9 сделан у них в софте? Я забил фич риквест - https://github.com/FastVPSEestiOu/fastnetmon/issues/128 но смогу заняться им как только закончу с netmap, а это около нескольких недель. А какой у Вас поток и сколько сеток хотите мониторить?

Здравствуйте, про очень похож, это да, почти близнецы.

В принципе пишут что с версии 13.2 может и v9, но тут как, она у них.

1. пока не рекомендована. И очень не хочется перелазить на неоттестированную версию.

2. Ip4 only.

 

По трафику, где то гигабит 8, и сеток в общей сложности 3 - /22 и ещё чуть больше десятка - /24.

 

Спасибо огромное за внимание к нуждающимся.

[pavel.odintsov]

nukerpsych, в ближайшее время постараюсь заняться, но не уверен, что будет быстро - там скорее больше копипасты из реализации netflow v9, чем кодинга.

 

Только что была добавлена полная поддержка netmap на FreeBSD и Linux! Работает даже быстрее, чем платный PF_RING ZC и не требует совершенно никакой оплаты :) Для активации режима заменяем mirror = on на mirror_netmap = on и не забываем собрать модуль с драйверами, если работаем на Linux: https://github.com/FastVPSEestiOu/fastnetmon/blob/master/docs/NETMAP_INSTALL.md

 

Жду фидбэка :) Вот так нежданно негаданно, FreeBSD стала самой удобной платформой по части деплоя по причине встроенной поддержки netmap в драйверах :)

[t0ly]

да, netmap работает, даже на 4 em-ках, о проблемме с flows отписался в личку.

 

update: оказалось что я не читатель документации, надо включать enable_connection_tracking.

Изменено 13 марта, 2015 пользователем t0ly

[pavel.odintsov]

Угу, фича enable_connection_tracking довольно процежручая. Но в ближайшие месяцы я перепишу систему хранения трекинга и, возможно, врублю его по дефалту.

[pavel.odintsov]

Здравствуйте, нет ли возможности добавить в программу возможность понимать IPFIX?

У нас Juniper серии MX стоит, а он остальные форматы считает на процессоре RE, то есть медленно и печально.

 

PS. Либо может подскажет кто нибудь конвертер флоу, чтобы на лету принимал конвертировал в другой формат и отправлял на другой IP:Порт.

 

Добрый день!

 

Добавлена поддержка ipfix! :)

[nukerpsych]

Добрый день!

 

Добавлена поддержка ipfix! :)

 

Подскажите пожалуйста, нужно ли какие то дополнительные действия предпринимать при установке, и как что прописывать в конфиг.

netflow = on
netflow_port = 666
netflow_host = 0.0.0.0

так не взлетело, трафик по 0.

В /etc/networks_list подсети прописаны.

 

При установке просто перезапустил скрипт fastnetmon_install.pl, предварительно удалив /opt/fastnetmon/