Jump to content

Анализ трафика на внешних uplink'ах

Давно задумывал сделать некий мониторинг для оценки связности и качества трафика на пограничных маршрутизаторах.

Если есть интересные проекты или наработки, то подскажите!

Минимально хочется смотреть по AS-кам трафик входящий/исходящий с учетом собственных exported routes.

Особенно когда что-то меняется. А то иногда вылезают какие-то всплески нехарактерные, а ты не понимаешь куда их отнести и что там в сети глобальной происходило....

Неплохо конечно видеть глюки транспортные TCP/UDP и связывать это с AS-ками. Ну типа что сейчас у нас в общем трафике глючит.... Что-бы как-то реагировать на возможные проблемы.

Ну если смотреть на трафик внимательно, то всякие DOS атаки тоже интересны....

На текущий момент трафик под 20Гиг. Бордеры (linux, x86_64) разнесены территориально. Интерфейсы 2x10G SFP+. BGP - bird.

Собирать думаю на физике или на L2 мирроринг.

Share this post


Link to post
Share on other sites

Бесплатное подобного уровня - маловероятно.... Если хочется оптимизацию маршрутов - можно посмотреть на Noction. Но оно платно и местами сильно платно. 

 

Есть еще https://www.thousandeyes.com они дают аналитику по тому, как расходятся префиксы и какие видны проблемы. Но тоже - дорого-дорого.

Share this post


Link to post
Share on other sites

В 16.10.2017 в 02:39, pavel.odintsov сказал:

Бесплатное подобного уровня - маловероятно.... Если хочется оптимизацию маршрутов - можно посмотреть на Noction. Но оно платно и местами сильно платно. 

 

Есть еще https://www.thousandeyes.com они дают аналитику по тому, как расходятся префиксы и какие видны проблемы. Но тоже - дорого-дорого.

Павел подскажите, а какой вы у себя инструмент используете для мониторинга BGP?

Share this post


Link to post
Share on other sites

Дописываю софтину используя AF_PACKET c mmap-ом. Статья https://habrahabr.ru/post/261161/

 

Трафик зеркалится с апликовских портов на core-i7 тазик, там разбирается BGP протокол, откуда и знаем про AS, префиксы и т.п.

Сейчас загвоздка с gHashTable, чтобы более шустро это всё обрабатывать и быть менее требовательным к процессору.

 

Сейчас разбирается netflow и заголовки трафика пишутся в свой формат, в котором экономится каждый байт, а блоки по 4Мбайта жмутся LZMA.

После запуска от нетфлоу совсем откажусь, в данный момент netflow собирается с множества железок и они на грани своей производительности.

 

На 30Гбитах суточные данные (считай netflow) в райне 35Гбайт. Что очень таки экономно.

Выборка через индексный файл сначала по дате. И довольно-таки шустро по IP адресу получается выбрать трафик за интересующий час-полчаса. В целом в минуту укладывается.

 

Я могу сказать изобрёл новый велосипед  noSQL заточенный под хранение и выборку netflow.

Как всё заработает, для Postgresql будет плагин, для выборки и дальнейшего хитрого анализа трафика.

RADIUS использует freeradius + postgresql и поэтому такая интеграция.

 

Может это когда-нибудь всё-таки заработает... как задумывалось.

Share this post


Link to post
Share on other sites

В 10/26/2017 в 16:53, bomberman сказал:

Giga-Byte Проект будет закрытым/платным, или поделитесь своими наработками?

Конечно открытый, конечно поделюсь. Просто пока делится нечем, оно не готово к продакшну.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.