Анализ трафика на внешних uplink'ах

[mmajorov]

Давно задумывал сделать некий мониторинг для оценки связности и качества трафика на пограничных маршрутизаторах.

Если есть интересные проекты или наработки, то подскажите!

Минимально хочется смотреть по AS-кам трафик входящий/исходящий с учетом собственных exported routes.

Особенно когда что-то меняется. А то иногда вылезают какие-то всплески нехарактерные, а ты не понимаешь куда их отнести и что там в сети глобальной происходило....

Неплохо конечно видеть глюки транспортные TCP/UDP и связывать это с AS-ками. Ну типа что сейчас у нас в общем трафике глючит.... Что-бы как-то реагировать на возможные проблемы.

Ну если смотреть на трафик внимательно, то всякие DOS атаки тоже интересны....

На текущий момент трафик под 20Гиг. Бордеры (linux, x86_64) разнесены территориально. Интерфейсы 2x10G SFP+. BGP - bird.

Собирать думаю на физике или на L2 мирроринг.

[pavel.odintsov]

Бесплатное подобного уровня - маловероятно.... Если хочется оптимизацию маршрутов - можно посмотреть на Noction. Но оно платно и местами сильно платно. 

 

Есть еще https://www.thousandeyes.com они дают аналитику по тому, как расходятся префиксы и какие видны проблемы. Но тоже - дорого-дорого.

[iValera]

А чем же пользуются все магистралы, которые видят куда льется трафик той или иной AS?

[zhenya`]

А они разве видят?

 

свою связность мониторить можно smokepingом. А дальше уже крутить и етс 

[FATHER_FBI]

В 16.10.2017 в 02:39, pavel.odintsov сказал:

Бесплатное подобного уровня - маловероятно.... Если хочется оптимизацию маршрутов - можно посмотреть на Noction. Но оно платно и местами сильно платно. 

 

Есть еще https://www.thousandeyes.com они дают аналитику по тому, как расходятся префиксы и какие видны проблемы. Но тоже - дорого-дорого.

Павел подскажите, а какой вы у себя инструмент используете для мониторинга BGP?

[pavel.odintsov]

FATHER_FBI много своих наработок. 

[Giga-Byte]

Дописываю софтину используя AF_PACKET c mmap-ом. Статья https://habrahabr.ru/post/261161/

 

Трафик зеркалится с апликовских портов на core-i7 тазик, там разбирается BGP протокол, откуда и знаем про AS, префиксы и т.п.

Сейчас загвоздка с gHashTable, чтобы более шустро это всё обрабатывать и быть менее требовательным к процессору.

 

Сейчас разбирается netflow и заголовки трафика пишутся в свой формат, в котором экономится каждый байт, а блоки по 4Мбайта жмутся LZMA.

После запуска от нетфлоу совсем откажусь, в данный момент netflow собирается с множества железок и они на грани своей производительности.

 

На 30Гбитах суточные данные (считай netflow) в райне 35Гбайт. Что очень таки экономно.

Выборка через индексный файл сначала по дате. И довольно-таки шустро по IP адресу получается выбрать трафик за интересующий час-полчаса. В целом в минуту укладывается.

 

Я могу сказать изобрёл новый велосипед  noSQL заточенный под хранение и выборку netflow.

Как всё заработает, для Postgresql будет плагин, для выборки и дальнейшего хитрого анализа трафика.

RADIUS использует freeradius + postgresql и поэтому такая интеграция.

 

Может это когда-нибудь всё-таки заработает... как задумывалось.

[bomberman]

Giga-Byte Проект будет закрытым/платным, или поделитесь своими наработками?

[vurd]

Самое простенькое это as-stats, позволяет хотя бы понять, что там у вас заливается и откуда.

[Giga-Byte]

В 10/26/2017 в 16:53, bomberman сказал:

Giga-Byte Проект будет закрытым/платным, или поделитесь своими наработками?

Конечно открытый, конечно поделюсь. Просто пока делится нечем, оно не готово к продакшну.

[bomberman]

В 03.11.2017 в 11:57, Giga-Byte сказал:

Конечно открытый, конечно поделюсь

Вот и прекрасно. Ждёмс.