BGP мониторинг входящего трафика

[Максим Сандаков]

Коллеги, добрый день! Поделитесь мудростью и опытом)

Есть два апстрима, от обоих забираю FW, баланcировка увы не пополам(60/40), один канал подороже будет. Приходится плясать через навешивание препендов через апстримовые community. Иногда бывает что трафик с одного канала перетекает на другой, упираясь в полку. И собственно вопрос - как будет правильно отслеживать подобные изменения, чтобы иметь максимально полное представление о гуляющим в нашу AS трафике? Единственное куда периодически заглядываю - bgpmon, но вроде особых проблем там никогда не видел. Еще собирается информация по клиентскому трафику через nfsen, но пока не могу придумать, как его можно привлечь для помощи в вопросе.

 

UPD. Прошу прощения, не в ту ветку закинул тему, просьба перенести в "Активное оборудование Ethernet, IP, MPLS, SDN/NFV..."

Edited September 23, 2019 by Максим Сандаков

[VolanD666]

А почему нельзя мониторить аплинк через snmp и в случае достижения какой-то полосы- срабатывает аларм и собсна дальше дело прямых рук?

[Максим Сандаков]

2 минуты назад, VolanD666 сказал:

А почему нельзя мониторить аплинк через snmp и в случае достижения какой-то полосы- срабатывает аларм и собсна дальше дело прямых рук?

А дело даже не столько в этом, мониторинг такой-то есть. Просто лично мне очень некомфортно управлять трафиком так "наугад". Накидывать туда-сюда очередной community и сидеть смотреть ждать сколько куда перельется. Я прекрасно понимаю, что bgp не про точную балансировку, но вдруг более опытные товарищи нашли подход к проблеме такого рода. Будь моя воля я бы просто докупил канала там, где не хватает, но увы.

[StSphinx]

Снимайте данные по NetFlow с бордера. Смотрите объемы/загрузку по source AS.

Ну а дальше думать, исходя из того, где вы находитесь относительно тех контент-генераторов, с которых к вам идет наибольший поток трафика. Универсального решения, увы, нет.

У нас, в частности, три аплинка, два IX'а. Перекосов уже давно как не наблюдаю(если не считать аварийных ситуаций). Основной российский трафик идет с IX'ов, зарубежный с аплинков.

[alibek]

43 минуты назад, Максим Сандаков сказал:

Я прекрасно понимаю, что bgp не про точную балансировку

BGP вообще не про балансировку, он прежде всего про доступность.

Не бывает такого, чтобы один раз настроить и забыть.

Можно автоматизировать анализ трафика и настройку коэффициентов, но все равно это будет постоянный контроль и тюнинг.

[Максим Сандаков]

Спасибо за мнения! Попробуем по Source AS проанализировать, заодно разведать по ценам у нужных IX'ов.

[vurd]

as-stats скачать бесплатно, без регистрации, без смс.

[FATHER_FBI]

17 часов назад, vurd сказал:

as-stats скачать бесплатно, без регистрации, без смс.

Посмотрел на проект, сначала подумал что он мертв. Установил его, слил на ВМ sFlow/NetFlow, спустя пол часа графиков нет.

[pppoetest]

Значит что-то не так делаете, решение рабочее. Вангую за неверный/е ifindex в knownlinks. Возможно ещё изза

Add a cronjob to run the following command every hour:

rrd-extractstats.pl /path/to/rrd/dir /path/to/knownlinks /path/to/asstats_day.txt

That script will go through all RRD files and collect per-link summary stats for each AS in the last 24 hours, sort them by total traffic (descending), and write them to a text file. The "top N AS" page uses this to determine which ASes to show.

 

[crank]

Пользуюсь as-stats + sflow. Имеем 4 FV, 5 IX и ещё штук 6-8 прямых стыков с операторами. Софт хорошо помогает что куда лучше перекинуть, чтобы добиться нужной загрузки через кого-то. Однако не всегда возможно добиться нужного из-за самого аплинка и скудного набора community у него.

[TRIada]

В 24.09.2019 в 21:33, FATHER_FBI сказал:

Посмотрел на проект, сначала подумал что он мертв. Установил его, слил на ВМ sFlow/NetFlow, спустя пол часа графиков нет. 

я тоже сидел ждал, потом понял, что не запустил обработчик rrd

/opt/AS-Stats/bin/rrd-extractstats.pl /opt/AS-Stats/rrd/ /opt/AS-Stats/conf/knownlinks /opt/AS-Stats/asstats/asstats_day.txt

/opt/AS-Stats/bin/rrd-extractstats.pl /opt/AS-Stats/rrd/ /opt/AS-Stats/conf/knownlinks /opt/AS-Stats/asstats/asstats_day.txt

и графики сразу появились

[h3ll1]

vtysh -c \"show ip bgp neighbors X.X.X.1 routes\" | sed '1,6d' | awk '{print $1}'

после чего 

Quote

preg_match_all('/[0-9]{1,3}.+[0-9]{1,3}.+[0-9]{1,3}.+[0-9]{1,3}\/+[0-9]{1,2}|\d{1,3}\.\d{1,3}\.\d{1,3}\.0/',

и так далее...

если Ето с линукс.

[TRIada]

А каким образом там рисуется top-as? потому, что в топе нет гугл кеша МТС (один из наших провайдеров). Текущий топ 1 AS facebook, ну допустим, это инстаграм и прочее, но по трафику AS8359 больше всех, но его нет в выводе top, если найти по поиску он есть и там трафик больше, чем у facebook.

[pppoetest]

Если в нетфло нет данных src/dst AS, резолвинг AS осуществляется модулем ip2as, которому соот-но нужны регулярно обновляемые листы ip<=>ASn

[TRIada]

3 минуты назад, pppoetest сказал:

Если в нетфло нет данных src/dst AS, резолвинг AS осуществляется модулем ip2as, которому соот-но нужны регулярно обновляемые листы ip<=>ASn

не, они есть в flow

show flow monitor ASR cache filter routing source as 8359 format table

212.188.75.161   94.xxx.xx.xx               443          65438  Gi2/0/7               Po5                   Input           8359          0               2287133                  1620  12:30:59.627  12:31:10.711
212.188.15.13    94.xxx.xx.xx               443          50732  Gi2/0/7               Po5                   Input           8359          0              32918663                 23735  12:30:31.133  12:31:10.779

 

[TRIada]

11 минут назад, pppoetest сказал:

А ты смотри не на железке, а на стороне скрипта.

так я смотрю на сайте и он там есть, рисует график as8359, но в топе его нет, хотя по трафику он больше всех.

[myst]

Если коробка одна то считать количество роутов от каждого нейбора, если коробки 2 то iBGP между и считать количество роутов (тех которые в FIB есессно). Хоть цифирью хоть графиком... Ну и алярм соответственно при превышении порога.

[h3ll1]

15 hours ago, TRIada said:

А каким образом там рисуется top-as

Ну ето делять как раз в строку.

On the fly тоько MPLS :(

Edited October 1, 2019 by h3ll1

[TRIada]

А то что as source в netflow 32-битные АСки показывает как as23456 это норм или надо иос обновить? В топ 20, данная ASка занимает 6-е место. Вроде бы для меня несущественно, основной поток от старых провайдеров у которых номера AS 16-битные, но все равно я немного в ступоре.

[pppoetest]

Это, емнип, проблема железки, с которой сливается netflow.

[crank]

В 28.10.2019 в 19:13, TRIada сказал:

А то что as source в netflow 32-битные АСки показывает как as23456 это норм или надо иос обновить? В топ 20, данная ASка занимает 6-е место. Вроде бы для меня несущественно, основной поток от старых провайдеров у которых номера AS 16-битные, но все равно я немного в ступоре.

Так это сделано в целях поддержки ASN32 на железках умеющих только ASN16. Если один из пиров имеет поддержку ASN32, а второй только ASN16, то первый будет все ASN32 заменять на специально зарезервированную в этих целях AS23456 - оно же AS_TRANS.

[Стич]

Например GGC жрет примерно четверть всего трафика и он идёт с IP оператора где он стоит, а не с as googl'а.

Edited October 31, 2019 by Стич

[crank]

2 часа назад, Стич сказал:

Например GGC жрет примерно четверть всего трафика и он идёт с IP оператора где он стоит, а не с as googl'а.

Facebook туда же запишите. Их кэши FNA тоже стоят у некоторых операторов. Правда в РФ их нет и судя по всему не будет.

[TRIada]

В 31.10.2019 в 05:01, crank сказал:

Так это сделано в целях поддержки ASN32 на железках умеющих только ASN16. Если один из пиров имеет поддержку ASN32, а второй только ASN16, то первый будет все ASN32 заменять на специально зарезервированную в этих целях AS23456 - оно же AS_TRANS.

так у меня у самого 6-значный AS, т.е. мой сосед не поддерживает?

[TheUser]

4 часа назад, TRIada сказал:

так у меня у самого 6-значный AS, т.е. мой сосед не поддерживает?

У вас в таблице as 23456 будут до тех пор, пока все маршрутизаторы в Интернете не будут поддерживать 32 бита.