MX80, появились проблемы с одним из пиров и связанностью

[smart85]

Коллеги, добрый день!

Три дня назад появилась проблема, для понимания мини схема:

HOST---L2--->l3iface.MX80---L3--->(Uplinks, FV)--->WAN

Началось с того, что загрузка CPU MX80 стала уходить в 100% и с HOST становились недоступны некоторые сети в WAN.

Трейс с HOST до недоступной сети прерывался с последним хопом = IP адресу l3iface на МХ80, но при этом на самом МХ80 со всех аплинков был маршрут в недоступную сеть, ping & trace с самого бордера без проблем улетал-прилетал, через произвольное время 15-30 минут все восстанавливалось.

По show bgp summary было видно, что один из аплинков флапает, посмотрев лог нашел:

Jan 25 12:13:07.647711 bgp_read_v4_message:10675: NOTIFICATION received from x.x.x.x (External AS yyyyy): code 6 (Cease) subcode 6 (Other Configuration Change)
Jan 25 12:13:07.648773 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer x.x.x.x (External AS yyyyy) changed state from Established to Idle (event RecvNotify) (instance master)
Jan 25 12:13:51.073008 advertising graceful restart receiving-speaker-only capability to neighbor x.x.x.x (External AS yyyyy)
Jan 25 12:13:51.138858 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer x.x.x.x (External AS yyyyy) changed state from OpenConfirm to Established (event RecvKeepAlive) (instance master)
Jan 25 12:13:51.140053 advertising graceful restart receiving-speaker-only capability to neighbor x.x.x.x (External AS yyyyy)
Jan 25 12:14:29.750264 bgp_read_v4_message:10675: NOTIFICATION received from x.x.x.x (External AS yyyyy): code 6 (Cease) subcode 6 (Other Configuration Change)
Jan 25 12:14:29.750775 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer x.x.x.x (External AS yyyyy) changed state from Established to Idle (event RecvNotify) (instance master)
Jan 25 12:15:05.654174 advertising graceful restart receiving-speaker-only capability to neighbor x.x.x.x (External AS yyyyy)
Jan 25 12:15:05.656302 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer x.x.x.x (External AS yyyyy) changed state from OpenConfirm to Established (event RecvKeepAlive) (instance master)
Jan 25 12:15:05.657392 advertising graceful restart receiving-speaker-only capability to neighbor x.x.x.x (External AS yyyyy)
Jan 25 12:18:44.736648 bgp_read_v4_message:10675: NOTIFICATION received from x.x.x.x (External AS yyyy): code 6 (Cease) subcode 6 (Other Configuration Change)
Jan 25 12:18:44.737133 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer x.x.x.x (External AS yyyyy) changed state from Established to Idle (event RecvNotify) (instance master)
Jan 25 12:19:20.626538 advertising graceful restart receiving-speaker-only capability to neighbor x.x.x.x (External AS yyyyy)
Jan 25 12:19:20.627820 RPD_BGP_NEIGHBOR_STATE_CHANGED: BGP peer x.x.x.x (External AS yyyyy) changed state from OpenConfirm to Established (event RecvKeepAlive) (instance master)
Jan 25 12:19:20.629087 advertising graceful restart receiving-speaker-only capability to neighbor x.x.x.x (External AS yyyyy)

Сначала происходит то, что написано в логе, скачет загрузка CPU, затем загрузка падает на обычную и начинается проблема со связанностью, то, что становятся недоступны некоторые сети, в основном западные.

Аплинку отписали о проблеме, но пока тишина. Сегодня ночью проблема дважды повторялась.

Куда копать? Что делать?

 

Спасибо за внимание к моему вопросу.

 

PS:

Model: mx80

Junos: 13.3R7.3

Edited January 26, 2017 by mse.rus77

[pfexec]

у вас bgp-сессия с аплинком флапается (пир присылается сиз с ризоном "изменения конфигурации"). пересчет глобалвью на калькуляторе от RE MX80 процесс весьма долгий и затратный, маршруты инсталятся/удаляются в/из fib с задержкой, перерывы в форвардинге в данный момент - нормальное дело.

Вам необходимо стучать по голове аплинк, пусть чинят свое хозяйство.

[smart85]

у вас bgp-сессия с аплинком флапается (пир присылается сиз с ризоном "изменения конфигурации"). пересчет глобалвью на калькуляторе от RE MX80 процесс весьма долгий и затратный, маршруты инсталятся/удаляются в/из fib с задержкой, перерывы в форвардинге в данный момент - нормальное дело.

Вам необходимо стучать по голове аплинк, пусть чинят свое хозяйство.

Спасибо. Будем пинать, а пока положим пир в даун.

[vlad11]

Лучше выставите бОльшее пенальти за такие флоппы и все равно постучите по голове такого аплинка.

[orlik]

у вас bgp-сессия с аплинком флапается (пир присылается сиз с ризоном "изменения конфигурации"). пересчет глобалвью на калькуляторе от RE MX80 процесс весьма долгий и затратный, маршруты инсталятся/удаляются в/из fib с задержкой, перерывы в форвардинге в данный момент - нормальное дело.

Вам необходимо стучать по голове аплинк, пусть чинят свое хозяйство.

Даже считая все эти маршруты на своем калькуляторе и инсталя в фиб, это не должно сказываться на транзите, т,к. В теории должны быть другие маршруты от других операторов до этих же сетей. Другой вопрос , что прислав анонс с лучшим аспас новый аплинг еще может быть не готов форвардить этот трафик и как следствие трафик через него будет уходить в дроп.

[smart85]

у вас bgp-сессия с аплинком флапается (пир присылается сиз с ризоном "изменения конфигурации"). пересчет глобалвью на калькуляторе от RE MX80 процесс весьма долгий и затратный, маршруты инсталятся/удаляются в/из fib с задержкой, перерывы в форвардинге в данный момент - нормальное дело.

Вам необходимо стучать по голове аплинк, пусть чинят свое хозяйство.

Даже считая все эти маршруты на своем калькуляторе и инсталя в фиб, это не должно сказываться на транзите, т,к. В теории должны быть другие маршруты от других операторов до этих же сетей. Другой вопрос , что прислав анонс с лучшим аспас новый аплинг еще может быть не готов форвардить этот трафик и как следствие трафик через него будет уходить в дроп.

Да, помимо маршрута от проблемного аплинка в show route ${недоступная_сеть} есть еще несколько маршрутов, через других апстримов, и с самого бордера хост в недоступной через транзит сети на пинги отвечает.