[fenikssss]

При изменении записей в таблице маршрутизации статическим способом или динамическим, информация о маршруте на Juniper отображается, но не работает. Было подозрение, что переполнилась память таблицы маршрутизации. Так же думали на службу SNMP, перезапустили restart snmp gracefully, не помогло, далее сделали restart snmp immediately, видемый результат появился не сразу, а спустя минут 10, после обновления таблицы маршрутизации

но проблема возобновилась через сутки

 

Помог великий ребут

 

есть мысли? советы? куда копать?

[orlik]

Для начала , посмотреть что есть в логах . Проверить соответствие в show route и show route forwarding-table .

 

сколько же у вас маршрутов , если подозреваете что таблица переполнилась ?

покажите show route summary | match des

Ну и можно в момент проблемы посмотреть show krt queue

[fenikssss]

вот что говорят логи

Jan 23 18:17:01 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:01 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:01 jun-core-sm tfeb0 NH( nh_discard_add ): nh_add failed

Jan 23 18:17:02 jun-core-sm tfeb0 Failed to add a Discard NH, proto ipv4, rttindex 0 prefixlen 32 prefix 176.67.50.38 nh 1416

Jan 23 18:17:02 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:02 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:05 jun-core-sm last message repeated 3 times

Jan 23 18:17:05 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:05 jun-core-sm /kernel: RT_PFE: NH IPC op 11 (DELETE NEXTHOP) fail

ed, err 7 (Doesn't Exist) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:05 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:05 jun-core-sm tfeb0 NH: Failed to find nh (1416) for deletion

Jan 23 18:17:06 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:15 jun-core-sm last message repeated 9 times

Jan 23 18:17:15 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 89.200.238/24 nh 2799

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:16 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 89.200.234/24 nh 2799

Jan 23 18:17:16 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:16 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:24 jun-core-sm last message repeated 8 times

Jan 23 18:17:27 jun-core-sm last message repeated 3 times

Jan 23 18:17:27 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:27 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:27 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:27 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 103.53.53/24 nh 1055

Jan 23 18:17:27 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:28 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:43 jun-core-sm last message repeated 15 times

Jan 23 18:17:43 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:43 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:43 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:44 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:46 jun-core-sm last message repeated 2 times

Jan 23 18:17:46 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:46 jun-core-sm /kernel: RT_PFE: RT msg op 3 (PREFIX CHANGE) failed, err 5 (Invalid)

Jan 23 18:17:46 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:46 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 5.145.114/24 nh 1048574

Jan 23 18:17:46 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:47 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:48 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:48 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 69.179.220/24 nh 919

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 69.179.221/24 nh 919

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:49 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:51 jun-core-sm last message repeated 2 times

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: NH IPC op 1 (ADD NEXTHOP) failed,err 6 (No Memory) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: NH details: idx 1415 type 6 ifl 408

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: NH IPC op 15 (RESOLVE TO HOLD) failed, err 5 (Invalid) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:51 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:51 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:51 jun-core-sm tfeb0 NH( nh_discard_add ): nh_add failed

Jan 23 18:17:51 jun-core-sm tfeb0 Failed to add a Discard NH, proto ipv4, rttindex 0 prefixlen 32 prefix 77.221.218.138 nh 1415

Jan 23 18:17:51 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:52 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:54 jun-core-sm last message repeated 2 times

Jan 23 18:17:55 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:55 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:55 jun-core-sm /kernel: RT_PFE: NH IPC op 11 (DELETE NEXTHOP) fail

ed, err 7 (Doesn't Exist) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:55 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed

7

Jan 23 18:17:55 jun-core-sm tfeb0 NH: Failed to find nh (1415) for deletion

Jan 23 18:17:56 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:18:00 jun-core-sm last message repeated 4 times

Jan 23 18:18:00 jun-core-sm /kernel: RT_PFE: NH IPC op 1 (ADD NEXTHOP) failed,err 6 (No Memory) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:18:00 jun-core-sm /kernel: RT_PFE: NH details: idx 1415 type 6 ifl 354

 

Для начала , посмотреть что есть в логах . Проверить соответствие в show route и show route forwarding-table .

 

сколько же у вас маршрутов , если подозреваете что таблица переполнилась ?

покажите show route summary | match des

Ну и можно в момент проблемы посмотреть show krt queue

 

fominyh@jun-core-sm> show route summary | match des

 

inet.0: 588437 destinations, 1239714 routes (587983 active, 15 holddown, 1333 hidden)

Изменено 10 февраля, 2016 пользователем fenikssss

[orlik]

kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

 

И в правду кончилась память на карте . Ну тогда рассказывайте что что у вас там еще крутится , сабскрайберы или может еще роутинг-инстансы есть. Потому как 0.5м маршрутов не должны такое натворить.

 

Может есть фильтры очень большие или очень много...

 

P.S. Софт то какой стоит ?

 

nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

 

Однозначно все плохо ....

[fenikssss]

kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

 

И в правду кончилась память на карте . Ну тогда рассказывайте что что у вас там еще крутится , сабскрайберы или может еще роутинг-инстансы есть. Потому как 0.5м маршрутов не должны такое натворить.

 

Может есть фильтры очень большие или очень много...

 

P.S. Софт то какой стоит ?

 

софт старенький:

JUNOS 11.4R7.5 built 2013-03-01 10:32:43 UTC

 

мы месяца 2 назад в заббикс добавили и по снмп стали снимать утилизацию всех интерфейсов + счетчики на эроры + цпу и температуту, в сумме получилось 600 параметров... вот первые мысли на snmp

[Telesis]

Думаю у них там 2FV.

[fenikssss]

Думаю у них там 2FV.

 

совершенно верно 2fv и 3 пиринга

[Telesis]

вроде не раз обсуждалось тема про mx80, что FV несет определенные проблемы из-за CPU и RAM.

как вариант вам можно не инсталить эти в маршруты в FIB и держать их в RIB.

[fenikssss]

вроде не раз обсуждалось тема про mx80, что FV несет определенные проблемы из-за CPU и RAM.

как вариант вам можно не инсталить эти в маршруты в FIB и держать их в RIB.

так то такая проблема вылетела первый раз за 5 лет...

[pfexec]

между проблемами на PFE и калькулятором на RE нет никакой связи. если есть саппорт, то неплохо бы открыть кейс и потраблшутить. если саппорта нет, то хорошая причина вкатить рекомендованный 13.3R8 и ребутнуть коробку. причины могут быть как софтовые, так и хардварные.

[fenikssss]

между проблемами на PFE и калькулятором на RE нет никакой связи. если есть саппорт, то неплохо бы открыть кейс и потраблшутить. если саппорта нет, то хорошая причина вкатить рекомендованный 13.3R8 и ребутнуть коробку. причины могут быть как софтовые, так и хардварные.

саппорта нет.... а снмп влиять может? то что 600 счетчиков навешали? и раз в 5 минут обновляли?

[orlik]

на счетчики snmp наплевать , они не могут оказать никакого влияния .

FV - тоже не пробелма , PFE на MX80 должен без проблем прожевывать 1.8м маршрутов.

Софт старый и уже снять с тех поддержки , попробуйте обновиться думаю поможет

[dmvy]

Софт действительно стар. У нас на этом софте долго отрабатывал show bgp summ и были ошибки в съеме по snmp mac-statistics. Сейчас уже долго работаем на

--- JUNOS 12.1R7.7 built 2013-07-18 10:47:38 UTC

Было 3 разных FV - никаких проблем. Сейчас 2 FV по двум каналам от одной AS.

[fenikssss]

Спасибо, а процедура обновления? где софт качать? получается 13.3R8 самый стабильный?

[nuclearcat]

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

[fenikssss]

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

 

хех))) ну перечитал тему) впринципе все понял)... но... как точно узнать промобандл у меня или нет? и как узнать пропускную способность?))) железо стоит 5 лет) а вопросы появились только сейчас)

[nuclearcat]

Коллеги посоветуют, у меня данных железок под рукой нет. Просто вспомнил нюанс с апгрейдом.

[kapydan]

не совсем в тему, но в защиту идеи обновления софта - была неск лет назад проблема, не могли mx480 связать с huawei 8800, jun промто не видел hu. проблему решили обновлением софта на mx480.

[CityFox]

По теме. Это не из-за большого количества маршрутов от нескольких FV.

Это какая-то утечка ресурсов в forwarding plane, у нас такое было на нескольких старых версиях софта.

Если мониторить FPC Heap Utilization то видно как он плавно (у нас в течение почти года) растет и когда доростает до 100% то начинают сыпаться такие ошибки.

Так что обнавляйте JunOS до текущей стабильной версии, там все нормально.

[dmvy]

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

 

хех))) ну перечитал тему) впринципе все понял)... но... как точно узнать промобандл у меня или нет? и как узнать пропускную способность?))) железо стоит 5 лет) а вопросы появились только сейчас)

5 лет назад еще не было бандлов. был чистый MX80. на нем и написано черным по синему MX80.

[rdntw]

софт старенький:

JUNOS 11.4R7.5 built 2013-03-01 10:32:43 UTC

посмотрите рекомендации по обновлению, сразу прыгнуть на 13й релиз не получится

[fenikssss]

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

 

хех))) ну перечитал тему) впринципе все понял)... но... как точно узнать промобандл у меня или нет? и как узнать пропускную способность?))) железо стоит 5 лет) а вопросы появились только сейчас)

5 лет назад еще не было бандлов. был чистый MX80. на нем и написано черным по синему MX80.

 

ну мне сказали, что пропускная у нас 5G, и получается у меня MX80-5G т е промобандл?

[ip4market]

уточните, решилась ли проблема обновлением?

 

JUNOS Base OS boot [12.3R8.7]

JUNOS Base OS Software Suite [12.3R8.7]

JUNOS Kernel Software Suite [12.3R8.7]

JUNOS Crypto Software Suite [12.3R8.7]

JUNOS Packet Forwarding Engine Support (MX80) [12.3R8.7]

JUNOS Online Documentation [12.3R8.7]

JUNOS Routing Software Suite [12.3R8.7]

 

 

DRAM                      2048 MB (2048 MB installed)
   Memory utilization          95 percent
   CPU utilization:
     User                       6 percent
     Background                 0 percent
     Kernel                    10 percent
     Interrupt                 10 percent
     Idle                      75 percent
   Model                          RE-MX5-T

судя по всему мы схватили тоже самое на одном из мх80, сутки живет, потом отваливается snmp, а потом и ребут может быть, в логах такая же ругань на нехватку памяти которую непонятно кто сьел.

Изменено 31 августа, 2016 пользователем ip4market

[dmvy]

софт старенький:

JUNOS 11.4R7.5 built 2013-03-01 10:32:43 UTC

посмотрите рекомендации по обновлению, сразу прыгнуть на 13й релиз не получится

с 11.4 успешно обновились до 13.3R8.7. Но роутер чистый MX80

[uxcr]

У вас случайно не включено routing-options forwarding-table unicast-reverse-path feasible-paths?