Jump to content
Калькуляторы

Juniper MX80 - вопрос проблема с таблицей маршрутизации

Reply to this topic

fenikssss   

fenikssss
Posted · Report post

При изменении записей в таблице маршрутизации статическим способом или динамическим, информация о маршруте на Juniper отображается, но не работает. Было подозрение, что переполнилась память таблицы маршрутизации. Так же думали на службу SNMP, перезапустили restart snmp gracefully, не помогло, далее сделали restart snmp immediately, видемый результат появился не сразу, а спустя минут 10, после обновления таблицы маршрутизации

но проблема возобновилась через сутки

 

Помог великий ребут

 

есть мысли? советы? куда копать?

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post

Для начала , посмотреть что есть в логах . Проверить соответствие в show route и show route forwarding-table .

 

сколько же у вас маршрутов , если подозреваете что таблица переполнилась ?

покажите show route summary | match des

Ну и можно в момент проблемы посмотреть show krt queue

Share this post

Link to post
Share on other sites

fenikssss   

fenikssss
Posted (edited) · Report post

вот что говорят логи

Jan 23 18:17:01 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:01 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:01 jun-core-sm tfeb0 NH( nh_discard_add ): nh_add failed

Jan 23 18:17:02 jun-core-sm tfeb0 Failed to add a Discard NH, proto ipv4, rttindex 0 prefixlen 32 prefix 176.67.50.38 nh 1416

Jan 23 18:17:02 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:02 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:05 jun-core-sm last message repeated 3 times

Jan 23 18:17:05 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:05 jun-core-sm /kernel: RT_PFE: NH IPC op 11 (DELETE NEXTHOP) fail

ed, err 7 (Doesn't Exist) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:05 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:05 jun-core-sm tfeb0 NH: Failed to find nh (1416) for deletion

Jan 23 18:17:06 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:15 jun-core-sm last message repeated 9 times

Jan 23 18:17:15 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 89.200.238/24 nh 2799

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:15 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:16 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 89.200.234/24 nh 2799

Jan 23 18:17:16 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:16 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:24 jun-core-sm last message repeated 8 times

Jan 23 18:17:27 jun-core-sm last message repeated 3 times

Jan 23 18:17:27 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:27 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:27 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:27 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 103.53.53/24 nh 1055

Jan 23 18:17:27 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:28 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:43 jun-core-sm last message repeated 15 times

Jan 23 18:17:43 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:43 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:43 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:44 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:46 jun-core-sm last message repeated 2 times

Jan 23 18:17:46 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:46 jun-core-sm /kernel: RT_PFE: RT msg op 3 (PREFIX CHANGE) failed, err 5 (Invalid)

Jan 23 18:17:46 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:46 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 5.145.114/24 nh 1048574

Jan 23 18:17:46 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:47 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:48 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:48 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 69.179.220/24 nh 919

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2738: route entry create failed

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_entry_add_msg_proc,2922: proto ipv4,len 24 prefix 69.179.221/24 nh 919

Jan 23 18:17:48 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,601: route process failed

Jan 23 18:17:49 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:51 jun-core-sm last message repeated 2 times

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: NH IPC op 1 (ADD NEXTHOP) failed,err 6 (No Memory) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: NH details: idx 1415 type 6 ifl 408

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: RT msg op 1 (PREFIX ADD) failed, err 5 (Invalid)

Jan 23 18:17:51 jun-core-sm /kernel: RT_PFE: NH IPC op 15 (RESOLVE TO HOLD) failed, err 5 (Invalid) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:51 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:51 jun-core-sm tfeb0 nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

Jan 23 18:17:51 jun-core-sm tfeb0 NH( nh_discard_add ): nh_add failed

Jan 23 18:17:51 jun-core-sm tfeb0 Failed to add a Discard NH, proto ipv4, rttindex 0 prefixlen 32 prefix 77.221.218.138 nh 1415

Jan 23 18:17:51 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed 7

Jan 23 18:17:52 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:54 jun-core-sm last message repeated 2 times

Jan 23 18:17:55 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:17:55 jun-core-sm /kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

Jan 23 18:17:55 jun-core-sm /kernel: RT_PFE: NH IPC op 11 (DELETE NEXTHOP) fail

ed, err 7 (Doesn't Exist) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:17:55 jun-core-sm tfeb0 RT-HAL,rt_msg_handler,586: route check failed

7

Jan 23 18:17:55 jun-core-sm tfeb0 NH: Failed to find nh (1415) for deletion

Jan 23 18:17:56 jun-core-sm tfeb0 CLKSYNC: failed to create socket, port

Jan 23 18:18:00 jun-core-sm last message repeated 4 times

Jan 23 18:18:00 jun-core-sm /kernel: RT_PFE: NH IPC op 1 (ADD NEXTHOP) failed,err 6 (No Memory) peer_class 0, peer_index 0 peer_type 17

Jan 23 18:18:00 jun-core-sm /kernel: RT_PFE: NH details: idx 1415 type 6 ifl 354

 

Для начала , посмотреть что есть в логах . Проверить соответствие в show route и show route forwarding-table .

 

сколько же у вас маршрутов , если подозреваете что таблица переполнилась ?

покажите show route summary | match des

Ну и можно в момент проблемы посмотреть show krt queue

 

fominyh@jun-core-sm> show route summary | match des

 

inet.0: 588437 destinations, 1239714 routes (587983 active, 15 holddown, 1333 hidden)

Edited by fenikssss

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post

kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

 

И в правду кончилась память на карте . Ну тогда рассказывайте что что у вас там еще крутится , сабскрайберы или может еще роутинг-инстансы есть. Потому как 0.5м маршрутов не должны такое натворить.

 

Может есть фильтры очень большие или очень много...

 

P.S. Софт то какой стоит ?

 

nh_add_helper: Heap at low watermark - not enough memory to handle nh add operation

 

Однозначно все плохо ....

Share this post

Link to post
Share on other sites

fenikssss   

fenikssss
Posted · Report post

kernel: RT_PFE: RT msg op 2 (PREFIX DELETE) failed, err 5 (Invalid)

 

И в правду кончилась память на карте . Ну тогда рассказывайте что что у вас там еще крутится , сабскрайберы или может еще роутинг-инстансы есть. Потому как 0.5м маршрутов не должны такое натворить.

 

Может есть фильтры очень большие или очень много...

 

P.S. Софт то какой стоит ?

 

софт старенький:

JUNOS 11.4R7.5 built 2013-03-01 10:32:43 UTC

 

мы месяца 2 назад в заббикс добавили и по снмп стали снимать утилизацию всех интерфейсов + счетчики на эроры + цпу и температуту, в сумме получилось 600 параметров... вот первые мысли на snmp

Share this post

Link to post
Share on other sites

Telesis   

Telesis
Posted · Report post

вроде не раз обсуждалось тема про mx80, что FV несет определенные проблемы из-за CPU и RAM.

как вариант вам можно не инсталить эти в маршруты в FIB и держать их в RIB.

Share this post

Link to post
Share on other sites

fenikssss   

fenikssss
Posted · Report post

вроде не раз обсуждалось тема про mx80, что FV несет определенные проблемы из-за CPU и RAM.

как вариант вам можно не инсталить эти в маршруты в FIB и держать их в RIB.

так то такая проблема вылетела первый раз за 5 лет...

Share this post

Link to post
Share on other sites

pfexec   

pfexec
Posted · Report post

между проблемами на PFE и калькулятором на RE нет никакой связи. если есть саппорт, то неплохо бы открыть кейс и потраблшутить. если саппорта нет, то хорошая причина вкатить рекомендованный 13.3R8 и ребутнуть коробку. причины могут быть как софтовые, так и хардварные.

Share this post

Link to post
Share on other sites

fenikssss   

fenikssss
Posted · Report post

между проблемами на PFE и калькулятором на RE нет никакой связи. если есть саппорт, то неплохо бы открыть кейс и потраблшутить. если саппорта нет, то хорошая причина вкатить рекомендованный 13.3R8 и ребутнуть коробку. причины могут быть как софтовые, так и хардварные.

саппорта нет.... а снмп влиять может? то что 600 счетчиков навешали? и раз в 5 минут обновляли?

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post

на счетчики snmp наплевать , они не могут оказать никакого влияния .

FV - тоже не пробелма , PFE на MX80 должен без проблем прожевывать 1.8м маршрутов.

Софт старый и уже снять с тех поддержки , попробуйте обновиться думаю поможет

Share this post

Link to post
Share on other sites

dmvy   

dmvy
Posted · Report post

Софт действительно стар. У нас на этом софте долго отрабатывал show bgp summ и были ошибки в съеме по snmp mac-statistics. Сейчас уже долго работаем на

--- JUNOS 12.1R7.7 built 2013-07-18 10:47:38 UTC

Было 3 разных FV - никаких проблем. Сейчас 2 FV по двум каналам от одной AS.

Share this post

Link to post
Share on other sites

nuclearcat   

nuclearcat
Posted · Report post

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

Share this post

Link to post
Share on other sites

fenikssss   

fenikssss
Posted · Report post

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

 

хех))) ну перечитал тему) впринципе все понял)... но... как точно узнать промобандл у меня или нет? и как узнать пропускную способность?))) железо стоит 5 лет) а вопросы появились только сейчас)

Share this post

Link to post
Share on other sites

kapydan   

kapydan
Posted · Report post

не совсем в тему, но в защиту идеи обновления софта - была неск лет назад проблема, не могли mx480 связать с huawei 8800, jun промто не видел hu. проблему решили обновлением софта на mx480.

Share this post

Link to post
Share on other sites

CityFox   

CityFox
Posted · Report post

По теме. Это не из-за большого количества маршрутов от нескольких FV.

Это какая-то утечка ресурсов в forwarding plane, у нас такое было на нескольких старых версиях софта.

Если мониторить FPC Heap Utilization то видно как он плавно (у нас в течение почти года) растет и когда доростает до 100% то начинают сыпаться такие ошибки.

Так что обнавляйте JunOS до текущей стабильной версии, там все нормально.

Share this post

Link to post
Share on other sites

dmvy   

dmvy
Posted · Report post

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

 

хех))) ну перечитал тему) впринципе все понял)... но... как точно узнать промобандл у меня или нет? и как узнать пропускную способность?))) железо стоит 5 лет) а вопросы появились только сейчас)

5 лет назад еще не было бандлов. был чистый MX80. на нем и написано черным по синему MX80.

Share this post

Link to post
Share on other sites

rdntw   

rdntw
Posted · Report post

софт старенький:

JUNOS 11.4R7.5 built 2013-03-01 10:32:43 UTC

посмотрите рекомендации по обновлению, сразу прыгнуть на 13й релиз не получится

Share this post

Link to post
Share on other sites

fenikssss   

fenikssss
Posted · Report post

Кстати, с версии 12.2 проверяют лицензии, осторожнее. Т.к. непонятно, честный ли у вас MX80, или просто сейчас старая версия которая не проверяет лицензии, но чип проверки есть.

Почитайте http://forum.nag.ru/forum/index.php?showtopic=74274

 

хех))) ну перечитал тему) впринципе все понял)... но... как точно узнать промобандл у меня или нет? и как узнать пропускную способность?))) железо стоит 5 лет) а вопросы появились только сейчас)

5 лет назад еще не было бандлов. был чистый MX80. на нем и написано черным по синему MX80.

 

ну мне сказали, что пропускная у нас 5G, и получается у меня MX80-5G т е промобандл?

Share this post

Link to post
Share on other sites

ip4market   

ip4market
Posted (edited) · Report post

уточните, решилась ли проблема обновлением?

 

JUNOS Base OS boot [12.3R8.7]

JUNOS Base OS Software Suite [12.3R8.7]

JUNOS Kernel Software Suite [12.3R8.7]

JUNOS Crypto Software Suite [12.3R8.7]

JUNOS Packet Forwarding Engine Support (MX80) [12.3R8.7]

JUNOS Online Documentation [12.3R8.7]

JUNOS Routing Software Suite [12.3R8.7]

 

 

DRAM                      2048 MB (2048 MB installed)
   Memory utilization          95 percent
   CPU utilization:
     User                       6 percent
     Background                 0 percent
     Kernel                    10 percent
     Interrupt                 10 percent
     Idle                      75 percent
   Model                          RE-MX5-T

судя по всему мы схватили тоже самое на одном из мх80, сутки живет, потом отваливается snmp, а потом и ребут может быть, в логах такая же ругань на нехватку памяти которую непонятно кто сьел.

Edited by ip4market

Share this post

Link to post
Share on other sites

dmvy   

dmvy
Posted · Report post

софт старенький:

JUNOS 11.4R7.5 built 2013-03-01 10:32:43 UTC

посмотрите рекомендации по обновлению, сразу прыгнуть на 13й релиз не получится

с 11.4 успешно обновились до 13.3R8.7. Но роутер чистый MX80

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Followers 0
Go to topic listing Активное оборудование Ethernet, IP, MPLS, SDN/NFV...