Jump to content
Калькуляторы

Juniper MX80 TFEB load cpu 100% после обновления на 12.3R7.7

Reply to this topic

rdntw   

rdntw
Posted · Report post

Доброго времени суток!

После ночного обновления с 12.3R3.7 на 12.3R7.7 загрузка PFE стала 100процентов.

Абоненты пока не обращаются, думаю ребут как обычно снимет проблему, но если есть у кого мысли/идея как отдебажить и найти что грузит - велкам.

ps:кейс создам позже, как добегу до работы.

 

 

загрузка RE высокая из-за снятия RSI. 

MX> show chassis fpc
                    Temp  CPU Utilization (%)   Memory    Utilization (%)
Slot State            (C)  Total  Interrupt      DRAM (MB) Heap     Buffer
 0  Online            38    100          1       1024       26         14
 1  Online            38    100          1       1024       26         14

MX> show chassis tfeb
TFEB status:
Slot 0 information:
 State                                 Online
 Intake temperature                 38 degrees C / 100 degrees F
 Exhaust temperature                52 degrees C / 125 degrees F
 CPU utilization                   100 percent
 Interrupt utilization               1 percent
 Heap utilization                   26 percent
 Buffer utilization                 14 percent
 Total CPU DRAM                   1024 MB
 Start time:                           2015-02-03 05:39:55 MSK
 Uptime:                               4 hours, 26 minutes, 31 seconds

MX>

 

 

 

MX> show system processes extensive no-forwarding

last pid:  2742;  load averages:  0.93,  0.65,  0.35  up 0+02:36:51    08:13:40
146 processes: 2 running, 116 sleeping, 28 waiting

Mem: 671M Active, 63M Inact, 162M Wired, 155M Cache, 112M Buf, 935M Free
Swap: 2821M Total, 2821M Free


 PID USERNAME  THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
  11 root        1 171   52     0K    16K RUN    122:47 66.36% idle
2702 root        1 113    0 35240K 25104K select   0:00 10.85% cli
2703 root        1 120    0 40200K  4124K select   0:00  3.85% mgd
1119 root        1 113    0 12728K  7096K select   5:29  3.52% eventd
2438 admin       1  97    0 35268K 28260K select   0:25  2.25% cli
  95 root        1  -8    0     0K    16K mdwait   0:16  1.37% md1
2439 root        1  97    0 49552K 17976K select   0:14  1.17% mgd
1311 root       11  98    0 17308K  8788K ucond    4:22  0.98% clksyncd
 151 root        1  -8    0     0K    16K mdwait   0:08  0.78% md4
1459 root        1  96    0 35444K 21528K select   0:49  0.24% pfed
  12 root        1 -40 -159     0K    16K WAIT     1:16  0.05% swi2: netisr 0
1925 root        1  97    0   112M 74284K select   3:20  0.00% authd
1918 root        1  96    0 80444K 37276K select   1:54  0.00% jdhcpd
1464 root        1  96    0 71268K 35520K select   1:34  0.00% dcd
1458 root        1  97    0 96820K 56168K select   1:10  0.00% dfwd
1922 root        1  96    0 68048K 18700K select   1:09  0.00% autoconfd
1431 root        1   4    0 78724K 37112K kqread   1:05  0.00% rpd
  13 root        1 -20 -139     0K    16K WAIT     0:58  0.00% swi7: clock
1461 root        1  96    0 55900K 37008K select   0:45  0.00% mib2d
1434 root        1  96    0 34416K 17304K select   0:34  0.00% cosd
  28 root        1 -68 -187     0K    16K WAIT     0:30  0.00% irq36: tsec1
1916 root        1 111   15 12844K  6820K select   0:30  0.00% sampled
1399 root        1  96    0 23884K 14660K select   0:28  0.00% shm-rtsdbd
1306 root        1  96    0 47688K 41680K select   0:26  0.00% ppmd
1296 root        1  97    0   121M 15048K select   0:23  0.00% chassisd
1462 root        1  96    0 20868K 15104K select   0:21  0.00% snmpd
1432 root        1  96    0 26908K 19532K select   0:20  0.00% l2ald
1488 root        1  96    0     0K    16K select   0:18  0.00% peerproxy80000032
1917 root        1  96    0 15136K  9744K select   0:18  0.00% rmopd
1441 root        1   4    0 21760K 12224K kqread   0:15  0.00% l2cpd
1400 root        1  96    0 12500K  7736K select   0:14  0.00% license-check
1444 root        1  96    0 22820K  9796K select   0:13  0.00% cfmd
  27 root        1 -68 -187     0K    16K WAIT     0:11  0.00% irq35: tsec1
1293 root        1  96    0  2532K  1232K select   0:11  0.00% bslockd
1439 root        1  96    0 52368K 13284K select   0:10  0.00% dfcd
1437 root        1  96    0  7052K  3084K select   0:09  0.00% pppd
1453 root        3  20    0 10564K  3356K sigwai   0:08  0.00% jddosd
1443 root        1  96    0  6852K  2948K select   0:07  0.00% lfmd
1435 root        1  96    0  6588K  2844K select   0:07  0.00% lmpd
1484 root        1  96    0 49556K 18444K select   0:06  0.00% mgd
  15 root        1 -16    0     0K    16K -        0:06  0.00% yarrow
1465 root        1  96    0 22952K 11628K select   0:05  0.00% smid
1483 root        1   8    0 35268K 21836K wait     0:05  0.00% cli
1457 root        1  96    0  6592K  2900K select   0:05  0.00% irsd
  21 root        1 -68 -187     0K    16K WAIT     0:04  0.00% irq4: tbbcpld0
  42 root        1 171   52     0K    16K pgzero   0:04  0.00% pagezero
 231 root        1  -8    0     0K    16K mdwait   0:04  0.00% md7
  64 root        1  -8    0     0K    16K mdwait   0:03  0.00% md0
1463 root        1  96    0 12412K  7352K select   0:02  0.00% alarmd
  39 root        1 -36 -155     0K    16K WAIT     0:02  0.00% swi3: ip6opt ipopt
   3 root        1  -8    0     0K    16K -        0:02  0.00% g_up
   4 root        1  -8    0     0K    16K -        0:02  0.00% g_down
  36 root        1 -64 -183     0K    16K WAIT     0:02  0.00% irq5: ehci0
  44 root        1  20    0     0K    16K syncer   0:01  0.00% syncer
1299 root        1  96    0 40136K 23252K select   0:01  0.00% mgd
  23 root        1 -52 -171     0K    16K WAIT     0:01  0.00% irq43: i2c0 i2c1
2435 root        1 100    0  7652K  3012K select   0:01  0.00% sshd
  63 root        1  12    0     0K    16K -        0:01  0.00% schedcpu
 171 root        1  -8    0     0K    16K mdwait   0:01  0.00% md5
 115 root        1  -8    0     0K    16K mdwait   0:01  0.00% md2
1455 root        1  96    0 14136K  7784K select   0:01  0.00% pkid
  55 root        1 -16    0     0K    16K psleep   0:01  0.00% vmkmemdaemon
   2 root        1  -8    0     0K    16K -        0:01  0.00% g_event
   1 root        1   8    0  1484K   780K wait     0:01  0.00% init
1310 root        1  96    0 13148K  7748K select   0:01  0.00% bfdd
  16 root        1 -28 -147     0K    16K WAIT     0:01  0.00% swi5: cambio
 131 root        1  -8    0     0K    16K mdwait   0:01  0.00% md3
  45 root        1  20    0     0K    16K vnlrum   0:01  0.00% vnlru_mem
  57 root        1  12    0     0K    16K .        0:00  0.00% ddostasks
1433 root        1  81  -15 12124K  7056K select   0:00  0.00% apsd
  20 root        1 -48 -167     0K    16K WAIT     0:00  0.00% swi0: uart uart++
 213 root        1  -8    0     0K    16K mdwait   0:00  0.00% md6
1923 root        1  96    0 21168K  8676K select   0:00  0.00% smihelperd
1298 root        1  96    0 12348K  6644K select   0:00  0.00% craftd
  62 root        1  12    0     0K    16K rs_on    0:00  0.00% rtimeshare_thr
1452 root        1  96    0  6432K  2544K select   0:00  0.00% iccpd
1979 root        1  96    0  6892K  3076K select   0:00  0.00% ssh
  47 root        1 -16    0     0K    16K sdflus   0:00  0.00% softdepflush
  43 root        1 -16    0     0K    16K psleep   0:00  0.00% bufdaemon
1456 root        1 107    0 14680K  6508K select   0:00  0.00% stats-agentd
1454 root        1  96    0  6604K  2728K select   0:00  0.00% mspd
  46 root        1  -4    0     0K    16K vlruwt   0:00  0.00% vnlru
1468 root        1  20    0  4488K  2724K pause    0:00  0.00% csh
  51 root        1 -16    0     0K    16K psleep   0:00  0.00% vmuncachedaemon
1442 root        1  96    0  7936K  3208K select   0:00  0.00% oamd
1240 root        1   8    0  2108K   684K nanslp   0:00  0.00% cron
1401 root        1   8    0  2964K  1336K wait     0:00  0.00% login
1451 root        1 115    0  8712K  3196K select   0:00  0.00% sendd
1302 root        1  96    0  5080K  1872K select   0:00  0.00% inetd
1445 root        1  96    0  8860K  2852K select   0:00  0.00% mplsoamd
1920 root        1  20    0  6916K  2532K pause    0:00  0.00% jsavald
   6 root        1   8    0     0K    16K -        0:00  0.00% kqueue taskq
1294 root        1  96    0  2492K  1128K select   0:00  0.00% tnetd
1460 root        1  96    0  2264K   988K select   0:00  0.00% tnp.sntpd
1292 root        1  96    0  1912K   724K select   0:00  0.00% watchdog
1436 root        1 119    0  5108K  1672K select   0:00  0.00% rtspd
   8 root        1 -16    0     0K    16K psleep   0:00  0.00% pagedaemon
2742 root        1 120    0 23272K  1688K RUN      0:00  0.00% top
2698 root        1   8    0  2712K  1416K wait     0:00  0.00% sh
1307 root        1   8    0  2176K  1076K nanslp   0:00  0.00% smartd
  31 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq32: tsec2
   0 root        1  12    0     0K     0K WAIT     0:00  0.00% swapper
  37 root        1   8    0     0K    16K usbevt   0:00  0.00% usb0
  56 root        1  12    0     0K    16K select   0:00  0.00% if_pic_listen0
   7 root        1   8    0     0K    16K -        0:00  0.00% thread taskq
  54 root        1  12    0     0K    16K select   0:00  0.00% if_pfe_listen
  58 root        1   8    0     0K    16K -        0:00  0.00% nfsiod 0
  48 root        1 104    0     0K    16K sleep    0:00  0.00% netdaemon
  59 root        1   8    0     0K    16K -        0:00  0.00% nfsiod 1
  61 root        1   8    0     0K    16K -        0:00  0.00% nfsiod 3
  60 root        1   8    0     0K    16K -        0:00  0.00% nfsiod 2
  52 root        1   4    0     0K    16K dump_r   0:00  0.00% kern_dump_proc
   9 root        1  20    0     0K    16K psleep   0:00  0.00% vmdaemon
  49 root        1  20    0     0K    16K condsl   0:00  0.00% delayedexecd
  50 root        1   4    0     0K    16K purge_   0:00  0.00% kern_pir_proc
  38 root        1   8    0     0K    16K usbtsk   0:00  0.00% usbtask
   5 root        1   8    0     0K    16K -        0:00  0.00% mastership taskq
  10 root        1 -16    0     0K    16K ktrace   0:00  0.00% ktrace
  18 root        1 -12 -131     0K    16K WAIT     0:00  0.00% swi9: +
  19 root        1 -12 -131     0K    16K WAIT     0:00  0.00% swi9: task queue
  17 root        1 -16 -135     0K    16K WAIT     0:00  0.00% swi8: +
  14 root        1 -24 -143     0K    16K WAIT     0:00  0.00% swi6: vm
  40 root        1 -32 -151     0K    16K WAIT     0:00  0.00% swi4: ip6mismatch+
  41 root        1 -44 -163     0K    16K WAIT     0:00  0.00% swi1: ipfwd
  25 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq30: tsec0
  35 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq39: tsec3
  22 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq6: tbbcpld0
  34 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq38: tsec3
  29 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq40: tsec1
  30 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq31: tsec2
  32 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq33: tsec2
  33 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq37: tsec3
  26 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq34: tsec0
  24 root        1 -68 -187     0K    16K WAIT     0:00  0.00% irq29: tsec0



MX> show pfe statistics error


Slot 0



HSL2 Errors:
------------
 *****  No errors on this PFE  *****
LU Chip 0
LUCHIP(0) ISTAT PIO Errors:
   None recorded.
MQ Chip 0

WI Error Counters:
 xge traffic overflow           : 0
 wrong pkt dlmtr in dq pipeline : 0

FI Error Counters:
 stream counters(mask 0 match 0):
   cell_timeout             : 0
   err_cell                 : 0
   late_cell                : 0
   chunk_empty              : 0
   ptuse_drops              : 0
   eng_underflow            : 0
 misc counters:
   input_port_0_overflow    : 0
   input_port_1_overflow    : 0
   input_port_2_overflow    : 0
   input_port_3_overflow    : 0
   input_port_0_rg_overflow : 0
   input_port_1_rg_overflow : 0
   input_port_2_rg_overflow : 0
   input_port_3_rg_overflow : 0
   l1_empty                 : 0
   l2_empty                 : 0
   cp_empty                 : 0
IXCHIP 2 Ingress Buffer Mgr Errors:

              Counter Name            Total           Rate      Peak Rate
  ------------------------ ---------------- -------------- --------------
         Tail Drop Pkt Cnt                0              0              0
      Pkt LinkRAM PERR Cnt                0              0              0
      Ctl DataRAM PERR Cnt                0              0              0
     Cell LinkRAM PERR Cnt                0              0              0
     ENQ PERR Drop Pkt Cnt                0              0              0

IXCHIP 2 Egress Buffer Mgr Errors:

              Counter Name            Total           Rate      Peak Rate
  ------------------------ ---------------- -------------- --------------
         Tail Drop Pkt Cnt                0              0              0
         EOPE Drop Pkt Cnt                0              0              0
      Ctl DataRAM PERR Cnt                0              0              0
     Cell LinkRAM PERR Cnt                0              0              0
     ENQ PERR Drop Pkt Cnt                0              0              0



MX> show pfe statistics traffic

Packet Forwarding Engine traffic statistics:
   Input  packets:            871699748               129487 pps
   Output packets:           1158341824                87114 pps
Packet Forwarding Engine local traffic statistics:
   Local packets input                 :              1924723
   Local packets output                :              1981826
   Software input control plane drops  :                    0
   Software input high drops           :                    0
   Software input medium drops         :                    0
   Software input low drops            :                    0
   Software output drops               :                    0
   Hardware input drops                :                 2988
Packet Forwarding Engine local protocol statistics:
   HDLC keepalives            :                    0
   ATM OAM                    :                    0
   Frame Relay LMI            :                    0
   PPP LCP/NCP                :                    0
   OSPF hello                 :                 8461
   OSPF3 hello                :                    0
   RSVP hello                 :                    0
   LDP hello                  :                    0
   BFD                        :                    0
   IS-IS IIH                  :                    0
   LACP                       :                    0
   ARP                        :              1235309
   ETHER OAM                  :                    0
   Unknown                    :                   20
Packet Forwarding Engine hardware discard statistics:
   Timeout                    :                    0
   Truncated key              :                    0
   Bits to test               :                    0
   Data error                 :                    0
   Stack underflow            :                    0
   Stack overflow             :                    0
   Normal discard             :             83472261
   Extended discard           :                    0
   Invalid interface          :                    0
   Info cell drops            :                    0
   Fabric drops               :                    0
Packet Forwarding Engine Input IPv4 Header Checksum Error and Output MTU Error statistics:
   Input Checksum             :                    0
   Output MTU                 :                   18

 

 

Share this post

Link to post
Share on other sites

NikBSDOpen   

NikBSDOpen
Posted · Report post

Если судить по вашему "топу"

То где Вы видите 100% ?

У вас простой 60

11 root 1 171 52 0K 16K RUN 122:47 66.36% idle

 

Логи перекиньте с "нанда" на уделенный сислог.

 

1119 root 1 113 0 12728K 7096K select 5:29 3.52% eventd

 

Сбросьте всех пользователей.

Share this post

Link to post
Share on other sites

rdntw   

rdntw
Posted · Report post

А pfe statistics traffic что говорит?

в спойлере есть

но вот еще раз )

MX> show pfe statistics traffic
Packet Forwarding Engine traffic statistics:
   Input  packets:           2197755335               166068 pps
   Output packets:           3076364106               246961 pps
Packet Forwarding Engine local traffic statistics:
   Local packets input                 :              3562853
   Local packets output                :              3607952
   Software input control plane drops  :                    0
   Software input high drops           :                    0
   Software input medium drops         :                    0
   Software input low drops            :                    0
   Software output drops               :                    0
   Hardware input drops                :                 2988
Packet Forwarding Engine local protocol statistics:
   HDLC keepalives            :                    0
   ATM OAM                    :                    0
   Frame Relay LMI            :                    0
   PPP LCP/NCP                :                    0
   OSPF hello                 :                15584
   OSPF3 hello                :                    0
   RSVP hello                 :                    0
   LDP hello                  :                    0
   BFD                        :                    0
   IS-IS IIH                  :                    0
   LACP                       :                    0
   ARP                        :              2320404
   ETHER OAM                  :                    0
   Unknown                    :                   20
Packet Forwarding Engine hardware discard statistics:
   Timeout                    :                    0
   Truncated key              :                    0
   Bits to test               :                    0
   Data error                 :                    0
   Stack underflow            :                    0
   Stack overflow             :                    0
   Normal discard             :            159921716
   Extended discard           :                    0
   Invalid interface          :                    0
   Info cell drops            :                    0
   Fabric drops               :                    0
Packet Forwarding Engine Input IPv4 Header Checksum Error and Output MTU Error statistics:
   Input Checksum             :                    0
   Output MTU                 :                  201

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post

show policer | match arp

и посмотрите увеличивается значение или нет , если да , то ищите засранца который флудит

 

Искать проще всего так

monitor traffic interface xe- no-resolve size 1000 matching "ether broadcast"

когда найдете интерфейс (физический) то добавьте extensive там будет виден номер vlan. После чего блокируйте этого абонента.

Так же можно применить arp полисер для этого клиента (8кбит) , чтоб не мешал остальным

Share this post

Link to post
Share on other sites

rdntw   

rdntw
Posted · Report post

ipfix включен ?

 

так точно. как раз сейчас и думаем на него.

MX> show configuration forwarding-options
sampling {
   instance {
       JFLOW {
           input {
               rate 100;
           }
           family inet {
               output {
                   flow-server 192.168.147.6 {
                       port 10035;
                       version-ipfix {
                           template {
                               IPv4-TEMPLATE;
                           }
                       }
                   }
                   inline-jflow {
                       source-address 95.215.98.10;
                       flow-export-rate 2;
                   }
               }
           }
       }
   }
}

MX>

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post

покажите вывод

request pfe execute command "show threads" target fpcX

 

X- подставьте свой номер FPC

 

ipfix включен ?

 

так точно. как раз сейчас и думаем на него.

 

 

тогда спасет апгрейд до R8

 

https://prsearch.juniper.net/InfoCenter/index?page=prcontent&id=PR671136

Share this post

Link to post
Share on other sites

rdntw   

rdntw
Posted · Report post

request pfe execute command "show threads" target fpcX

 

сейчас IPFIX выключили временно

 

MX> request pfe execute command "show threads" target tfeb0
SENT: Ukern command: show threads
GOT:
GOT: PID PR State     Name                   Stack Use  Time (Last/Max/Total) cpu
GOT: --- -- -------   ---------------------  ---------  ---------------------
GOT:   1 H  asleep    Maintenance            304/2056   0/0/0 ms  0%
GOT:   2 L  running   Idle                   320/2048   0/0/397374 ms  1%
GOT:   3 H  asleep    Timer Services         304/2048   0/0/428 ms  0%
GOT:   5 L  asleep    Ukern Syslog           304/4104   0/0/0 ms  0%
GOT:   6 L  asleep    Sheaf Background       384/2056   0/0/27 ms  0%
GOT:   7 H  asleep    IPv4 PFE Control Background   296/8192   0/0/0 ms  0%
GOT:   8 M  asleep    TTRACE Creator         328/4096   0/0/0 ms  0%
GOT:   9 M  asleep    TTRACE Tracer          336/4104   0/0/0 ms  0%
GOT:  10 M  asleep    GR253                  384/4096   0/0/127 ms  0%
GOT:  11 M  asleep    CXP                    408/4104   0/0/135 ms  0%
GOT:  12 M  asleep    QSFP                   360/4104   0/0/86 ms  0%
GOT:  13 M  asleep    DCC Background         280/4104   0/0/0 ms  0%
GOT:  14 M  asleep    DSX50ms                320/4096   0/0/2306 ms  0%
GOT:  15 M  asleep    DSXonesec              312/4104   0/0/123 ms  0%
GOT:  16 M  asleep    mac_db                2376/8200   0/0/416 ms  0%
GOT:  17 M  asleep    RSMON syslog thread   2152/4104   0/45/1020 ms  0%
GOT:  18 M  asleep    MSA300PIN              368/4096   0/0/20 ms  0%
GOT:  19 M  asleep    CFP                    368/4104   0/0/83 ms  0%
GOT:  20 M  asleep    XFP                   1104/4096   0/18/552643 ms  2%
GOT:  21 M  asleep    SFP                   1136/4104   0/47/766 ms  0%
GOT:  22 L  asleep    Firmware Upgrade       320/4104   0/0/0 ms  0%
GOT:  23 L  asleep    Syslog                 856/4096   0/0/60902 ms  0%
GOT:  24 M  asleep    50ms Periodic          224/8200   0/0/0 ms  0%
GOT:  25 M  asleep    100ms Periodic         224/8192   0/0/0 ms  0%
GOT:  26 M  asleep    1s Medium Periodic     648/8200   0/0/1259 ms  0%
GOT:  27 M  asleep    10s Medium Periodic    312/8192   0/0/19 ms  0%
GOT:  28 L  asleep    1s Low Periodic        312/8200   0/0/250 ms  0%
GOT:  29 L  asleep    10s Low Periodic      1088/8192   0/0/231 ms  0%
GOT:  30 L  asleep    L2PD                   400/4104   0/0/2506 ms  0%
GOT:  31 M  asleep    HSL2                   864/4104   0/0/10426 ms  0%
GOT:  32 H  asleep    TCP Timers             984/8192   0/0/2067 ms  0%
GOT:  33 H  asleep    TCP Receive           1280/8200   0/1/15415 ms  0%
GOT:  34 H  asleep    TNP Hello              472/2056   0/0/770 ms  0%
GOT:  35 M  asleep    UDP Input              280/2048   0/0/3 ms  0%
GOT:  36 H  asleep    TTP Receive            832/4104   0/1/51842 ms  0%
GOT:  37 H  asleep    TTP Transmit          1256/4096   0/2/139747 ms  0%
GOT:  38 H  asleep    RDP Timers             200/2056   0/0/0 ms  0%
GOT:  39 H  asleep    RDP Input              280/2048   0/0/0 ms  0%
GOT:  40 L  asleep    CLNS Err Input         280/4096   0/0/0 ms  0%
GOT:  41 L  asleep    CLNS Option Input      280/4104   0/0/0 ms  0%
GOT:  42 H  asleep    Pfesvcsor              568/8192   0/0/1843 ms  0%
GOT:  43 M  asleep    PIC Periodic          1296/4096   0/8/479533 ms  2%
GOT:  44 M  asleep    PIC                    200/4104   0/0/0 ms  0%
GOT:  45 M  asleep    TNPC CM               7192/16384  0/277/144930 ms  0%
GOT:  46 M  asleep    CLKSYNC Manager       1752/8192   0/0/1 ms  0%
GOT:  47 M  asleep    PPM Manager           3480/8192   0/0/1 ms  0%
GOT:  48 M  asleep    PPM Data thread        304/8192   0/0/0 ms  0%
GOT:  49 M  asleep    VRRP Manager           352/8200   0/0/0 ms  0%
GOT:  50 M  asleep    L2ALM Manager         3016/8200   0/1/2859 ms  0%
GOT:  52 L  asleep    ICMP6 Input            480/4096   0/0/0 ms  0%
GOT:  53 L  asleep    IP6 Option Input      1032/4104   0/0/0 ms  0%
GOT:  54 L  asleep    ICMP Input            1008/4096   0/0/4372 ms  0%
GOT:  55 L  asleep    IP Option Input       1016/4104   0/0/0 ms  0%
GOT:  56 M  asleep    IGMP Input            1016/4096   0/0/2220 ms  0%
GOT:  57 L  asleep    DFW Alert              576/4096   0/0/103 ms  0%
GOT:  58 L  asleep    cos halp stats daemon  1192/4096   0/1/97115 ms  0%
GOT:  59 L  asleep    NH Probe Service       304/4096   0/0/22132 ms  0%
GOT:  60 L  asleep    IPC Test Daemon        672/2056   0/0/0 ms  0%
GOT:  61 M  ready     PFE Manager           9632/16384  0/12/19959791 ms 86%
GOT:  62 L  asleep    PFEMAN Service Thread  1240/16392  2/2/378 ms  0%
GOT:  63 H  asleep    SNTP Daemon           1128/8192   0/0/8 ms  0%
GOT:  64 L  asleep    Virtual Console        944/16392  0/0/0 ms  0%
GOT:  65 L  asleep    Console               2184/16384  0/0/0 ms  0%
GOT:  66 L  asleep    Console               2296/16392  0/0/0 ms  0%
GOT:  67 M  asleep    PFE Statistics        8888/16392  0/1/234117 ms  1%
GOT:  68 M  asleep    PZARB Timeout          336/4096   0/0/0 ms  0%
GOT:  69 L  asleep    LU Background Service   984/4096   0/1/164430 ms  0%
GOT:  70 M  asleep    QX Chip                336/4104   0/0/104 ms  0%
GOT:  71 M  asleep    MQ Chip                592/4096   0/0/824 ms  0%
GOT:  72 L  asleep    MQ Chip Stats          696/4104   0/1/150293 ms  0%
GOT:  73 M  asleep    LU-CNTR Reader         400/8200   0/0/9 ms  0%
GOT:  74 M  asleep    Trap_Info Read         400/4096   0/0/0 ms  0%
GOT:  75 M  asleep    Services TOD          1200/4104   0/0/908 ms  0%
GOT:  76 L  asleep    DDOS Policers         2064/4096   0/3/32562 ms  0%
GOT:  77 L  asleep    jnh errors daemon      368/4104   0/0/12 ms  0%
GOT:  78 L  asleep    JNH KA Transmit       1152/4096   0/0/761 ms  0%
GOT:  79 M  asleep    bulkget Manager       5008/8200   0/0/19011 ms  0%
GOT:  80 L  asleep    IX Chip                768/4096   0/1/29375 ms  0%
GOT:  90 L  running   Cattle-Prod Daemon    4744/16392  0/0/3 ms  0%
GOT:  91 L  asleep    Cattle-Prod Daemon    2104/16384  0/0/0 ms  0%
LOCAL: End of file

MX>

Share this post

Link to post
Share on other sites

rdntw   

rdntw
Posted · Report post

нагрузка не спала, в workaround написано что нужен ребут карты:(

ночью обновим на R8, надеюсь новых сюрпризов не принесет

Share this post

Link to post
Share on other sites

pfexec   

pfexec
Posted · Report post
После ночного обновления с 12.3R3.7 на 12.3R7.7 загрузка PFE стала 100процентов.
ничего страшного, оно у нас так полгода чтоли так стояло и ок :)

Share this post

Link to post
Share on other sites

rdntw   

rdntw
Posted · Report post

ничего страшного, оно у нас так полгода чтоли так стояло и ок :)

 

как-то глаза режет когда проц asic-а загружен на 100процентов)

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post

ничего страшного, оно у нас так полгода чтоли так стояло и ок :)

 

как-то глаза режет когда проц asic-а загружен на 100процентов)

 

Ну на трафик повлиять не должно , а вот на сходимости - да вполне, Также может оказывать влияние на некоторые протоколы (bfd lacp и т.п.)

Share this post

Link to post
Share on other sites

h1vs2   

h1vs2
Posted · Report post

Это ужасно, но баг походу перекочевал в 13.3R6.5, которая сейчас jtac рекомендед.

 

На 12.3R7 я вообще отвал форвардинга получил. На 12.3R9 не пробовал даже, там фиксед якобы, потом по нуждам браса обновился до 13.3R6.5 и снова 100% загрузки. Не наступите на мои грабли )

Share this post

Link to post
Share on other sites

pfexec   

pfexec
Posted · Report post
потом по нуждам браса обновился до 13.3R6.5 и снова 100% загрузки.
13.3R6 - всё нормально.

вообще вам бы кейс открыть и потраблшутить. кроме 12.3R6 со включеным ipfix'ом я ни разу не видел tfeb 100%.

Share this post

Link to post
Share on other sites

rdntw   

rdntw
Posted · Report post

вчера поймали баг из-за которого не работал частично форвардинг между двумя бордерами. помог ребут FPC...

Share this post

Link to post
Share on other sites

h1vs2   

h1vs2
Posted · Report post

Хм. Отлягло :

 

gang@mx480-under> show chassis fpc

Temp CPU Utilization (%) Memory Utilization (%)

Slot State © Total Interrupt DRAM (MB) Heap Buffer

0 Empty

1 Online 29 28 7 2048 58 18

Share this post

Link to post
Share on other sites

h1vs2   

h1vs2
Posted · Report post

Ну вот собственно :

 

[gang@mx480# show | compare 
[edit chassis fpc 1]
+    sampling-instance IPFIX_TEST;
[edit]
+  services {
+      flow-monitoring {
+          version-ipfix {
+              template IPV4 {
+                  flow-active-timeout 60;
+                  flow-inactive-timeout 60;
+                  template-refresh-rate {
+                      packets 1000;
+                      seconds 10;
+                  }
+                  option-refresh-rate {
+                      packets 1000;
+                      seconds 10;
+                  }
+                  ipv4-template;
+              }
+          }
+      }
+  }
[edit forwarding-options sampling]
+   instance {
+       IPFIX_TEST {
+           input {
+               rate 2000;
+           }
+           family inet {
+               output {
+                   flow-server ннн.ннн.ннн.159 {
+                       port 9001;
+                       version-ipfix {
+                           template {
+                               IPV4;
+                           }
+                       }
+                   }
+                   inline-jflow {
+                       source-address ччч.ччч.ччч.177;
+                   }
+               }
+           }
+       }
+   }
gang@mx480# run show chassis fpc  
                    Temp  CPU Utilization (%)   Memory    Utilization (%)
Slot State            (C)  Total  Interrupt      DRAM (MB) Heap     Buffer
 0  Empty           
 1  Online            31     30          7       2048       58         18


{master}[edit]
gang@mx48# commit comment "add ipfix"
gang@mx480# run show chassis fpc    
                    Temp  CPU Utilization (%)   Memory    Utilization (%)
Slot State            (C)  Total  Interrupt      DRAM (MB) Heap     Buffer
 0  Empty           
 1  Online            31    100          7       2048       59         18

gang@mx480# run show version 
Hostname: mx480
Model: mx480
Junos: 13.3R6.5
JUNOS Base OS boot [13.3R6.5]

 

show interfaces ae0 | match sampling | co
Count: 12 lines

 

show interfaces ae0 unit 1385 family inet sampling 
input;
output;

Share this post

Link to post
Share on other sites

h1vs2   

h1vs2
Posted · Report post

Ночью утекла вся память, перестало авторизиовать юзеров и все вот это. полечилось все только ребутом карты.

 

run show system resource-monitor summary    
Resource Usage Summary

Throttle                  : Enabled      
Heap Mem Threshold        : 70  %
IFL Counter Threshold     : 70  %
Filter Counter Threshold  : 70  %
Expansion Threshold       : 95  %
MFS threshold             : 70  %        Used : 6   
Client Session  : Not allowed    Denied count : 16970         
Service Session : Not allowed    Denied count : 0            


               Heap                 Filter mem             IFL mem           Expansion
Slot #         used    %    PFE #         used    %           used    %       mem used    %

     1   1074967184   56        0      2589136   20        1722352   41       82954752   96 *
                                1       585040    4           3112    0       79036416   91

 

За 2 месяца 4(2 отвала сервиса, 2 обновления софта) даунтайма из-за IPFIX. Juniper, спасибо, хватит :)

Share this post

Link to post
Share on other sites

Megas   

Megas
Posted · Report post

Народ, извините что влажу, но вопрос:

show bgp summary на экране отображается с кучей переносов строк, а хотелось бы как-то красиво, где можно подтянуть?

подключение по ssh.

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Followers 0
Go to topic listing Активное оборудование Ethernet, IP, MPLS, SDN/NFV...