ASR9006 + HP MAS2040

fox_m · July 20, 2017

Всем привет.

У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы. На корзине хранятся виртуалки (ESXi). После переезда оборудования в новый автозал виртуалки стали периодически тупить. Выяснилось, что рандомно увеличивается время обращения к корзине (иногда достигает 10 сек). Стал разбираться и выяснил, что на ASR9006 на оптическом порту проблема с уровнями на прием (от корзины). На самом порту ошибок нет, но если посмотреть детальную инфу о SFP+ модуле, то там есть ошибки CRC:

Уровни:

RP/0/RSP0/CPU0:RU-ASR01#sh controllers tenGigE 0/0/1/7 phy  
Thu Jul 20 14:59:01.184 MSK

SFP EEPROM  port: 7
       Xcvr Type: SFP
       Xcvr Code: SFP-10G-SR
       Encoding: 64B66B
       Bit Rate: 10300 Mbps
       Link Reach 50u fiber: 80 meter
       Link Reach 62.5u fiber: 20 meter
       Vendor Name: CISCO-JDSU      
       Vendor OUI: 00.01.9c
       Vendor Part Number: PLRXPL-SC-S43-CS (rev.: 1   )
       Laser wavelength: 850 nm (fraction: 0.00 nm)
       Optional SFP Signal: Rate Sel, LOS 
       Vendor Serial Number: JUR18381AWP     
       Date Code (yy/mm/dd): 14/09/23  lot code:   
       Diagnostic Monitoring: DOM, Int. Cal., 
       Enhanced Options: SW RX LOS Mon., SW TX Fault Mon, SW TX Disable, Alarm/Warning Flags


       Temperature: 29.434
       Voltage: 3.303 Volt
       Tx Bias: 5.632 mAmps
       Tx Power:  0.567 mW (-2.46 dBm)
       Rx Power:  0.066 mW (-11.80 dBm)

Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит.

Статистика:

Statistics for interface TenGigE0/0/1/7 (cached values):

Ingress: 
   Input total bytes           = 1516397301356
   Input good bytes            = 1516397301356

   Input total packets         = 1173007042
   Input 802.1Q frames         = 0
   Input pause frames          = 0
   Input pkts 64 bytes         = 5948
   Input pkts 65-127 bytes     = 155425924
   Input pkts 128-255 bytes    = 7640610
   Input pkts 256-511 bytes    = 10612344
   Input pkts 512-1023 bytes   = 13390266
   Input pkts 1024-1518 bytes  = 985913879
   Input pkts 1519-Max bytes   = 0

   Input good pkts             = 1171543791
   Input unicast pkts          = 1173006967
   Input multicast pkts        = 0
   Input broadcast pkts        = 75

   Input drop overrun          = 0
   Input drop abort            = 0
   Input drop invalid VLAN     = 0
   Input drop invalid DMAC     = 0
   Input drop invalid encap    = 0
   Input drop other            = 0

   Input error giant           = 0
   Input error runt            = 0
   Input error jabbers         = 18046
   Input error fragments       = 25
   Input error CRC             = 1441193
   Input error collisions      = 0
   Input error symbol          = 52267047
   Input error other           = 3987

   Input MIB giant             = 0
   Input MIB jabber            = 18046
   Input MIB CRC               = 1441193

Egress:
   Output total bytes          = 821240557688
   Output good bytes           = 821240557688

   Output total packets        = 670106080
   Output 802.1Q frames        = 0
   Output pause frames         = 0
   Output pkts 64 bytes        = 659112
   Output pkts 65-127 bytes    = 120812737
   Output pkts 128-255 bytes   = 4485753
   Output pkts 256-511 bytes   = 2901832
   Output pkts 512-1023 bytes  = 5100810
   Output pkts 1024-1518 bytes = 536145836
   Output pkts 1519-Max bytes  = 0

   Output good pkts            = 670106080
   Output unicast pkts         = 667744146
   Output multicast pkts       = 1703163
   Output broadcast pkts       = 658771

   Output drop underrun        = 0
   Output drop abort           = 0
   Output drop other           = 0

   Output error other          = 0

Видно, что на Input много ошибок и они увеличиваются

На интерфейсе ошибки почему-то не показывает:

RP/0/RSP0/CPU0:RU-ASR01#sh int tenGigE 0/0/1/7              
Thu Jul 20 15:02:26.566 MSK
TenGigE0/0/1/7 is up, line protocol is up 
 Interface state transitions: 183
 Hardware is TenGigE, address is 10f3.1154.6ea7 (bia 10f3.1154.6ea7)
 Layer 1 Transport Mode is LAN
 Internet address is Unknown
 MTU 1514 bytes, BW 10000000 Kbit (Max: 10000000 Kbit)
    reliability 230/255, txload 0/255, rxload 0/255
 Encapsulation ARPA,
 Full-duplex, 10000Mb/s, link type is force-up
 output flow control is off, input flow control is off
 loopback not set,
 Last input 00:00:00, output 00:00:00
 Last clearing of "show interface" counters never
 5 minute input rate 4727000 bits/sec, 451 packets/sec
 5 minute output rate 427000 bits/sec, 102 packets/sec
    1171593766 packets input, 1516461920718 bytes, 0 total input drops
    0 drops for unrecognized upper-level protocol
    Received 75 broadcast packets, 0 multicast packets
             25 runts, 18047 giants, 0 throttles, 0 parity
    53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort
    670118693 packets output, 821247933800 bytes, 0 total output drops
    Output 658773 broadcast packets, 1703246 multicast packets
    0 output errors, 0 underruns, 0 applique, 0 resets
    0 output buffer failures, 0 output buffers swapped out
    183 carrier transitions

При переезде часть оптических патч-кордов (10 метровые) остались старые, часть заменили новые (5 метров). Но ошибки есть по всем портам. Куда копать? Патч-корды менять или SFP?

RN3DCX · July 20, 2017

У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы

Оффтоп: а не подскажите, по подробней, для каких целей?

fox_m · July 20, 2017

У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы

Оффтоп: а не подскажите, по подробней, для каких целей?

Как я говорил, на корзине хранятся виртуалки ESXi (vmWare). У нас просто нет пока коммутатора с 10Gb интерфейсами и пришлось так выкручиваться.

zhenya` · July 20, 2017

-12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата?

fox_m · July 20, 2017

-12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата?

Плата A9K-MOD160-TR. Почистил, но счетчики растут. Смущает то, что Input total bytes совпадает с Input good bytes:

Statistics for interface TenGigE0/0/1/6 (cached values):

Ingress: 
   Input total bytes           = 28024168
   Input good bytes            = 28024168

   Input total packets         = 24582
   Input 802.1Q frames         = 0
   Input pause frames          = 0
   Input pkts 64 bytes         = 1
   Input pkts 65-127 bytes     = 1562
   Input pkts 128-255 bytes    = 658
   Input pkts 256-511 bytes    = 1879
   Input pkts 512-1023 bytes   = 2181
   Input pkts 1024-1518 bytes  = 18292
   Input pkts 1519-Max bytes   = 0

   Input good pkts             = 23830
   Input unicast pkts          = 24582
   Input multicast pkts        = 0
   Input broadcast pkts        = 0

   Input drop overrun          = 0
   Input drop abort            = 0
   Input drop invalid VLAN     = 0
   Input drop invalid DMAC     = 0
   Input drop invalid encap    = 0
   Input drop other            = 0

   Input error giant           = 0
   Input error runt            = 0
   Input error jabbers         = 9
   Input error fragments       = 0
   Input error CRC             = 738
   Input error collisions      = 0
   Input error symbol          = 1020
   Input error other           = 5

   Input MIB giant             = 0
   Input MIB jabber            = 9
   Input MIB CRC               = 738

Egress:
   Output total bytes          = 7671865
   Output good bytes           = 7671865

   Output total packets        = 15723
   Output 802.1Q frames        = 0
   Output pause frames         = 0
   Output pkts 64 bytes        = 2
   Output pkts 65-127 bytes    = 10352
   Output pkts 128-255 bytes   = 340
   Output pkts 256-511 bytes   = 109
   Output pkts 512-1023 bytes  = 177
   Output pkts 1024-1518 bytes = 4744
   Output pkts 1519-Max bytes  = 0

   Output good pkts            = 15723
   Output unicast pkts         = 15701
   Output multicast pkts       = 20
   Output broadcast pkts       = 2

   Output drop underrun        = 0
   Output drop abort           = 0
   Output drop other           = 0

   Output error other          = 0

-12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата?

Имеет смысл короткие патч-корды ставить?

zhenya` · July 20, 2017

Нет, не имеет. А вот jumbo лучше включить. На интерфейсе кстати у вас в выводе ошибки есть. Input errors и CRC.

Ошибки на обоих интерфейсах? Поменять лучше трансивер.

v_r · July 20, 2017

Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит.

-12 для SR это слабый сигнал, посмотрел на разных трансиверах на работающем оборудовании, у некоторых low warning -5, у некоторых -10.

На интерфейсе ошибки почему-то не показывает:

Очень даже показывает:

53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort

Патчи и трансиверы стоит продуть и почистить. Патчи многомодовые?

Патчи уложены не слишком тесно? Не перегибаются? Были случаи что перекладывание патчкорда убирало 3-5 dB затухания.

Что показывают трансиверы на корзине? Какой уровень rx/tx? Есть ли ошибки CRC?

fox_m · July 21, 2017

Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит.

-12 для SR это слабый сигнал, посмотрел на разных трансиверах на работающем оборудовании, у некоторых low warning -5, у некоторых -10.

На интерфейсе ошибки почему-то не показывает:

Очень даже показывает:

53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort

Патчи и трансиверы стоит продуть и почистить. Патчи многомодовые?

Патчи уложены не слишком тесно? Не перегибаются? Были случаи что перекладывание патчкорда убирало 3-5 dB затухания.

Что показывают трансиверы на корзине? Какой уровень rx/tx? Есть ли ошибки CRC?

Да, что то я тупанул. На интерфейсе тоже есть ошибки. Патчи - многомодовые. Уложены не очень тесно, но есть кольца. Раньше был длинный патч-корд и он был развернут почти на всю длину. Меня тоже удивило, что циска молчит, т.к. данный уровень подпадает под порог Warning Low. На корзине посмотреть уровни нет возможности. Получается дело в физике, раз CRC ошибки на интерфейсе? Буду перекладывать патч-корды и менять SFP

v_r · July 21, 2017

Можете для теста поменять местами rx/tx с обоих сторон чтобы проверить какой уровень сигнала на прием будет на другом волокне патчкорда, и во время теста не укладывайте патчкорд в органайзер.

CRC ошибки однозначно из-за физики, вероятно из-за трансиверов в корзине HP.

Merridius · July 22, 2017

Советую для начала обновиться на 5.3.4 smu 2, как минимум 50% глюков пройдут.

fox_m · August 16, 2017

Короче как выяснилось, при переносе оборудования коллега перепутал патч-корды. И подключил одномодовые, вместо многомодовых. Я не понимаю, как линки вообще поднялись. Кстати в другом месте (подключение HP c3000), там где должны были стоять одномодовые тоже перепутали и поставили многомод. Но там все работало без проблем.

Sign In

ASR9006 + HP MAS2040

Recommended Posts

fox_m

RN3DCX

fox_m

zhenya`

fox_m

zhenya`

v_r

fox_m

v_r

Merridius

fox_m

Join the conversation