fox_m Опубликовано 20 июля, 2017 · Жалоба Всем привет. У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы. На корзине хранятся виртуалки (ESXi). После переезда оборудования в новый автозал виртуалки стали периодически тупить. Выяснилось, что рандомно увеличивается время обращения к корзине (иногда достигает 10 сек). Стал разбираться и выяснил, что на ASR9006 на оптическом порту проблема с уровнями на прием (от корзины). На самом порту ошибок нет, но если посмотреть детальную инфу о SFP+ модуле, то там есть ошибки CRC: Уровни: RP/0/RSP0/CPU0:RU-ASR01#sh controllers tenGigE 0/0/1/7 phy Thu Jul 20 14:59:01.184 MSK SFP EEPROM port: 7 Xcvr Type: SFP Xcvr Code: SFP-10G-SR Encoding: 64B66B Bit Rate: 10300 Mbps Link Reach 50u fiber: 80 meter Link Reach 62.5u fiber: 20 meter Vendor Name: CISCO-JDSU Vendor OUI: 00.01.9c Vendor Part Number: PLRXPL-SC-S43-CS (rev.: 1 ) Laser wavelength: 850 nm (fraction: 0.00 nm) Optional SFP Signal: Rate Sel, LOS Vendor Serial Number: JUR18381AWP Date Code (yy/mm/dd): 14/09/23 lot code: Diagnostic Monitoring: DOM, Int. Cal., Enhanced Options: SW RX LOS Mon., SW TX Fault Mon, SW TX Disable, Alarm/Warning Flags Temperature: 29.434 Voltage: 3.303 Volt Tx Bias: 5.632 mAmps Tx Power: 0.567 mW (-2.46 dBm) Rx Power: 0.066 mW (-11.80 dBm) Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит. Статистика: Statistics for interface TenGigE0/0/1/7 (cached values): Ingress: Input total bytes = 1516397301356 Input good bytes = 1516397301356 Input total packets = 1173007042 Input 802.1Q frames = 0 Input pause frames = 0 Input pkts 64 bytes = 5948 Input pkts 65-127 bytes = 155425924 Input pkts 128-255 bytes = 7640610 Input pkts 256-511 bytes = 10612344 Input pkts 512-1023 bytes = 13390266 Input pkts 1024-1518 bytes = 985913879 Input pkts 1519-Max bytes = 0 Input good pkts = 1171543791 Input unicast pkts = 1173006967 Input multicast pkts = 0 Input broadcast pkts = 75 Input drop overrun = 0 Input drop abort = 0 Input drop invalid VLAN = 0 Input drop invalid DMAC = 0 Input drop invalid encap = 0 Input drop other = 0 Input error giant = 0 Input error runt = 0 Input error jabbers = 18046 Input error fragments = 25 Input error CRC = 1441193 Input error collisions = 0 Input error symbol = 52267047 Input error other = 3987 Input MIB giant = 0 Input MIB jabber = 18046 Input MIB CRC = 1441193 Egress: Output total bytes = 821240557688 Output good bytes = 821240557688 Output total packets = 670106080 Output 802.1Q frames = 0 Output pause frames = 0 Output pkts 64 bytes = 659112 Output pkts 65-127 bytes = 120812737 Output pkts 128-255 bytes = 4485753 Output pkts 256-511 bytes = 2901832 Output pkts 512-1023 bytes = 5100810 Output pkts 1024-1518 bytes = 536145836 Output pkts 1519-Max bytes = 0 Output good pkts = 670106080 Output unicast pkts = 667744146 Output multicast pkts = 1703163 Output broadcast pkts = 658771 Output drop underrun = 0 Output drop abort = 0 Output drop other = 0 Output error other = 0 Видно, что на Input много ошибок и они увеличиваются На интерфейсе ошибки почему-то не показывает: RP/0/RSP0/CPU0:RU-ASR01#sh int tenGigE 0/0/1/7 Thu Jul 20 15:02:26.566 MSK TenGigE0/0/1/7 is up, line protocol is up Interface state transitions: 183 Hardware is TenGigE, address is 10f3.1154.6ea7 (bia 10f3.1154.6ea7) Layer 1 Transport Mode is LAN Internet address is Unknown MTU 1514 bytes, BW 10000000 Kbit (Max: 10000000 Kbit) reliability 230/255, txload 0/255, rxload 0/255 Encapsulation ARPA, Full-duplex, 10000Mb/s, link type is force-up output flow control is off, input flow control is off loopback not set, Last input 00:00:00, output 00:00:00 Last clearing of "show interface" counters never 5 minute input rate 4727000 bits/sec, 451 packets/sec 5 minute output rate 427000 bits/sec, 102 packets/sec 1171593766 packets input, 1516461920718 bytes, 0 total input drops 0 drops for unrecognized upper-level protocol Received 75 broadcast packets, 0 multicast packets 25 runts, 18047 giants, 0 throttles, 0 parity 53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort 670118693 packets output, 821247933800 bytes, 0 total output drops Output 658773 broadcast packets, 1703246 multicast packets 0 output errors, 0 underruns, 0 applique, 0 resets 0 output buffer failures, 0 output buffers swapped out 183 carrier transitions При переезде часть оптических патч-кордов (10 метровые) остались старые, часть заменили новые (5 метров). Но ошибки есть по всем портам. Куда копать? Патч-корды менять или SFP? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RN3DCX Опубликовано 20 июля, 2017 · Жалоба У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы Оффтоп: а не подскажите, по подробней, для каких целей? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 20 июля, 2017 · Жалоба У нас к ASR9006 подключена корзина HP MSA2040 через SFP+ интерфейсы Оффтоп: а не подскажите, по подробней, для каких целей? Как я говорил, на корзине хранятся виртуалки ESXi (vmWare). У нас просто нет пока коммутатора с 10Gb интерфейсами и пришлось так выкручиваться. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 июля, 2017 · Жалоба -12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 20 июля, 2017 · Жалоба -12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата? Плата A9K-MOD160-TR. Почистил, но счетчики растут. Смущает то, что Input total bytes совпадает с Input good bytes: Statistics for interface TenGigE0/0/1/6 (cached values): Ingress: Input total bytes = 28024168 Input good bytes = 28024168 Input total packets = 24582 Input 802.1Q frames = 0 Input pause frames = 0 Input pkts 64 bytes = 1 Input pkts 65-127 bytes = 1562 Input pkts 128-255 bytes = 658 Input pkts 256-511 bytes = 1879 Input pkts 512-1023 bytes = 2181 Input pkts 1024-1518 bytes = 18292 Input pkts 1519-Max bytes = 0 Input good pkts = 23830 Input unicast pkts = 24582 Input multicast pkts = 0 Input broadcast pkts = 0 Input drop overrun = 0 Input drop abort = 0 Input drop invalid VLAN = 0 Input drop invalid DMAC = 0 Input drop invalid encap = 0 Input drop other = 0 Input error giant = 0 Input error runt = 0 Input error jabbers = 9 Input error fragments = 0 Input error CRC = 738 Input error collisions = 0 Input error symbol = 1020 Input error other = 5 Input MIB giant = 0 Input MIB jabber = 9 Input MIB CRC = 738 Egress: Output total bytes = 7671865 Output good bytes = 7671865 Output total packets = 15723 Output 802.1Q frames = 0 Output pause frames = 0 Output pkts 64 bytes = 2 Output pkts 65-127 bytes = 10352 Output pkts 128-255 bytes = 340 Output pkts 256-511 bytes = 109 Output pkts 512-1023 bytes = 177 Output pkts 1024-1518 bytes = 4744 Output pkts 1519-Max bytes = 0 Output good pkts = 15723 Output unicast pkts = 15701 Output multicast pkts = 20 Output broadcast pkts = 2 Output drop underrun = 0 Output drop abort = 0 Output drop other = 0 Output error other = 0 -12 для SR это норм. Как можно жить без jumbo) почистите счетчики. Что за плата? Имеет смысл короткие патч-корды ставить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 июля, 2017 · Жалоба Нет, не имеет. А вот jumbo лучше включить. На интерфейсе кстати у вас в выводе ошибки есть. Input errors и CRC. Ошибки на обоих интерфейсах? Поменять лучше трансивер. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
v_r Опубликовано 20 июля, 2017 · Жалоба Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит. -12 для SR это слабый сигнал, посмотрел на разных трансиверах на работающем оборудовании, у некоторых low warning -5, у некоторых -10. На интерфейсе ошибки почему-то не показывает: Очень даже показывает: 53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort Патчи и трансиверы стоит продуть и почистить. Патчи многомодовые? Патчи уложены не слишком тесно? Не перегибаются? Были случаи что перекладывание патчкорда убирало 3-5 dB затухания. Что показывают трансиверы на корзине? Какой уровень rx/tx? Есть ли ошибки CRC? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 21 июля, 2017 · Жалоба Как видно на RX уровень низкий (-11.80). По идде, циска должна ныла аларм на это сгенерировать, но она молчит. -12 для SR это слабый сигнал, посмотрел на разных трансиверах на работающем оборудовании, у некоторых low warning -5, у некоторых -10. На интерфейсе ошибки почему-то не показывает: Очень даже показывает: 53733427 input errors, 1441260 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort Патчи и трансиверы стоит продуть и почистить. Патчи многомодовые? Патчи уложены не слишком тесно? Не перегибаются? Были случаи что перекладывание патчкорда убирало 3-5 dB затухания. Что показывают трансиверы на корзине? Какой уровень rx/tx? Есть ли ошибки CRC? Да, что то я тупанул. На интерфейсе тоже есть ошибки. Патчи - многомодовые. Уложены не очень тесно, но есть кольца. Раньше был длинный патч-корд и он был развернут почти на всю длину. Меня тоже удивило, что циска молчит, т.к. данный уровень подпадает под порог Warning Low. На корзине посмотреть уровни нет возможности. Получается дело в физике, раз CRC ошибки на интерфейсе? Буду перекладывать патч-корды и менять SFP Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
v_r Опубликовано 21 июля, 2017 · Жалоба Можете для теста поменять местами rx/tx с обоих сторон чтобы проверить какой уровень сигнала на прием будет на другом волокне патчкорда, и во время теста не укладывайте патчкорд в органайзер. CRC ошибки однозначно из-за физики, вероятно из-за трансиверов в корзине HP. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Merridius Опубликовано 22 июля, 2017 · Жалоба Советую для начала обновиться на 5.3.4 smu 2, как минимум 50% глюков пройдут. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
fox_m Опубликовано 16 августа, 2017 · Жалоба Короче как выяснилось, при переносе оборудования коллега перепутал патч-корды. И подключил одномодовые, вместо многомодовых. Я не понимаю, как линки вообще поднялись. Кстати в другом месте (подключение HP c3000), там где должны были стоять одномодовые тоже перепутали и поставили многомод. Но там все работало без проблем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...