Jump to content
Калькуляторы

x480 и mx80 по 10g Не могу связать железки.

Наблюдаю чудеса. Уж и не знаю в какую сторону копать.

 

Имею Extreme Summit X480 и Juniper MX80 связанные по многолинку (LACP). Хочется перенести траффик на 10-ку.

 

Что делаю:

На X480:

# sh sha
Load Sharing Monitor
Config    Current    Agg       Ld Share    Ld Share  Agg   Link    Link Up
Master    Master     Control   Algorithm   Group     Mbr   State   Transitions
==============================================================================
    1      1        LACP      L3          1          Y      A        1
                              L3          2          Y      A        1
                              L3          3          Y      A        1
                              L3          4          Y      A        1
...
# sh ports 30 info det
Port:	30(LINK2):
Virtual-router:	VR-Default
Type:		XFP_LR Unsupported Optic Module
Random Early drop:	Unsupported
Admin state:	Enabled with  10G full-duplex
Link State:	Active, 10Gbps, full-duplex
Link Counter: Up 	5 time(s)


VLAN cfg: 

STP cfg:

Protocol: 
Trunking:	Load sharing is not enabled.

EDP:		Enabled
ELSM:		Disabled
Ethernet OAM:		Disabled
Learning:	Enabled
Unicast Flooding:	Enabled
Multicast Flooding:	Enabled
Broadcast Flooding:	Enabled
Jumbo:	Enabled, MTU= 9216

Flow Control:	Rx-Pause: Disabled	Tx-Pause: Disabled
Priority Flow Control: Disabled
Reflective Relay:	Disabled
Link up/down SNMP trap filter setting:	Enabled
Egress Port Rate:	No-limit
Broadcast Rate:		No-limit
Multicast Rate:		No-limit
Unknown Dest Mac Rate:	No-limit
QoS Profile:	None configured
Ingress Rate Shaping : 		Unsupported
Ingress IPTOS Examination: 	Disabled
Ingress 802.1p Examination: 	Enabled
Ingress 802.1p Inner Exam: 	Disabled
Egress IPTOS Replacement:	Disabled
Egress 802.1p Replacement:	Disabled
NetLogin: 			Disabled
NetLogin port mode: 		Port based VLANs
Smart redundancy: 		Enabled
Software redundant port: 	Disabled
IPFIX:   Disabled		Metering:  Ingress, All Packets, All Traffic
	IPv4 Flow Key Mask:	SIP: 255.255.255.255 		DIP: 255.255.255.255 
	IPv6 Flow Key Mask:	SIP: ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff 
				DIP: ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff 

Far-End-Fault-Indication: 	Disabled
shared-packet-buffer: 	default


# configure vlan ACC add ports 30 tagg
# configure vlan ACC delete ports 1

 

На MX80:

# show interfaces ae0.3 
description "ACC";
vlan-id 3;
family inet {
   filter {
       input acc;
   }
   address XXX.XX.XXX.X/29;
}
[edit]
# show interfaces xe-0/0/0 
description LINK2;
vlan-tagging;
gigether-options {
   no-flow-control;
}

[edit]
# run show interfaces xe-0/0/0                   
Physical interface: xe-0/0/0, Enabled, Physical link is Up
 Interface index: 135, SNMP ifIndex: 508
 Description: DPI
 Link-level type: Ethernet, MTU: 1518, LAN-PHY mode, Speed: 10Gbps,
 Loopback: None, Source filtering: Disabled, Flow control: Disabled
...
# delete interfaces ae0 unit 3
# set interfaces xe-0/0/0 unit 3 description "ACC"
# set interfaces xe-0/0/0 unit 3 vlan-id 3
# set interfaces xe-0/0/0 unit 3 family inet filter input acc
# set interfaces xe-0/0/0 unit 3 family inet address XXX.XX.XXX.X/29
# delete protocols ospf area 0.0.0.0 interface ae0.3
# set protocols ospf area 0.0.0.0 interface xe-0/0/0.3 authentication md5 1 key ...

 

По результату имею потери пакетов в 12%. Как при несогласовании дуплекса.

 

Куда копать?

Share this post


Link to post
Share on other sites

Плохой патч-корд. Плохой модуль.

Проверяется просмотром детальной статистики на предмет ошибок - show interface extensive для MX, для Summit точной команды не знаю, но она там наверняка есть.

Share this post


Link to post
Share on other sites

В том-то и дело, что и патчкорд менял, и модули менял.

 

> show interfaces xe-0/0/0 extensive
...
 Input errors:
   Errors: 0, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0,
   L3 incompletes: 0, L2 channel errors: 0, L2 mismatch timeouts: 0,
   FIFO errors: 0, Resource errors: 0
 Output errors:
   Carrier transitions: 4, Errors: 0, Drops: 0, Collisions: 0, Aged packets: 0,
   FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0
...

 

# sh port 30 rxerrors no
Port Rx Error Monitor
Port      Link     Rx      Rx      Rx        Rx      Rx         Rx         Rx   
         State    Crc    Over    Under     Frag    Jabber      Align      Lost 
================================================================================
DPI       A        0       0        0        0        0          0          0
================================================================================
         Link State: A-Active, R-Ready, NP-Port Not Present L-Loopback
# sh port 30 txerrors no
Port Tx Error Monitor
Port      Link      Tx          Tx          Tx          Tx       Tx       Tx
         State     Coll        Late coll   Deferred    Errors   Lost     Parity
================================================================================
DPI       A         0            0           0         0         0         0
================================================================================
         > indicates Port Display Name truncated past 8 characters
         Link State: A-Active, R-Ready, NP-Port Not Present L-Loopback

 

Может я чего недогоняю и Джунику надо какими-то особыми командами 10-ку поднимать?

Share this post


Link to post
Share on other sites

Можно посмотреть то, что в буфер не влезло. Перегрузка в общем:

 

p1-vost92.4 # sh ports 17-20 congestion no-refresh 
Port Congestion Monitor
Port      Link      Packet
         State     Drop
================================================================================
r1-ae1-x> A         0
r1-ae1-x> A         51
r1-ae1-x> A         0
r1-ae1-x> A         4854274
================================================================================
         Link State: A-Active, R-Ready, NP-Port Not Present L-Loopback

Share this post


Link to post
Share on other sites

show pfe statistics traffic

show pfe statistics error

Проверьте вот это на наличие ошибок, можете сюда выложить. Если там счетчики не растут то вероятнее всего проблема не на MX .

Кстати а как проверяете ?

Share this post


Link to post
Share on other sites

Там тоже тишина. Смотрел уже.

 

Модули ставил в том числе и такие, на которых у нас сеть агрегации собирали на экстримах. Так-что на 480-й и его настройки я меньше всего подозрения имею. А вот джунику 10-ку впервой заводу.

 

По диагностике - вообще чудеса сплошные. Ошибок нет. Дропов нет, а пакеты куда-то деваются.

 

Может для джуника тоже магию а-ля "clear adj" у кошек применить надо?

 

Тли он с SNR XFP как-то по особому работает?

Share this post


Link to post
Share on other sites

а как проверяете и где фиксируете ошибки ?

На интерфейсах. Есть в начале темы.

Share this post


Link to post
Share on other sites

2> show pfe statistics traffic 
Packet Forwarding Engine traffic statistics:
   Input  packets:       35428818877589               459543 pps
   Output packets:       35394365442208               462943 pps
Packet Forwarding Engine local traffic statistics:                  
   Local packets input                 :           5070020493
   Local packets output                :           7310294598   
   Software input control plane drops  :                    0
   Software input high drops           :                    0
   Software input medium drops         :                    0
   Software input low drops            :                    0
   Software output drops               :                    0
   Hardware input drops                :            245608318
Packet Forwarding Engine local protocol statistics:
   HDLC keepalives            :                    0
   ATM OAM                    :                    0
   Frame Relay LMI            :                    0
   PPP LCP/NCP                :                    0
   OSPF hello                 :             86319837   
   OSPF3 hello                :               828632
   RSVP hello                 :                    0
   LDP hello                  :                    0
   BFD                        :                    1
   IS-IS IIH                  :                    0
   LACP                       :            882252517
   ARP                        :             22781753
   ETHER OAM                  :                    0
   Unknown                    :                   10
Packet Forwarding Engine hardware discard statistics:
   Timeout                    :                    0
   Truncated key              :                    0   
   Bits to test               :                    0        
   Data error                 :                    0
   Stack underflow            :                    0
   Stack overflow             :                    0
   Normal discard             :          25642368567
   Extended discard           :                    0
   Invalid interface          :                    0
   Info cell drops            :                    0
   Fabric drops               :                    0
Packet Forwarding Engine Input IPv4 Header Checksum Error and Output MTU Error statistics:
   Input Checksum             :                    0
   Output MTU                 :                    0

> show pfe statistics error      

Slot 0



HSL2 Errors:
------------
 *****  No errors on this PFE  *****

 

От "Hardware input drops" стоит напрягаться?

Share this post


Link to post
Share on other sites

Да. Возможно у вас многовато дропов.

 

dmvy@border> show pfe statistics traffic 
Packet Forwarding Engine traffic statistics:
   Input  packets:       19282150465538              5628014 pps
   Output packets:       19254233688239              5679768 pps
Packet Forwarding Engine local traffic statistics:                  
   Local packets input                 :            360243000
   Local packets output                :            201250289   
   Software input control plane drops  :                    0
   Software input high drops           :                    0
   Software input medium drops         :                    0
   Software input low drops            :                    0
   Software output drops               :                    0
   Hardware input drops                :                14397
Packet Forwarding Engine local protocol statistics:
   HDLC keepalives            :                    0
   ATM OAM                    :                    0
   Frame Relay LMI            :                    0
   PPP LCP/NCP                :                    0
   OSPF hello                 :               951628   
   OSPF3 hello                :               950643
   RSVP hello                 :                    0
   LDP hello                  :              1906290
   BFD                        :                    0
   IS-IS IIH                  :                    0
   LACP                       :             38029476
   ARP                        :             81521434
   ETHER OAM                  :                    0
   Unknown                    :                   58
Packet Forwarding Engine hardware discard statistics:
   Timeout                    :                    0
   Truncated key              :                    0   
   Bits to test               :                    0        
   Data error                 :                    0
   Stack underflow            :                    0
   Stack overflow             :                    0
   Normal discard             :          27630917519
   Extended discard           :                    0
   Invalid interface          :                    0
   Info cell drops            :                    0
   Fabric drops               :                    0
Packet Forwarding Engine Input IPv4 Header Checksum Error and Output MTU Error statistics:
   Input Checksum             :                    0
   Output MTU                 :               300900

 

Normal discard : 25642368567

это скорее всего ACL

 

 

 

У нас MX80 соединен с 2 X670 десятками в LACP.

Share this post


Link to post
Share on other sites

Вот спасибо тебе, добрый человек! Почтил малость. Уже понятнее стало куда рыть. А рыть, похоже, надо в сторону тегов...

Share this post


Link to post
Share on other sites

А что в фаерволе ACC? На встроенных десятках нет HQoS...

Share this post


Link to post
Share on other sites

Проверил только-что.

 

Hardware input drops, видимо, старый, со времен атаки на NTP (где-то март-апрель).

При потере пакетов счетчик не увеличивается.

 

Итого: Ошибок нет. Дропы есть. Вернулся на исходную точку.

 

Причем сегодня проводил совсем чистый эксперимент:

На Экстриме: вынес sharing, вынес sflow, вынес vlan с аггрегата, добавил на 10-ку, добавил sharing, добавил sflow.

На Джунике: вынес unit с аггрегата, закоммитил, добавил юнит на 10-ку и в протоколы, закоммитил.

 

Чего, блин, кому не хватает?

 

А что в фаерволе ACC? На встроенных десятках нет HQoS...

 

Фаер переносится 1-в-1. И нет, 10-ки вообще первый раз затронул - потребности небыло.

Share this post


Link to post
Share on other sites

я про шейперы в ACL. в верхних MIC можно использовать 256000 очередей, а нижние порты по логике предназначены для подсоединения к SwitchFabric и в них всего 8 очередей. Вот и спрашиваю: есть ли шейперы в ACL?

Share this post


Link to post
Share on other sites

Вот и спрашиваю: есть ли шейперы в ACL?

 

Нет. Нету.

 

Кстати, про очереди. Есть возможность как-то посмотреть? (Я уже туплю.)

 

Вообще-то, это несколько нечестный MX80. Это 5G-бандл первой инкарнации (синий), но за 5-ку аплинка мы не выходим полюбасу.

Share this post


Link to post
Share on other sites

Ларчик проще открывался:

 

Переставил XFP из VIM2-10G4X в намордный и все заработало сразу.

 

Теперь вот думаю, как оттестировать работу VIM2 модуля и системной шины...

Share this post


Link to post
Share on other sites
Guest
This topic is now closed to further replies.
Sign in to follow this