snvoronkov Posted December 8, 2014 · Report post Наблюдаю чудеса. Уж и не знаю в какую сторону копать. Имею Extreme Summit X480 и Juniper MX80 связанные по многолинку (LACP). Хочется перенести траффик на 10-ку. Что делаю: На X480: # sh sha Load Sharing Monitor Config Current Agg Ld Share Ld Share Agg Link Link Up Master Master Control Algorithm Group Mbr State Transitions ============================================================================== 1 1 LACP L3 1 Y A 1 L3 2 Y A 1 L3 3 Y A 1 L3 4 Y A 1 ... # sh ports 30 info det Port: 30(LINK2): Virtual-router: VR-Default Type: XFP_LR Unsupported Optic Module Random Early drop: Unsupported Admin state: Enabled with 10G full-duplex Link State: Active, 10Gbps, full-duplex Link Counter: Up 5 time(s) VLAN cfg: STP cfg: Protocol: Trunking: Load sharing is not enabled. EDP: Enabled ELSM: Disabled Ethernet OAM: Disabled Learning: Enabled Unicast Flooding: Enabled Multicast Flooding: Enabled Broadcast Flooding: Enabled Jumbo: Enabled, MTU= 9216 Flow Control: Rx-Pause: Disabled Tx-Pause: Disabled Priority Flow Control: Disabled Reflective Relay: Disabled Link up/down SNMP trap filter setting: Enabled Egress Port Rate: No-limit Broadcast Rate: No-limit Multicast Rate: No-limit Unknown Dest Mac Rate: No-limit QoS Profile: None configured Ingress Rate Shaping : Unsupported Ingress IPTOS Examination: Disabled Ingress 802.1p Examination: Enabled Ingress 802.1p Inner Exam: Disabled Egress IPTOS Replacement: Disabled Egress 802.1p Replacement: Disabled NetLogin: Disabled NetLogin port mode: Port based VLANs Smart redundancy: Enabled Software redundant port: Disabled IPFIX: Disabled Metering: Ingress, All Packets, All Traffic IPv4 Flow Key Mask: SIP: 255.255.255.255 DIP: 255.255.255.255 IPv6 Flow Key Mask: SIP: ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff DIP: ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff Far-End-Fault-Indication: Disabled shared-packet-buffer: default # configure vlan ACC add ports 30 tagg # configure vlan ACC delete ports 1 На MX80: # show interfaces ae0.3 description "ACC"; vlan-id 3; family inet { filter { input acc; } address XXX.XX.XXX.X/29; } [edit] # show interfaces xe-0/0/0 description LINK2; vlan-tagging; gigether-options { no-flow-control; } [edit] # run show interfaces xe-0/0/0 Physical interface: xe-0/0/0, Enabled, Physical link is Up Interface index: 135, SNMP ifIndex: 508 Description: DPI Link-level type: Ethernet, MTU: 1518, LAN-PHY mode, Speed: 10Gbps, Loopback: None, Source filtering: Disabled, Flow control: Disabled ... # delete interfaces ae0 unit 3 # set interfaces xe-0/0/0 unit 3 description "ACC" # set interfaces xe-0/0/0 unit 3 vlan-id 3 # set interfaces xe-0/0/0 unit 3 family inet filter input acc # set interfaces xe-0/0/0 unit 3 family inet address XXX.XX.XXX.X/29 # delete protocols ospf area 0.0.0.0 interface ae0.3 # set protocols ospf area 0.0.0.0 interface xe-0/0/0.3 authentication md5 1 key ... По результату имею потери пакетов в 12%. Как при несогласовании дуплекса. Куда копать? Share this post Link to post Share on other sites More sharing options...
mightyscv Posted December 8, 2014 · Report post Плохой патч-корд. Плохой модуль. Проверяется просмотром детальной статистики на предмет ошибок - show interface extensive для MX, для Summit точной команды не знаю, но она там наверняка есть. Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 8, 2014 · Report post В том-то и дело, что и патчкорд менял, и модули менял. > show interfaces xe-0/0/0 extensive ... Input errors: Errors: 0, Drops: 0, Framing errors: 0, Runts: 0, Policed discards: 0, L3 incompletes: 0, L2 channel errors: 0, L2 mismatch timeouts: 0, FIFO errors: 0, Resource errors: 0 Output errors: Carrier transitions: 4, Errors: 0, Drops: 0, Collisions: 0, Aged packets: 0, FIFO errors: 0, HS link CRC errors: 0, MTU errors: 0, Resource errors: 0 ... # sh port 30 rxerrors no Port Rx Error Monitor Port Link Rx Rx Rx Rx Rx Rx Rx State Crc Over Under Frag Jabber Align Lost ================================================================================ DPI A 0 0 0 0 0 0 0 ================================================================================ Link State: A-Active, R-Ready, NP-Port Not Present L-Loopback # sh port 30 txerrors no Port Tx Error Monitor Port Link Tx Tx Tx Tx Tx Tx State Coll Late coll Deferred Errors Lost Parity ================================================================================ DPI A 0 0 0 0 0 0 ================================================================================ > indicates Port Display Name truncated past 8 characters Link State: A-Active, R-Ready, NP-Port Not Present L-Loopback Может я чего недогоняю и Джунику надо какими-то особыми командами 10-ку поднимать? Share this post Link to post Share on other sites More sharing options...
dmvy Posted December 8, 2014 · Report post Можно посмотреть то, что в буфер не влезло. Перегрузка в общем: p1-vost92.4 # sh ports 17-20 congestion no-refresh Port Congestion Monitor Port Link Packet State Drop ================================================================================ r1-ae1-x> A 0 r1-ae1-x> A 51 r1-ae1-x> A 0 r1-ae1-x> A 4854274 ================================================================================ Link State: A-Active, R-Ready, NP-Port Not Present L-Loopback Share this post Link to post Share on other sites More sharing options...
orlik Posted December 8, 2014 · Report post show pfe statistics traffic show pfe statistics error Проверьте вот это на наличие ошибок, можете сюда выложить. Если там счетчики не растут то вероятнее всего проблема не на MX . Кстати а как проверяете ? Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 8, 2014 · Report post Там тоже тишина. Смотрел уже. Модули ставил в том числе и такие, на которых у нас сеть агрегации собирали на экстримах. Так-что на 480-й и его настройки я меньше всего подозрения имею. А вот джунику 10-ку впервой заводу. По диагностике - вообще чудеса сплошные. Ошибок нет. Дропов нет, а пакеты куда-то деваются. Может для джуника тоже магию а-ля "clear adj" у кошек применить надо? Тли он с SNR XFP как-то по особому работает? Share this post Link to post Share on other sites More sharing options...
orlik Posted December 8, 2014 · Report post а как проверяете и где фиксируете ошибки ? Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 8, 2014 · Report post а как проверяете и где фиксируете ошибки ? На интерфейсах. Есть в начале темы. Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 8, 2014 · Report post 2> show pfe statistics traffic Packet Forwarding Engine traffic statistics: Input packets: 35428818877589 459543 pps Output packets: 35394365442208 462943 pps Packet Forwarding Engine local traffic statistics: Local packets input : 5070020493 Local packets output : 7310294598 Software input control plane drops : 0 Software input high drops : 0 Software input medium drops : 0 Software input low drops : 0 Software output drops : 0 Hardware input drops : 245608318 Packet Forwarding Engine local protocol statistics: HDLC keepalives : 0 ATM OAM : 0 Frame Relay LMI : 0 PPP LCP/NCP : 0 OSPF hello : 86319837 OSPF3 hello : 828632 RSVP hello : 0 LDP hello : 0 BFD : 1 IS-IS IIH : 0 LACP : 882252517 ARP : 22781753 ETHER OAM : 0 Unknown : 10 Packet Forwarding Engine hardware discard statistics: Timeout : 0 Truncated key : 0 Bits to test : 0 Data error : 0 Stack underflow : 0 Stack overflow : 0 Normal discard : 25642368567 Extended discard : 0 Invalid interface : 0 Info cell drops : 0 Fabric drops : 0 Packet Forwarding Engine Input IPv4 Header Checksum Error and Output MTU Error statistics: Input Checksum : 0 Output MTU : 0 > show pfe statistics error Slot 0 HSL2 Errors: ------------ ***** No errors on this PFE ***** От "Hardware input drops" стоит напрягаться? Share this post Link to post Share on other sites More sharing options...
dmvy Posted December 8, 2014 · Report post Да. Возможно у вас многовато дропов. dmvy@border> show pfe statistics traffic Packet Forwarding Engine traffic statistics: Input packets: 19282150465538 5628014 pps Output packets: 19254233688239 5679768 pps Packet Forwarding Engine local traffic statistics: Local packets input : 360243000 Local packets output : 201250289 Software input control plane drops : 0 Software input high drops : 0 Software input medium drops : 0 Software input low drops : 0 Software output drops : 0 Hardware input drops : 14397 Packet Forwarding Engine local protocol statistics: HDLC keepalives : 0 ATM OAM : 0 Frame Relay LMI : 0 PPP LCP/NCP : 0 OSPF hello : 951628 OSPF3 hello : 950643 RSVP hello : 0 LDP hello : 1906290 BFD : 0 IS-IS IIH : 0 LACP : 38029476 ARP : 81521434 ETHER OAM : 0 Unknown : 58 Packet Forwarding Engine hardware discard statistics: Timeout : 0 Truncated key : 0 Bits to test : 0 Data error : 0 Stack underflow : 0 Stack overflow : 0 Normal discard : 27630917519 Extended discard : 0 Invalid interface : 0 Info cell drops : 0 Fabric drops : 0 Packet Forwarding Engine Input IPv4 Header Checksum Error and Output MTU Error statistics: Input Checksum : 0 Output MTU : 300900 Normal discard : 25642368567 это скорее всего ACL У нас MX80 соединен с 2 X670 десятками в LACP. Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 8, 2014 · Report post Вот спасибо тебе, добрый человек! Почтил малость. Уже понятнее стало куда рыть. А рыть, похоже, надо в сторону тегов... Share this post Link to post Share on other sites More sharing options...
dmvy Posted December 8, 2014 · Report post А что в фаерволе ACC? На встроенных десятках нет HQoS... Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 9, 2014 · Report post Проверил только-что. Hardware input drops, видимо, старый, со времен атаки на NTP (где-то март-апрель). При потере пакетов счетчик не увеличивается. Итого: Ошибок нет. Дропы есть. Вернулся на исходную точку. Причем сегодня проводил совсем чистый эксперимент: На Экстриме: вынес sharing, вынес sflow, вынес vlan с аггрегата, добавил на 10-ку, добавил sharing, добавил sflow. На Джунике: вынес unit с аггрегата, закоммитил, добавил юнит на 10-ку и в протоколы, закоммитил. Чего, блин, кому не хватает? А что в фаерволе ACC? На встроенных десятках нет HQoS... Фаер переносится 1-в-1. И нет, 10-ки вообще первый раз затронул - потребности небыло. Share this post Link to post Share on other sites More sharing options...
dmvy Posted December 9, 2014 · Report post я про шейперы в ACL. в верхних MIC можно использовать 256000 очередей, а нижние порты по логике предназначены для подсоединения к SwitchFabric и в них всего 8 очередей. Вот и спрашиваю: есть ли шейперы в ACL? Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 9, 2014 · Report post Вот и спрашиваю: есть ли шейперы в ACL? Нет. Нету. Кстати, про очереди. Есть возможность как-то посмотреть? (Я уже туплю.) Вообще-то, это несколько нечестный MX80. Это 5G-бандл первой инкарнации (синий), но за 5-ку аплинка мы не выходим полюбасу. Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted December 9, 2014 · Report post Ларчик проще открывался: Переставил XFP из VIM2-10G4X в намордный и все заработало сразу. Теперь вот думаю, как оттестировать работу VIM2 модуля и системной шины... Share this post Link to post Share on other sites More sharing options...
