Jump to content
Калькуляторы

Cisco 7600 - загрузка каналов фабрики полки на 20G линках в сторону фабрики от линейных карт

Reply to this topic

sid1333   

sid1333
Posted · Report post

Всем доброго времени суток.

 

Прошу помощи у бывалых цисководов. В поисках узких мест на 7600 цисках наблюдаем такую картину. Загрузка каналов линейных карт и RSP720-3CXL в/от фабрики не подымается выше 69-70%.

Шасси разные (7606 и 7604) и линейные карты разные (WS-X6708-10GE и WS-X6704-10GE). На некоторых линейных картах стоят dCEF платы, на некоторых - нет. Трафика много - десятки гигабит, но железки себя еще не исчерпали.

 

Везде ситуация одинаковая. Видна на приложенных графиках.

 

Сталкивался ли кто с подобным?

 

Всем спасибо заранее.

post-56415-085197700 1422727980_thumb.png

post-56415-002064100 1422728135_thumb.png

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted · Report post

Щас почти ЧНН, так что...

 

Первая железка

#sh fabric switching-mode 
Global switching mode is Compact
dCEF mode is not enforced for system to operate
Fabric module is not  required for system to operate
Modules are allowed to operate in bus mode
Truncated mode is allowed, due to presence of DFC, CEF720 module

Module Slot     Switching Mode
   1                     dCEF
   2                 Crossbar
   3                 Crossbar
   4                     dCEF
   5                 Crossbar
   6                     dCEF

#sh fabric utilization all
slot    channel      speed    Ingress %     Egress %
   1          0        20G           51           37
   1          1        20G           51           36
   2          0        20G            1            0
   3          0        20G           21            2
   3          1        20G           20            0
   4          0        20G           33           43
   4          1        20G           29           53
   5          0        20G            0            0
   5          1        20G            3            9
   6          0        20G            0           68

#sh fabric channel-counters all

slot channel   rxErrors   txErrors    txDrops  lbusDrops
   1       0          0          0          0          0
   1       1          0          0          0          0
   2       0          0          0          0          0
   3       0          0          0          0          0
   3       1          0          0          0          0
   4       0          2          0          0          0
   4       1          0          0          0          0
   5       0          2          0          0          0
   5       1          0          0          0          0
   6       0          4          0          0          0

#sh inv
NAME: "CISCO7606", DESCR: "Cisco Systems Cisco 7600 6-slot Chassis System"
PID: CISCO7606         , VID:    , SN: FOX1051140U

NAME: "CLK-7600 1", DESCR: "OSR-7600 Clock FRU 1"
PID: CLK-7600          , VID:    , SN: NWG105001ZL

NAME: "CLK-7600 2", DESCR: "OSR-7600 Clock FRU 2"
PID: CLK-7600          , VID:    , SN: NWG105001ZL

NAME: "module 1", DESCR: "WS-X6708-10GE CEF720 8 port 10GE with DFC Rev. 2.1"
PID: WS-X6708-10GE     , VID: V07, SN: SAL1413EB3V

NAME: "switching engine sub-module of 1", DESCR: "WS-F6700-DFC3CXL Distributed Forwarding Card 3 Rev. 1.6"
PID: WS-F6700-DFC3CXL  , VID: V03, SN: SAL1413E6QL

NAME: "Transceiver Te1/3", DESCR: "Transceiver 10Gbase-LR Te1/3"
PID: X2 to SFP+        , VID: V02 , SN: X2D14680029

NAME: "Transceiver Te1/4", DESCR: "Transceiver 10Gbase-LR Te1/4"
PID: X2 to SFP+        , VID: V02 , SN: X2D14680032

NAME: "Transceiver Te1/6", DESCR: "Transceiver 10Gbase-LR Te1/6"
PID: X2-10GB-LR        , VID: V03 , SN: XX96L101   

NAME: "Transceiver Te1/7", DESCR: "Transceiver 10Gbase-LR Te1/7"
PID: X2-10GB-LR        , VID: V03 , SN: XX96L102   

NAME: "Transceiver Te1/8", DESCR: "Transceiver 10Gbase-LR Te1/8"
PID: X2-10GB-LR        , VID: V03 , SN: XX96L104   

NAME: "module 2", DESCR: "WS-X6724-SFP CEF720 24 port 1000mb SFP Rev. 2.3"
PID: WS-X6724-SFP      , VID: V01, SN: SAD10290BEP

NAME: "switching engine sub-module of 2", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 2.0"
PID: WS-F6700-CFC      , VID:    , SN: SAL09402A90

NAME: "Transceiver Gi2/6", DESCR: "Transceiver CWDM-1490 Gi2/6"
PID: N/A               , VID: A1  , SN: P5C01L1         

NAME: "Transceiver Gi2/10", DESCR: "Transceiver 1000BaseLH Gi2/10"
PID: N/A               , VID: A0  , SN: SA2S790817      

NAME: "Transceiver Gi2/11", DESCR: "Transceiver 1000BaseBX10U Gi2/11"
PID: N/A               , VID: A0  , SN: SA3F150191      

NAME: "Transceiver Gi2/14", DESCR: "Transceiver 1000BaseBX10D Gi2/14"
PID: N/A               , VID: A0  , SN: S9B3010003      

NAME: "Transceiver Gi2/15", DESCR: "Transceiver 1000BaseLH Gi2/15"
PID: N/A               , VID: 0000, SN: E60N2A6005841   

NAME: "Transceiver Gi2/16", DESCR: "Transceiver 1000BaseLH Gi2/16"
PID: N/A               , VID: 0000, SN: E60N286010280   

NAME: "module 3", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 3.2"
PID: WS-X6704-10GE     , VID: V04, SN: SAL1526GXL5

NAME: "switching engine sub-module of 3", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 4.1"
PID: WS-F6700-CFC      , VID: V06, SN: SAL1525GN2V

NAME: "Transceiver Te3/1", DESCR: "Transceiver 10Gbase-LR Te3/1"
PID: Xenpak-SFP+       , VID: V02 , SN: SC54490053 

NAME: "Transceiver Te3/2", DESCR: "Transceiver 10Gbase-LR Te3/2"
PID: Xenpak-SFP+       , VID: V02 , SN: SC97640050 

NAME: "Transceiver Te3/3", DESCR: "Transceiver 10Gbase-LR Te3/3"
PID: Xenpak-SFP+       , VID: V02 , SN: SC54490050 

NAME: "Transceiver Te3/4", DESCR: "Transceiver 10Gbase-LR Te3/4"
PID: Xenpak-SFP+       , VID: V02 , SN: SC54490051 

NAME: "module 4", DESCR: "WS-X6708-10GE CEF720 8 port 10GE with DFC Rev. 1.4"
PID: WS-X6708-10GE     , VID: V04, SN: SAL1216MNNU

NAME: "switching engine sub-module of 4", DESCR: "WS-F6700-DFC3CXL Distributed Forwarding Card 3 Rev. 1.1"
PID: WS-F6700-DFC3CXL  , VID: V01, SN: SAL1216N1MB

NAME: "Transceiver Te4/8", DESCR: "Transceiver 10Gbase-LR Te4/8"
PID: X2 to SFP+        , VID: V02 , SN: X2C8P500082

NAME: "module 5", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 3.2"
PID: WS-X6704-10GE     , VID: V04, SN: SAL1525GKMX

NAME: "switching engine sub-module of 5", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 4.1"
PID: WS-F6700-CFC      , VID: V06, SN: SAL1525GN9J

NAME: "Transceiver Te5/1", DESCR: "Transceiver 10Gbase-LR Te5/1"
PID: Xenpak-SFP+       , VID: V02 , SN: SC54490058 

NAME: "Transceiver Te5/2", DESCR: "Transceiver 10Gbase-LR Te5/2"
PID: Xenpak-SFP+       , VID: V02 , SN: SC54490054 

NAME: "Transceiver Te5/3", DESCR: "Transceiver 10Gbase-SR Te5/3"
PID: OT-XENPAK-SR      , VID: V02 , SN: ML111019392

NAME: "Transceiver Te5/4", DESCR: "Transceiver 10Gbase-SR Te5/4"
PID: XENPAK-10GB-SR    , VID: V02 , SN: IFT123200F0

NAME: "module 6", DESCR: "RSP720-3CXL-GE 2 ports Route Switch Processor 720 Rev. 5.14"
PID: RSP720-3CXL-GE    , VID: V13, SN: JAE1348P6ML

NAME: "msfc sub-module of 6", DESCR: "7600-MSFC4 C7600 MSFC4 Daughterboard Rev. 1.6"
PID: 7600-MSFC4        , VID: 000, SN: JAE14020HPB

NAME: "switching engine sub-module of 6", DESCR: "7600-PFC3CXL Policy Feature Card 3 Rev. 1.2"
PID: 7600-PFC3CXL      , VID: 000, SN: JAE14020ER8

NAME: "Transceiver Gi6/1", DESCR: "Transceiver 1000BaseT Gi6/1"
PID: N/A               , VID: A   , SN: TB2K190071      

NAME: "PS 1 PWR-2700-AC", DESCR: "AC power supply, 2700 watt 1"
PID: PWR-2700-AC       , VID: V02, SN: AZS1420009F

NAME: "PS 2 PWR-2700-AC", DESCR: "AC power supply, 2700 watt 2"
PID: PWR-2700-AC       , VID: V02, SN: APS133200L6

 

2ая железка

#sh fabric switching-mode 
Global switching mode is Compact
dCEF mode is not enforced for system to operate
Fabric module is not  required for system to operate
Modules are allowed to operate in bus mode
Truncated mode is allowed, due to presence of DFC, CEF720 module

Module Slot     Switching Mode
   1                     dCEF
   2                     dCEF
   3                 Crossbar
   4                     dCEF

#sh fabric utilization all
slot    channel      speed    Ingress %     Egress %
   1          0        20G            1            4
   2          0        20G            8           22
   2          1        20G            7            5
   3          0        20G            0            0
   3          1        20G           68           26
   4          0        20G            9           24
   4          1        20G           11           25

#sh fabric channel-counters all

slot channel   rxErrors   txErrors    txDrops  lbusDrops
   1       0          0          0          0          0
   2       0          0          0          0          0
   2       1          0          0          0          0
   3       0          0          0          0          0
   3       1          0          0          0          0
   4       0          0          0          0          0
   4       1          0          0          0          0

#sh inventory 
NAME: "CISCO7604", DESCR: "Cisco Systems Cisco 7600 4-slot Chassis System"
PID: CISCO7604         , VID: V01, SN: FOX1340GEZS

NAME: "CLK-7600 1", DESCR: "OSR-7600 Clock FRU 1"
PID: CLK-7600          , VID:    , SN: NWG133900Q4

NAME: "CLK-7600 2", DESCR: "OSR-7600 Clock FRU 2"
PID: CLK-7600          , VID:    , SN: NWG133900Q4

NAME: "module 1", DESCR: "RSP720-3C-GE 2 ports Route Switch Processor 720 Rev. 5.9"
PID: RSP720-3C-GE      , VID: V09, SN: JAE14100AUL

NAME: "msfc sub-module of 1", DESCR: "7600-MSFC4 C7600 MSFC4 Daughterboard Rev. 1.5"
PID: 7600-MSFC4        , VID: 000, SN: JAE141005WY

NAME: "switching engine sub-module of 1", DESCR: "7600-PFC3C Policy Feature Card 3 Rev. 1.2"
PID: 7600-PFC3C        , VID: 000, SN: JAE1410083W

NAME: "Transceiver Gi1/1", DESCR: "Transceiver 1000BaseT Gi1/1"
PID: N/A               , VID:     , SN: AGM121722P6     

NAME: "Transceiver Gi1/2", DESCR: "Transceiver 1000BaseLH Gi1/2"
PID: N/A               , VID: A0  , SN: S894120545      

NAME: "module 2", DESCR: "76-ES+XC-20G3C 11 ports 7600 ES+ Rev. 1.3"
PID: 76-ES+XC-20G3C    , VID: V01, SN: JAE14200VR3

NAME: "sub-module of 2", DESCR: "7600-ES+20C ES+ 1xTGE XFP 10xGE SFP Rev. 1.0"
PID: 7600-ES+20C       , VID:    , SN: JAE14190ZCT

NAME: "switching engine sub-module of 2", DESCR: "7600-ES+3C 7600 ES+ DFC LITE Rev. 1.1"
PID: 7600-ES+3C        , VID:    , SN: JAE14200ADB

NAME: "Transceiver Gi2/1", DESCR: "Transceiver 1000BaseBX10D Gi2/1"
PID: N/A                 , VID: A0  , SN: S9B3010004      

NAME: "Transceiver Gi2/2", DESCR: "Transceiver 1000BaseLX Gi2/2"
PID: N/A                 , VID: A0  , SN: SA2S790811      

NAME: "Transceiver Te2/11", DESCR: "Transceiver 10GBASE-SR/SW Te2/11"
PID: XFP-10G-MM-SR       , VID: 02 , SN: ONJ160300MP     

NAME: "module 3", DESCR: "WS-X6704-10GE CEF720 4 port 10-Gigabit Ethernet Rev. 2.2"
PID: WS-X6704-10GE     , VID:    , SN: SAL114561KH

NAME: "switching engine sub-module of 3", DESCR: "WS-F6700-CFC Centralized Forwarding Card Rev. 2.1"
PID: WS-F6700-CFC      , VID: V01, SN: SAL091275K4

NAME: "Transceiver Te3/1", DESCR: "Transceiver 10Gbase-LR Te3/1"
PID: XENPAK-10GB-LR    , VID: V01 , SN: ONT132001GW

NAME: "Transceiver Te3/2", DESCR: "Transceiver 10Gbase-LR Te3/2"
PID: Xenpak-SFP+       , VID: V02 , SN: SC54490057 

NAME: "Transceiver Te3/3", DESCR: "Transceiver 10Gbase-LR Te3/3"
PID: Xenpak-SFP+       , VID: V02 , SN: SC54490050 

NAME: "Transceiver Te3/4", DESCR: "Transceiver 10Gbase-LR Te3/4"
PID: Xenpak-SFP+       , VID: V02 , SN: SC97640043 

NAME: "module 4", DESCR: "7600-ES+2TG3C 2 ports 7600 ES+ Rev. 1.1"
PID: 7600-ES+2TG3C     , VID: V02, SN: JAE13219DHU

NAME: "sub-module of 4", DESCR: "7600-ES+2TG 7600 ES+ 2x10GE XFP Rev. 1.0"
PID: 7600-ES+2TG       , VID:    , SN: JAE1322AUGY

NAME: "switching engine sub-module of 4", DESCR: "7600-ES+3C 7600 ES+ DFC LITE Rev. 1.1"
PID: 7600-ES+3C        , VID:    , SN: JAE1322AVEE

NAME: "Transceiver Te4/1", DESCR: "Transceiver 10Gbase-LR Te4/1"
PID: XFP-10GLR-OC192SR   , VID: A  , SN: SPC152102C7     

NAME: "Transceiver Te4/2", DESCR: "Transceiver 10Gbase-LR Te4/2"
PID: XFP-10GLR-OC192SR   , VID: A  , SN: SPC152103BS     

NAME: "FAN-MOD-4HS 1", DESCR: "High Speed Fan Module for CISCO7604 1"
PID: FAN-MOD-4HS       , VID: V01, SN: NID13350083

NAME: "PS 1 PWR-2700-AC/4", DESCR: "2700W AC power supply for CISCO7604 1"
PID: PWR-2700-AC/4     , VID: V02, SN: APS1239004Z

NAME: "PS 2 PWR-2700-AC/4", DESCR: "2700W AC power supply for CISCO7604 2"
PID: PWR-2700-AC/4     , VID: V02, SN: APQ104100C0

 

На брасе (2ая циска) проблема наверняка решается перетыканием порта. Так чтобы был занят другой канал в сторону фабрики.

Share this post

Link to post
Share on other sites

s.lobanov   

s.lobanov
Posted · Report post

На брасе (2ая циска) проблема наверняка решается перетыканием порта. Так чтобы был занят другой канал в сторону фабрики.

типа того

 

а по поводу первой железки, на плате 6708 правильно порты заняли? (покажите какие заняты)

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted · Report post

На 6708 заняты все.

1,2,5,6 - аплинки. плюс ещё 2 аплинка на 3 линейной карте.

3,4,7,8 - порт-ченнел в сторону НАТ-молотилки.

Порты заняты вроде как правильно. По разным FPGA и ASIC'ам. 95% трафика с аплинков заворачивается в порт-ченнел. Балансируется равномерно. Каналы в сторону фабрики на 4 линейной карте - на 6708 - загружены практически равномерно. Но Упираются иногда полкой в 69%. Почему - неизвестно.

 

 

На брасе (2ая циска) проблема наверняка решается перетыканием порта. Так чтобы был занят другой канал в сторону фабрики.

типа того

 

а по поводу первой железки, на плате 6708 правильно порты заняли? (покажите какие заняты)

Share this post

Link to post
Share on other sites

s.lobanov   

s.lobanov
Posted · Report post

На 6708 заняты все.

1,2,5,6 - аплинки. плюс ещё 2 аплинка на 3 линейной карте.

3,4,7,8 - порт-ченнел в сторону НАТ-молотилки.

 

И сколько там по сумме по выходит? Плата-то переподписана сама по себе... Как не распределяй, всё равно порты все занять нельзя под большой нагрузкой даже для локал-свитчинга

 

лучше покажите графики по всем портам этой карты, чтоб на пары посмотреть

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted · Report post

В приложении.

 

На всплеск трафика на te4/1 и te4/2 не обращайте внимания.

Снимал для тестирования трафик с 3 слота. Там плата без dCEF и я пытался понять, снизится ли нагрузка на 6 слот, где RSP стоит.

Нагрузка не снизилась. Полка на 69% осталась, её видно вечером и это отражается на трафика port-channel. Особенно хорошо виден провал на te4/3.

 

Про переподписку 6708 я в курсе, но не 1 к 4м же?

post-56415-054914000 1422734024_thumb.png

post-56415-001801800 1422734031_thumb.png

post-56415-020838100 1422734038_thumb.png

post-56415-083516400 1422734043_thumb.png

post-56415-010832500 1422734049_thumb.png

post-56415-097160300 1422734055_thumb.png

post-56415-012917700 1422734062_thumb.png

post-56415-087471200 1422734070_thumb.png

post-56415-038009600 1422734090_thumb.png

post-56415-014026000 1422734097_thumb.png

Share this post

Link to post
Share on other sites

s.lobanov   

s.lobanov
Posted · Report post

Про переподписку 6708 я в курсе, но не 1 к 4м же?

1:2. по 4ому модулю у вас вроде нормально всё, но не долго вы ещё протяните...

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted · Report post

В 1 слоте "локальный" port-channel из 4х 10G линков НАТ-молотилки. И 2 port-channel на брасы.

Local порты НАТа включены абсолютно аналогично как на 4 карте. Брасы - 1,2 и 5,6 соответственно. Там по каналам в сторону фабрики всё ОК, полок нет.

 

Интерфейсы 1 и 4 слотов находятся в разных vrf, а НАТ является pseudo-wire. За него скажу так. Судя по нагрузке меньше 10% в ЧНН, полки создаёт точно не он.

 

Про переподписку 6708 я в курсе, но не 1 к 4м же?

1:2. по 4ому модулю у вас вроде нормально всё, но не долго вы ещё протяните...

 

Спасибо, обнадёжили :-)

post-56415-086954000 1422735575_thumb.png

post-56415-037193200 1422735582_thumb.png

Share this post

Link to post
Share on other sites

s.lobanov   

s.lobanov
Posted · Report post

В 1 слоте "локальный" port-channel из 4х 10G линков НАТ-молотилки. И 2 port-channel на брасы.

Local порты НАТа включены абсолютно аналогично как на 4 карте. Брасы - 1,2 и 5,6 соответственно. Там по каналам в сторону фабрики всё ОК, полок нет.

 

Интерфейсы 1 и 4 слотов находятся в разных vrf, а НАТ является pseudo-wire. За него скажу так. Судя по нагрузке меньше 10% в ЧНН, полки создаёт точно не он.

 

подождите... судя по sh inv у вас в 1ом слоту заняты только порты 3,4,6,7,8

 

ну и в любом случае, откуда вы знаете какая лайнкарта вызывает egress полку в rsp-слоту? лично мне это не очевидно

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted (edited) · Report post

ну и в любом случае, откуда вы знаете какая лайнкарта вызывает egress полку в rsp-слоту? лично мне это не очевидно

 

В том то и дело что я этого не знаю...

Какой тогда смысл в dCEF, если супервизор мягко говоря загибается?

Edited by sid1333

Share this post

Link to post
Share on other sites

s.lobanov   

s.lobanov
Posted · Report post

sid1333

Ну так проверьте пары портов по 1ому модуля на предмет переподписки. может у вас полка в самом деле "внутри" карты

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted · Report post

подождите... судя по sh inv у вас в 1ом слоту заняты только порты 3,4,6,7,8

 

Действительно... про 1,2,5 циска ничего не написала. Хотя там точно стоят модули.

Share this post

Link to post
Share on other sites

s.lobanov   

s.lobanov
Posted · Report post

sid1333

ну тогда по 1ому модулю выкладывайте графики или сами смотрите все ли пары переподписок(1,3; 2,4; 5,7; 6,8) вписываются по трафику в 1 порт

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted · Report post

sid1333

Ну так проверьте пары портов по 1ому модуля на предмет переподписки. может у вас полка в самом деле "внутри" карты

"Внутри" понятие относительное... На сколько я знаю, коммутация в пределах портов одного ASICа - то есть портов 1,4-5,7 и 2-3,6,8 действительно идёт в пределах ASICа. Между ASICами же трафик гуляет через фабрику. Но для слота 1 линки фабрики не загружены. А уж как проверить ASIC это я не знаю.

Share this post

Link to post
Share on other sites

joesm   

joesm
Posted · Report post

"Внутри" понятие относительное... На сколько я знаю, коммутация в пределах портов одного ASICа - то есть портов 1,4-5,7 и 2-3,6,8 действительно идёт в пределах ASICа. Между ASICами же трафик гуляет через фабрику. Но для слота 1 линки фабрики не загружены. А уж как проверить ASIC это я не знаю.

Трафик между ASICами одного модуля ходит через фабрику только в случае отсутствия DFC или CFC карты. Использовать 10 гиговые модулю без хотя бы CFC плохая идея. Использовать 6704 тоже не очень хорошая идея. Использовать больше 4х портов на 6708 при больших скоростях - совсем плохая идея.

При правильном подключении портов на 6708 фабрика работает на 100%.

Share this post

Link to post
Share on other sites

sid1333   

sid1333
Posted · Report post

Трафик между ASICами одного модуля ходит через фабрику только в случае отсутствия DFC или CFC карты. Использовать 10 гиговые модулю без хотя бы CFC плохая идея. Использовать 6704 тоже не очень хорошая идея. Использовать больше 4х портов на 6708 при больших скоростях - совсем плохая идея.

При правильном подключении портов на 6708 фабрика работает на 100%.

ОК, возможно вы правы и трафик действительно ходит через DFC.

А чем плохи карты 6704? Карта без переподписки, планируем в скорости в существующую поставить DFC карту.

Share this post

Link to post
Share on other sites

SyJet   

SyJet
Posted · Report post

Трафик между ASICами одного модуля ходит через фабрику только в случае отсутствия DFC или CFC карты. Использовать 10 гиговые модулю без хотя бы CFC плохая идея. Использовать 6704 тоже не очень хорошая идея. Использовать больше 4х портов на 6708 при больших скоростях - совсем плохая идея.

При правильном подключении портов на 6708 фабрика работает на 100%.

ОК, возможно вы правы и трафик действительно ходит через DFC.

А чем плохи карты 6704? Карта без переподписки, планируем в скорости в существующую поставить DFC карту.

Насколько я знаю - очень маленькие буферы

Share this post

Link to post
Share on other sites

joesm   

joesm
Posted · Report post

А чем плохи карты 6704? Карта без переподписки, планируем в скорости в существующую поставить DFC карту.

Мелкие буфера приводят к невозможности использовать карту на скоростях близких к 10Г: деградация, потеря пакетов и т.д.

Share this post

Link to post
Share on other sites

Butch3r   

Butch3r
Posted · Report post

А чем плохи карты 6704? Карта без переподписки, планируем в скорости в существующую поставить DFC карту.

Мелкие буфера приводят к невозможности использовать карту на скоростях близких к 10Г: деградация, потеря пакетов и т.д.

Когда будет гиг ~8 пора задумываться?

Share this post

Link to post
Share on other sites

bugz   

bugz
Posted (edited) · Report post

1. Учитывай что трафик от fpga до fabric asic 16 GB/s FullDuplex и соответственно 20 до фабрики. Ранее написано какими парами считать. Как мы считаем выложил в аттаче. Применимо только для 6708 с dfc. В своё время доводили загрузки фабрики до 96% без перегрузки на asic. После того как перегруппировали порты с учётом local-switching нагрузку размазали.

2. Исходя из нашего опыта надо избегать port-channel - если у тебя l3-channel выпиливай его и используй ECMP - получишь прирост. При чётном количестве портов cef разбрасывает неравномерно - использовать mls ip cef load-sharing simple (или full для баланса с L4-заголовками)

3. Не обязательно узкое место 76-я - проверь nat молотилки и bras - в нашем имели проблему с ASR1004 под 76-й

post-74879-043227700 1422940716_thumb.jpg

Edited by bugz

Share this post

Link to post
Share on other sites

joesm   

joesm
Posted · Report post

Когда будет гиг ~8 пора задумываться?

Ходят разные слухи на этот счет :) У нас проблема стала заметна около 9Г, к этому моменту почти все заменили.

Share this post

Link to post
Share on other sites

catalist   

catalist
Posted · Report post

1. Учитывай что трафик от fpga до fabric asic 16 GB/s FullDuplex и соответственно 20 до фабрики. Ранее написано какими парами считать. Как мы считаем выложил в аттаче. Применимо только для 6708 с dfc. В своё время доводили загрузки фабрики до 96% без перегрузки на asic. После того как перегруппировали порты с учётом local-switching нагрузку размазали.

2. Исходя из нашего опыта надо избегать port-channel - если у тебя l3-channel выпиливай его и используй ECMP - получишь прирост. При чётном количестве портов cef разбрасывает неравномерно - использовать mls ip cef load-sharing simple (или full для баланса с L4-заголовками)

3. Не обязательно узкое место 76-я - проверь nat молотилки и bras - в нашем имели проблему с ASR1004 под 76-й

Это же weathermap картинка? Если да то есть возможность оиды подписать?

Share this post

Link to post
Share on other sites

g3fox   

g3fox
Posted · Report post

А чем плохи карты 6704? Карта без переподписки, планируем в скорости в существующую поставить DFC карту.

Мелкие буфера приводят к невозможности использовать карту на скоростях близких к 10Г: деградация, потеря пакетов и т.д.

Когда будет гиг ~8 пора задумываться?

Где-то тут писали уже, что у 6704 16G на пару портов. Не уверен насчёт достоверности информации т.к. пока искал это сообщение наткнулся ещё на десяток, где пишут, что у 6704 нет переподписки, и проблема с буферами у неё единственная.

 

 

Кстати, у ТС, не понятно что за egress трафик на фабрике шестого модуля.

ТС, у Вас что-то вставлено в шестой модуль, то есть в суп?

Может у вас есть какие-то SPAN. Или это вообще следствие проблемы DLF в каком-то VLAN?

 

Можете нарисовать схему с обеими железками, а так-же того, что в них подключено, и обозначением портов?

Я, честно говоря, несколько раз перечитал всю первую страницу, но до конца не осилил понять какой трафик куда у вас бегает.

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Followers 0
Go to topic listing Активное оборудование Ethernet, IP, MPLS, SDN/NFV...