Cisco 6500

[wed]

Имею в хозяйстве cisco WS-C6503-E с модулями WS-SUP32-GE-3B и WS-X6548-GE-TX

Есть проблема - при больших объемах трафика есть дропы на медных портах, на плате WS-X6548-GE-TX, при переносе линка на оптический порт этой же циски дропы пропадают.

На медных портах максимальная скорость аплинка верхнего провайдера 300-400 мбит, при переносе на оптический порт скорость возрастает до 800.

 

Что непонятно почему-то ошибки сыпятся сразу на 8 портов.

Interface           IHQ IQD OHQ OQD        RXBS RXPS  TXBS TXPS TRTL

* GigabitEthernet2/10 0   0   0  928229299 8153000 1959 16952000 2283 0
* GigabitEthernet2/11 0   0   0  928229299 3790000 689 3850000 701 0
* GigabitEthernet2/12 0   0   0  928229299 1313000 754 5501000 1011 0
* GigabitEthernet2/13 0   0   0  928229299 231000 158 2844000 359 0
* GigabitEthernet2/14 0   0   0  928229299 6036000 1337 8885000 1382 0
* GigabitEthernet2/15 0   0   0  928229299 2212000 294 640000 282 0
* GigabitEthernet2/16 0   0   0  928229299 1949000 345 528000 308 0

 

в sh int gi2/17 присутствует строчка

Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 2799925401

 

Используем ip unnumbered.

суммарный трафик через циску около 1 гбит/с.

Конфиг

upgrade fpd auto
version 12.2
no parser cache
no service pad
service timestamps debug datetime msec localtime
service timestamps log datetime msec localtime
service password-encryption
service linenumber
service counters max age 5
service unsupported-transceiver
!
hostname nag
!
boot-start-marker
boot system flash sup-bootdisk:/s3223-ipservicesk9_wan-mz.122-33.SXI3.bin
boot bootldr bootflash:s3223-boot-mz.122-33.SXI3.bin
boot-end-marker
!aaa session-id common
clock timezone MSK 3
ip subnet-zero
no ip source-route
!
!
no ip dhcp relay information check
!
ip dhcp snooping vlan 3,5-6,400,700-730
no ip dhcp snooping information option
no ip dhcp snooping verify mac-address
ip dhcp snooping
ip flow-cache entries 262144
ip flow-cache timeout inactive 60
ip flow-cache timeout active 5
ip multicast-routing
ip ssh version 2
no ip domain-lookup
ip domain-name domain.ru
ip arp inspection vlan 3,700-730
ip arp inspection filter ip_mac vlan  3,700-730
mls aging long 128
mls aging normal 64
mls exclude acl-deny
mls netflow interface
mls flow ip interface-full
mls nde sender version 5
no mls nde interface
mls qos
mls cef error action reset
mls cef maximum-routes ipv6 1
!
!
ip bgp-community new-format
ip flow-export version 5
ip flow-export destination 192.168.1.126 9996
ip flow-export destination 192.168.1.122 9996
ip flow-top-talkers
top 20
sort-by packets
!
no ip http server
no ip http secure-server

[nnm]

На WS-X6548-GE-TX один чип обслуживает группу из 8-ми портов. И канал от этого чипа 'вверх' 1Gbit/s.

[Azamat]

1Гб на 8 портов разве не на 6148 плате ?

недавно было в обсуждении

 

 

WS-X6148-GE-TX - лучше не ставить - там суммарно 1Г на 8 портов ))

 

+1

замените на 6516

Edited March 27, 2012 by Azamat

[spectrum]

Да, ту тему я открывал. И для меня сейчас то что пишет топикстартер звучит откровением. Вот тут нет ничего про 1Гбит на 8 портов:

http://shop.nag.ru/uploads/docs/Doc/ws-c6500_release_notes.htm

[Azamat]

Написано 32 Gb shared bus, что это означает ?

например 24Гб вверх, 8 вниз со всех портов одновременно ?

[C@T]

1Гб на 8 портов разве не на 6148 плате ?

nnm прав, на 6548 тоже 1Гб на 8 портов (взято отсюда):

These cards share a 1 Mb buffer between a group of ports (1-8, 9-16, 17-24, 25-32, 33-40, and 41-48) since each block of eight ports is 8:1 oversubscribed. The aggregate throughput of each block of eight ports cannot exceed 1 Gbps

[spectrum]

Здорово. Вот таки узнаются скрытые подробности. А мы ведь собирались как раз ее и брать.

 

Топикстартеру: вот есть такая информация

WS-X6548-GE-TX and WS-X6548V-GE-TX do not support these features:

–With Release 12.2(17a)SX and Release 12.2(17a)SX1, more than 1 Gbps of traffic per EtherChannel

 

Release 12.2(17b)SXA and later releases provide support for more than 1 Gbps of traffic per EtherChannel on the WS-X6548-GE-TX (and voice-power daughtercard equipped) switching modules.

 

Т.е. более поздние версии я так понимаю поддерживают более 1Гбит EtherChannel. Понятно, что Etherchannle можно собрать из разных групп портов, но возможно имеется ввиду как раз из одного и коли так, то с одной группы возможно пойдет больше 1 Гбит. У вас какая версия стоит? Может стоит попробовать с этим поэксперементировать?

Edited March 27, 2012 by spectrum

[passer]

 Открыть описание на cisco.com и черное по белому прочесть об oversubscribe 8:1. И что эти порты предназначены для подключения пользователей. Для подключения серверов и прочего рекомендуется брать WS-6724 или WS-6748. 

Edited March 27, 2012 by passer

[Дятел]

у топикстартера - сап32, для него 6516, WS-6724 или WS-6748 работать не будут ))

[dignity]

nnm прав, на 6548 тоже 1Гб на 8 портов (взято отсюда):

Вообще, по разному пишут... Есть инфа, что на 6 портов 1Gbit/s, а не на 8... А на 6516 oversub 1:2 то есть на 2 порта... Что самое интересное) 6416 без оверсаба... Честно говоря, сам вчера смотрел инфу и удивился касательно данного факта.

 

Ну с 67XX все понятно, но это sup720 только.

Edited March 28, 2012 by dignity

[passer]

Q. Which line cards are supported by Sup32?
A. All classic line cards and all CEF256 line cards (without a DFC) are supported at FCS.

Q. Which line cards are not supported by Sup32?
A. The following series of line cards are not supported by Sup32:

Да, извиняюсь. Грусть и печалька. Т.е. решением для ТС если нужен честный гигабит - использовать плату как 6-ти портовую. Или менять sup и линейную карту.

 

А, кстати, WS-6515 - CEF256 карта, так что должна работать. Обратного я не нашел.

 

Во:

 

http://www.cisco.com/en/US/prod/collateral/switches/ps5718/ps708/product_data_sheet0900aecd801459a7.html

 

http://www.cisco.com/en/US/prod/collateral/switches/ps5718/ps708/prod_white_paper0900aecd80673385.html

 

 

 

 

Edited March 28, 2012 by passer

[Davion]

очень интересная инфа, где эти все оверсабы посмотреть можно?

 

последняя ссылка не рабочая... профикси...

 

спасибо)

[passer]

Упоминание об oversubscribe для карт:

 

http://www.cisco.com/en/US/prod/collateral/switches/ps5718/ps708/product_data_sheet0900aecd8017376e.html

 

когда-то встречал инфу по архитектуре самих плат, но сейчас найти не удается.

 

 

[Azamat]

оттуда взято:

 

Purposefully designed for the wiring closet with 8:1 oversubscription, these 10/100/1000 interface modules cannot be equipped with distributed forwarding cards

 

Fabric connection-These modules connect to the switch fabric through one 8-Gbps connection and the 32-Gbps shared bus

 

8 Gbps фулл дуплекс или например 6 на 2 ?

 

Кстати вопрос, а в рамках группы из 8 портов сами порты обмениваются честным гигабитом ?

Edited March 28, 2012 by Azamat

[nnm]

8 Gbps фулл дуплекс или например 6 на 2 ?

фулл дуплекс

 

Кстати вопрос, а в рамках группы из 8 портов сами порты обмениваются честным гигабитом ?

Нет.

[Azamat]

если там на плату 8Гб/с то значит ли это, что оверсаб будет 1:6 ? Ибо если оверсаб 1:8 то с платы при любом раскладе не прилетит больше 6Гб/с

[wed]

Да, как раз так и совпало, я самые нагруженные линки держал рядом.

Решение я так понимаю просто разнести их на "через 8" порты.

Спасибо!

[nnm]

если там на плату 8Гб/с то значит ли это, что оверсаб будет 1:6 ? Ибо если оверсаб 1:8 то с платы при любом раскладе не прилетит больше 6Гб/с

 

8Гбит/c это производительность канала, связывающего линейную карту с фабрикой (если она есть). Фактически это скорость интерфейсов первого поколения фабрик для 65xx (SFM и SFM2). Но на 6548 узкое место находится ДО чипа, который отвечает за интерфейс с фабрикой. Порты объединяются в группы по 8-мь и каждая обслуживается чипом, производительностью 1G. Поэтому для обычного unicast трафика ее производительность не более 6Gbit/s full duplex. Может быть для multicast больше за счет локальной репликации, не уверен.

Edited March 28, 2012 by nnm