полка на 30 гиговом езерчэнеле.

[shvlad1]

Все привет.

Имею 7609, на ней ws6708-10GE.

Есть 30 гиговый LAG между 7609 и джунипером 4500.

 

Age of the Port-channel   = 348d:20h:57m:34s
Logical slot/port   = 14/14          Number of ports = 3
HotStandBy port = null 
Passive port list   = Te3/3 Te3/5 Te3/6 
Port state          = Port-channel L3-Ag Ag-Inuse 
Protocol            =   LACP
Fast-switchover     = disabled
Direct Load Swap    = disabled

Ports in the Port-channel: 

Index   Load   Port     EC state        No of bits
------+------+------+------------------+-----------
 2     49     Te3/3      Active    3
 1     92     Te3/5      Active    3
 0     24     Te3/6      Active    2

Time since last port bundled:    8d:20h:39m:05s    Te3/6
Time since last port Un-bundled: 8d:20h:39m:08s    Te3/6

Last applied Hash Distribution Algorithm: Fixed

 

aggregated-ether-options {
   link-speed 10g;
   lacp {
       active;
       periodic fast;
   }
}
unit 0 {
   family ethernet-switching {
       port-mode trunk;
       vlan {
           members [ ъъъ ммм ммм ];
       }
   }
}

 

В ЧНН на нем наблюдаю полку в 22 гига плюс это затрагивает 10 гиговый линк на Te3/8 этой же карты на другой роутер (сильно возрастают задержки).

Что может быть?

На какие интерфейсы перевесить lacp, чтобы избежать полки?

Про переподписку читал, но вроде как не оно, трафик в пределах одной карты.

интерфейсы: 3/3, 3/5, 3/6, 3/8

[zi_rus]

трафик даже в пределах карты идет через switch fabric

деталей не вижу, но подозреваю что тут sup720, 40гиг на слот (80г халф), считать и раскидывать порты по разным картам

[shvlad1]

деталей не вижу, но подозреваю что тут sup720, 40гиг на слот (80г халф), считать и раскидывать порты по разным картам

в том то и дело, что карта одна, хочется в ее пределах перераспределить порты.

где вообще вменяемую доку можно посмотреть?

[NikAlexAn]

Где то на сайте киски находил что на этой карте можно отключить 4 порта и тогда оставшиеся 4 будут без переподписки.

Ещё может частично снять проблемы установка DFC, но это смотря как трафик идёт.

[agr]

аггрегат из 3х портов в 76xx в принципе нельзя загрузить полностью.

 

Для каждого пакета, который должен быть отправлен в аггрегат, роутер будет вычислять контрольную сумму по некому алгоритму. Диапазон значений контрольной суммы всего от 0 до 7. Исходя из значения контрольной суммы будет выбран физический порт для отправки пакета. Когда в аггрегате 3 порта, пакеты будут раскидываться по портам в зависимости от контрольной суммы следующим образом:

порт1 порт2 порт3
-----------------
 0  |  1  |   2
 3  |  4  |   5
 6  |  7  |   
-----------------

 

То есть распределение трафика будет 3:3:2, и в третьем порту будет не больше чем 6Гбит/с.

 

 

Что касается переподписки и порта 3/8, то на 6708 порты разложены по asic'ам так

FPGA пары такие:

(1,4) (5,7) (2,3) (6,8)

 

Одна FPGA пара может переварить только 16Гбит/с. Две пары в пределах одного ASIC - 20Гбит/с.

 

Ваш порт 3/8 страдает из-за того, что он на одной FPGA с 3/6. Вынесите этот линк на 3/1 или 3/4.

Edited October 17, 2013 by agr

[shvlad1]

Спасибо.

По времени начало появления полок совпало с добавлением новых агрегатов на джунипере.

Вот и грешу на Джунипер, может lacpd там съехать?

Ни у кого проблем подобных не наблюдалось?

[applx]

аггрегат из 3х портов в 76xx в принципе нельзя загрузить полностью.

 

Для каждого пакета, который должен быть отправлен в аггрегат, роутер будет вычислять контрольную сумму по некому алгоритму. Диапазон значений контрольной суммы всего от 0 до 7. Исходя из значения контрольной суммы будет выбран физический порт для отправки пакета. Когда в аггрегате 3 порта, пакеты будут раскидываться по портам в зависимости от контрольной суммы следующим образом:

порт1 порт2 порт3
-----------------
 0  |  1  |   2
 3  |  4  |   5
 6  |  7  |   
-----------------

 

То есть распределение трафика будет 3:3:2, и в третьем порту будет не больше чем 6Гбит/с.

 

 

Что касается переподписки и порта 3/8, то на 6708 порты разложены по asic'ам так

FPGA пары такие:

(1,4) (5,7) (2,3) (6,8)

 

Одна FPGA пара может переварить только 16Гбит/с. Две пары в пределах одного ASIC - 20Гбит/с.

 

Ваш порт 3/8 страдает из-за того, что он на одной FPGA с 3/6. Вынесите этот линк на 3/1 или 3/4.

 

все зависит от хаша на порт чанеле

 

sh etherchannel load-balance

EtherChannel Load-Balancing Configuration:

src-dst-ip

mpls label-ip

 

EtherChannel Load-Balancing Addresses Used Per-Protocol:

Non-IP: Source XOR Destination MAC address

IPv4: Source XOR Destination IP address

IPv6: Source XOR Destination IP address

MPLS: Label or IP

 

port-channel load-balance ?

dst-ip Dst IP Addr

dst-mac Dst Mac Addr

dst-mixed-ip-port Dst IP Addr and TCP/UDP Port

dst-port Dst TCP/UDP Port

mpls Load Balancing for MPLS packets

src-dst-ip Src XOR Dst IP Addr

src-dst-mac Src XOR Dst Mac Addr

src-dst-mixed-ip-port Src XOR Dst IP Addr and TCP/UDP Port

src-dst-port Src XOR Dst TCP/UDP Port

src-ip Src IP Addr

src-mac Src Mac Addr

src-mixed-ip-port Src IP Addr and TCP/UDP Port

src-port Src TCP/UDP Port

[shvlad1]

на джунипере 4500-ех он не настраивается, афаик

[applx]

попробуйте

 

set forwarding-options hash-key family mpls label-1

set forwarding-options hash-key family mpls payload ip

 

ну и меняйте под себя естественно

[shvlad1]

я говорю, нет там такого

set forwarding-options ha?
No valid completions
{master:0}[edit]

[dmvy]

Коммутаторы не умеют балансировать port channel на количество портов отличное от 2^n. А указанные устройства все же коммутаторы.

[agr]

все зависит от хаша на порт чанеле

 

Независимо от того какой хеш используется, в конечном счете на выходе все равно будет число от 0 до 7, и порт будет выбран исходя из этого(дока - http://www.cisco.com/en/US/tech/tk389/tk213/technologies_tech_note09186a0080c1550a.shtml#anc4). При благоприятном раскладе трафик на 3 порта уложится в указанной мной пропорции 3:3:2.

Это справедливо для catalyst 65xx и 76xx. В железках нового поколения, таких как ASR, диапазон значений хеша уже 0-63, поэтому загрузка нечетных аггрегатов там более равномерная.

[shvlad1]

расширил до 4 десяток.

будем посмотреть.

спасибо.

[jama]

есть похожая ситуация, тоже etherchannel на 30G на модуле 6708

соответственно - похожие проблемы

 

возникает вопрос - 16Г и 20Г обозначенные arg'ом это full-duplex, можно ли указанные умножать на 2 и считать half-duplex трафик?

и как карточка форвардит пакеты внутри ASIC'а? будет ли часть трафика передаваемая, например с 1 на 5 порт отжирать часть от тех 20Г, которыми фабрика подключена к шине?

 

в идеале хочется построить схему, когда часть трафика будет ходить внутри ASIC'а и не будет занимать шину.

вот и интересно, такое вообще возможно или это не получится из-за архитектурных особенностей модуля?