Jump to content
Калькуляторы

полка на 30 гиговом езерчэнеле. как выбрать интерфейсы для LAG на WS-6708?

Все привет.

Имею 7609, на ней ws6708-10GE.

Есть 30 гиговый LAG между 7609 и джунипером 4500.

 

Age of the Port-channel   = 348d:20h:57m:34s
Logical slot/port   = 14/14          Number of ports = 3
HotStandBy port = null 
Passive port list   = Te3/3 Te3/5 Te3/6 
Port state          = Port-channel L3-Ag Ag-Inuse 
Protocol            =   LACP
Fast-switchover     = disabled
Direct Load Swap    = disabled

Ports in the Port-channel: 

Index   Load   Port     EC state        No of bits
------+------+------+------------------+-----------
 2     49     Te3/3      Active    3
 1     92     Te3/5      Active    3
 0     24     Te3/6      Active    2

Time since last port bundled:    8d:20h:39m:05s    Te3/6
Time since last port Un-bundled: 8d:20h:39m:08s    Te3/6

Last applied Hash Distribution Algorithm: Fixed

 

aggregated-ether-options {
   link-speed 10g;
   lacp {
       active;
       periodic fast;
   }
}
unit 0 {
   family ethernet-switching {
       port-mode trunk;
       vlan {
           members [ ъъъ ммм ммм ];
       }
   }
}

 

В ЧНН на нем наблюдаю полку в 22 гига плюс это затрагивает 10 гиговый линк на Te3/8 этой же карты на другой роутер (сильно возрастают задержки).

Что может быть?

На какие интерфейсы перевесить lacp, чтобы избежать полки?

Про переподписку читал, но вроде как не оно, трафик в пределах одной карты.

интерфейсы: 3/3, 3/5, 3/6, 3/8

Share this post


Link to post
Share on other sites

трафик даже в пределах карты идет через switch fabric

деталей не вижу, но подозреваю что тут sup720, 40гиг на слот (80г халф), считать и раскидывать порты по разным картам

Share this post


Link to post
Share on other sites

деталей не вижу, но подозреваю что тут sup720, 40гиг на слот (80г халф), считать и раскидывать порты по разным картам

в том то и дело, что карта одна, хочется в ее пределах перераспределить порты.

где вообще вменяемую доку можно посмотреть?

Share this post


Link to post
Share on other sites

Где то на сайте киски находил что на этой карте можно отключить 4 порта и тогда оставшиеся 4 будут без переподписки.

Ещё может частично снять проблемы установка DFC, но это смотря как трафик идёт.

Share this post


Link to post
Share on other sites

аггрегат из 3х портов в 76xx в принципе нельзя загрузить полностью.

 

Для каждого пакета, который должен быть отправлен в аггрегат, роутер будет вычислять контрольную сумму по некому алгоритму. Диапазон значений контрольной суммы всего от 0 до 7. Исходя из значения контрольной суммы будет выбран физический порт для отправки пакета. Когда в аггрегате 3 порта, пакеты будут раскидываться по портам в зависимости от контрольной суммы следующим образом:

порт1 порт2 порт3
-----------------
 0  |  1  |   2
 3  |  4  |   5
 6  |  7  |   
-----------------

 

То есть распределение трафика будет 3:3:2, и в третьем порту будет не больше чем 6Гбит/с.

 

 

Что касается переподписки и порта 3/8, то на 6708 порты разложены по asic'ам так

prod_white_paper0900aecd80673385-21.jpg

FPGA пары такие:

(1,4) (5,7) (2,3) (6,8)

 

Одна FPGA пара может переварить только 16Гбит/с. Две пары в пределах одного ASIC - 20Гбит/с.

 

Ваш порт 3/8 страдает из-за того, что он на одной FPGA с 3/6. Вынесите этот линк на 3/1 или 3/4.

Edited by agr

Share this post


Link to post
Share on other sites

Спасибо.

По времени начало появления полок совпало с добавлением новых агрегатов на джунипере.

Вот и грешу на Джунипер, может lacpd там съехать?

Ни у кого проблем подобных не наблюдалось?

Share this post


Link to post
Share on other sites

аггрегат из 3х портов в 76xx в принципе нельзя загрузить полностью.

 

Для каждого пакета, который должен быть отправлен в аггрегат, роутер будет вычислять контрольную сумму по некому алгоритму. Диапазон значений контрольной суммы всего от 0 до 7. Исходя из значения контрольной суммы будет выбран физический порт для отправки пакета. Когда в аггрегате 3 порта, пакеты будут раскидываться по портам в зависимости от контрольной суммы следующим образом:

порт1 порт2 порт3
-----------------
 0  |  1  |   2
 3  |  4  |   5
 6  |  7  |   
-----------------

 

То есть распределение трафика будет 3:3:2, и в третьем порту будет не больше чем 6Гбит/с.

 

 

Что касается переподписки и порта 3/8, то на 6708 порты разложены по asic'ам так

prod_white_paper0900aecd80673385-21.jpg

FPGA пары такие:

(1,4) (5,7) (2,3) (6,8)

 

Одна FPGA пара может переварить только 16Гбит/с. Две пары в пределах одного ASIC - 20Гбит/с.

 

Ваш порт 3/8 страдает из-за того, что он на одной FPGA с 3/6. Вынесите этот линк на 3/1 или 3/4.

 

все зависит от хаша на порт чанеле

 

sh etherchannel load-balance

EtherChannel Load-Balancing Configuration:

src-dst-ip

mpls label-ip

 

EtherChannel Load-Balancing Addresses Used Per-Protocol:

Non-IP: Source XOR Destination MAC address

IPv4: Source XOR Destination IP address

IPv6: Source XOR Destination IP address

MPLS: Label or IP

 

port-channel load-balance ?

dst-ip Dst IP Addr

dst-mac Dst Mac Addr

dst-mixed-ip-port Dst IP Addr and TCP/UDP Port

dst-port Dst TCP/UDP Port

mpls Load Balancing for MPLS packets

src-dst-ip Src XOR Dst IP Addr

src-dst-mac Src XOR Dst Mac Addr

src-dst-mixed-ip-port Src XOR Dst IP Addr and TCP/UDP Port

src-dst-port Src XOR Dst TCP/UDP Port

src-ip Src IP Addr

src-mac Src Mac Addr

src-mixed-ip-port Src IP Addr and TCP/UDP Port

src-port Src TCP/UDP Port

Share this post


Link to post
Share on other sites

на джунипере 4500-ех он не настраивается, афаик

Share this post


Link to post
Share on other sites

попробуйте

 

set forwarding-options hash-key family mpls label-1

set forwarding-options hash-key family mpls payload ip

 

ну и меняйте под себя естественно

Share this post


Link to post
Share on other sites

я говорю, нет там такого

set forwarding-options ha?
No valid completions
{master:0}[edit]


Share this post


Link to post
Share on other sites

Коммутаторы не умеют балансировать port channel на количество портов отличное от 2^n. А указанные устройства все же коммутаторы.

Share this post


Link to post
Share on other sites

все зависит от хаша на порт чанеле

 

Независимо от того какой хеш используется, в конечном счете на выходе все равно будет число от 0 до 7, и порт будет выбран исходя из этого(дока - http://www.cisco.com/en/US/tech/tk389/tk213/technologies_tech_note09186a0080c1550a.shtml#anc4). При благоприятном раскладе трафик на 3 порта уложится в указанной мной пропорции 3:3:2.

Это справедливо для catalyst 65xx и 76xx. В железках нового поколения, таких как ASR, диапазон значений хеша уже 0-63, поэтому загрузка нечетных аггрегатов там более равномерная.

Share this post


Link to post
Share on other sites

расширил до 4 десяток.

будем посмотреть.

спасибо.

Share this post


Link to post
Share on other sites

есть похожая ситуация, тоже etherchannel на 30G на модуле 6708

соответственно - похожие проблемы

 

возникает вопрос - 16Г и 20Г обозначенные arg'ом это full-duplex, можно ли указанные умножать на 2 и считать half-duplex трафик?

и как карточка форвардит пакеты внутри ASIC'а? будет ли часть трафика передаваемая, например с 1 на 5 порт отжирать часть от тех 20Г, которыми фабрика подключена к шине?

 

в идеале хочется построить схему, когда часть трафика будет ходить внутри ASIC'а и не будет занимать шину.

вот и интересно, такое вообще возможно или это не получится из-за архитектурных особенностей модуля?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this