[rdntw]

Немного оффтоп, но новую тему начинать не хочется.

Посмотрел архитектуру ASR9K.

Слайд "ASR9000: линейная карта A9K-4T (4x10GE)"

Там снова какая-то лажа:

Сразу видно, что есть Bgidge FPGA, которые подключены к Fabric Interface на скорости 30Гбит/с.

Как на два порта 10Г может быть 30Гбит/с? Опять переподписка 4:3? Или имеется ввиду 30Гбит/с полудуплекса?

 

https://supportforums.cisco.com/ru/video/12061581

[VPN]

Там два асика на 20Г, это физический предел шины. И циско указывает это как

dCEF720 Modules: Up to 48 Mpps (per slot) / 2x 20 Gbps (dedicated per slot)

Однако такие условия в реальности почти недостижимы. И многие упираются в 32Гбит/с на картах с DFC.

А можно про это поподробней, пожалуйста? Т.е. те fpga, которые подключают группы по 2 порта и имеют пропускную способность якобы 16 Гбит/с на самом деле пропускают только 8 Гбит/с? Откуда ограничение в 32 Гбит/с берется?

[mikezzzz]

проще на схему глянуть с описанием

 

6708

[VPN]

проще на схему глянуть с описанием

 

6708

Спасибо за схему. Ну вот у меня остается сомнение. Исходя из нее получается, что таки 40G достижимо на линейке, а 32 это между определенными группами портов. Сомнение, что не указано - эти 32 это маркетинговые 32 (т.е. 16) или нормальные (не умноженные на два). Т.к. если их умножили, то тогда 40 не очень получается, а только 32 с линейки можно снять.

[mikezzzz]

VPN, мы, кстати, за какой модуль говорим? 6704 или 6708?

 

если про 6708 со схемы, то там 16gbps full duplex + 16 gbps full duplex так как речь идет о двух FPGA MUX и 4 портах

 

если по сабжу = 6704

40 gbps c DFC картой это цифра в вакууме, там свои оверхеды + эксплуатировать модуль на 100% вряд ли представляется возможным, начнутся регулярные прострелы с потерями и затыками на интерфейсах до фабрик. ну и у 6704 очень маленькие буферы, а так да, по бумагам 40gbps :)

[Butch3r]

В итоге - как лучше использовать порты на 6708?

[buckethead]

Мы отключаем переподписку no hw-module X oversubscription, переподписанные порты (3, 4, 7, 8) отключаются системой.

Каждый из оставшихся портов не нагружаем в дуплексе больше 16.

[mikezzzz]

В итоге - как лучше использовать порты на 6708?

если используется много портов, например все 8, - группировать так что бы ingress и egress порты для основных потоков трафика были в одних и тех же группах портов (1,4,5,7 и 2,3,6,8) . Так же, не допускать что бы подгруппы портов 1/4, 5/7, 2/3, 6/8 в сумме имели больше 16 Gbps full duplex

[Butch3r]

А если трафик идёт из одного пора в порт - например аплинк и сорм. Правильнее его включить в разные группы или наоборот поместить в одну?

[buckethead]

А если трафик идёт из одного пора в порт - например аплинк и сорм. Правильнее его включить в разные группы или наоборот поместить в одну?

Для такого кейса порты были в рамках одного fpga, но потом ушли на сплитеры, так как mirroring на c6500 это гибель полная.

[mikezzzz]

А если трафик идёт из одного пора в порт - например аплинк и сорм. Правильнее его включить в разные группы или наоборот поместить в одну?

в одну, так же рассмотреть возможность сказать - no monitor session egress replication-mode centralized

так как egress span в centralized mode ходит аж до супа, загружая фабрику

[VPN]

VPN, мы, кстати, за какой модуль говорим? 6704 или 6708?

 

если про 6708 со схемы, то там 16gbps full duplex + 16 gbps full duplex так как речь идет о двух FPGA MUX и 4 портах

 

если по сабжу = 6704

40 gbps c DFC картой это цифра в вакууме, там свои оверхеды + эксплуатировать модуль на 100% вряд ли представляется возможным, начнутся регулярные прострелы с потерями и затыками на интерфейсах до фабрик. ну и у 6704 очень маленькие буферы, а так да, по бумагам 40gbps :)

 

Мы отключаем переподписку no hw-module X oversubscription, переподписанные порты (3, 4, 7, 8) отключаются системой.

Каждый из оставшихся портов не нагружаем в дуплексе больше 16.

В итоге - как лучше использовать порты на 6708?

если используется много портов, например все 8, - группировать так что бы ingress и egress порты для основных потоков трафика были в одних и тех же группах портов (1,4,5,7 и 2,3,6,8) . Так же, не допускать что бы подгруппы портов 1/4, 5/7, 2/3, 6/8 в сумме имели больше 16 Gbps full duplex

 

Меня больше 6708 интересует, в 6704 смысла не вижу (буферы + отсутствие dfc по дефолту и куча жалоб на дропы от страждущих).

Поправьте меня, если я неправильно понимаю, пожалуйста. Я вроде не тупой, но тут уже подвисаю, хочется до конца осознать все, чтобы не поймать в будущем веселых сюрпризов. Сразу оговорюсь, что под Full Duplex я подразумеваю, когда мы имеем указанную пропускную способность одновременно в двух направлениях. Т.е. когда мы говорим о 16Gbps full duplex подразумеваем, что это 16 в две стороны или маркетинговых 32Гбит/с. Ниже все цифры буду приводить подразумевая full duplex.

Итак, имеем 2 FIRE ASIC, каждый из которых подключен к фабрике по 20 Гбит/с соединению, а также к FGPA Mux двумя каналами по 16 Гбит/с. Т.е. получается 32Гбит/с на один FIRE ASIC. Что означает, что 4 порта, находящихся в одной группе в теории могут обмениваться данными на 32Гбит/с, но с другими портами (в том числе, и внутри этой же линейной карты) могут обмениваться только на скорости 20Гбит/с (ведь никаких связей между группами портов внутри линейки нет?). Таким образом, я могу включить 4 порта, которые шлют трафик только между собой в одну группу портов и получить переподписку 1:1,25. Но только с одним исключением, каждое подключение 16 Гбит/с дается на два порта в отдельности. Таким образом, идеальная схема это включение двух групп по 2 порта между которыми бежит трафик по 16Гбит/с. Ну а если нам нужно пойти на фабрику, то лишь 20Гбит/с из 32Гбит/с пролезут туда, оставляя 12 Гбит/с для локальной коммутации. Верно?

 

А если трафик идёт из одного пора в порт - например аплинк и сорм. Правильнее его включить в разные группы или наоборот поместить в одну?

Для такого кейса порты были в рамках одного fpga, но потом ушли на сплитеры, так как mirroring на c6500 это гибель полная.

А можно поподробней про проблему с mirroring? А то очень многие жалуются, что все очень плохо, тут есть мысли перейти на 6500 и там понадобиться mirror, причем, скорее всего с policy map на выходе, поэтому, было бы интересно послушать про грабли.

[necrozz]

А можно поподробней про проблему с mirroring? А то очень многие жалуются, что все очень плохо, тут есть мысли перейти на 6500 и там понадобиться mirror, причем, скорее всего с policy map на выходе, поэтому, было бы интересно послушать про грабли.

Сначала дропы внутри mirror'a, потом дропы на всю коробку. Причем можно дойти почти до полной деградации сервиса. У нас например SUP720-3B загнулся на 3 гигабитной SPAN сессии.

[VPN]

Сначала дропы внутри mirror'a, потом дропы на всю коробку. Причем можно дойти почти до полной деградации сервиса. У нас например SUP720-3B загнулся на 3 гигабитной SPAN сессии.

Это с линейными картами с DFC? Т.е. проблемы не связаны с перегрузкой шины или чего-то в таком духе? До корня проблемы не получилось докопаться?

[Butch3r]

А как у 65/76 по нагрузке между платами?

Есть 76 с 6704. Планируется модернизация. Докупили 6708 карточек, теперь решаю как всё это правильно включить. С СОРМ ясно - а как быть с брасом - включить его рядом в эту же карту или включить в 6704 с DFC?

[necrozz]

Сначала дропы внутри mirror'a, потом дропы на всю коробку. Причем можно дойти почти до полной деградации сервиса. У нас например SUP720-3B загнулся на 3 гигабитной SPAN сессии.

Это с линейными картами с DFC? Т.е. проблемы не связаны с перегрузкой шины или чего-то в таком духе? До корня проблемы не получилось докопаться?

Коробка стояла с 2x6704 с DFC + 6724 с CFC. Трафик SPAN сессии лился на port-channel на 6724. До конца разобраться не удалось, объемы трафика выросли и я уполз на сплиттеры. Но эмпирически удалось выяснить, например, что в в нашей ситуации 65 очень не любит если RSPAN vlan приходит через port-channel ) Это чревато массовыми input drop'ами на всей коробке при не самых больших объемах трафика внутри RSPAN vlan'а.

[mikezzzz]

А можно поподробней про проблему с mirroring? А то очень многие жалуются, что все очень плохо, тут есть мысли перейти на 6500 и там понадобиться mirror, причем, скорее всего с policy map на выходе, поэтому, было бы интересно послушать про грабли.

сливали более 10G SPAN на 6500, дропы были только на output с миррор порта.

использовали no monitor session egress replication-mode centralized, с centralized суп захлебывался от SPAN трафика

[stalker86]

если используется много портов, например все 8, - группировать так что бы ingress и egress порты для основных потоков трафика были в одних и тех же группах портов (1,4,5,7 и 2,3,6,8) . Так же, не допускать что бы подгруппы портов 1/4, 5/7, 2/3, 6/8 в сумме имели больше 16 Gbps full duplex

 

А на 6509 как группировать трафик по слотам?

[VPN]

если используется много портов, например все 8, - группировать так что бы ingress и egress порты для основных потоков трафика были в одних и тех же группах портов (1,4,5,7 и 2,3,6,8) . Так же, не допускать что бы подгруппы портов 1/4, 5/7, 2/3, 6/8 в сумме имели больше 16 Gbps full duplex

 

А на 6509 как группировать трафик по слотам?

А разве имеет значение какое шасси? Исключение по-моему только одно - 6513, там не все модули подключаются двойными соединениями к фабрике.