[atdp03]

Мигрируем на qinq, с классической схемы влан на дом.

ASR1002-X.

 

Для унификации, делаем примерно так:

interface Port-channel1.896

encapsulation dot1Q 896 second-dot1q 250-3000

 

На 560-м внешнем влане, оно поломалось:

Ни создать:

Jan 19 17:05:00: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_TABLE_FULL: SIP0/1: Failed to add VLAN outer 896 inner 250-3000 to interface TenGigabitEthernet0/1/0

 

Ни убить:

Jan 19 17:03:39: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_ERROR: SIP0/3: Failed to delete VLAN outer 896 inner 250-3000 to/from interface TenGigabitEthernet0/3/0 (status = 2)

 

Посокращали на нескольких ранее мигрировавших внутренний диапазон до 250-1500, пересоздали пролемный интерфейс на ASR - заработало.

 

Вопрос к залу:

Это фатально, и судьба сокращать запас во внутреннем диапазоне, либо можно что-то покрутить?

[tehmeh]

Я бы подкрутил в сторону увеличения кол-ва SVLAN, вас не пугает такой объем MAC-адресов в одном VLAN?

[Vinc]

cam-таблица строится без учета CVLAN?

[alks]

show platform hardware qfp active tcam resource-manager usage

покажите

[atdp03]

show platform hardware qfp active tcam resource-manager usage

 

#show platform hardware qfp active tcam resource-manager usage
QFP TCAM Usage Information

80 Bit Region Information
--------------------------
Name                                : Leaf Region #0
Number of cells per entry           : 1
Current 80 bit entries used         : 0
Current used cell entries           : 0
Current free cell entries           : 0

160 Bit Region Information
--------------------------
Name                                : Leaf Region #1
Number of cells per entry           : 2
Current 160 bits entries used       : 1273
Current used cell entries           : 2546
Current free cell entries           : 1550

320 Bit Region Information
--------------------------
Name                                : Leaf Region #2
Number of cells per entry           : 4
Current 320 bits entries used       : 0
Current used cell entries           : 0
Current free cell entries           : 4096


Total TCAM Cell Usage Information
----------------------------------
Name                                : TCAM #0 on CPP #0
Total number of regions             : 3
Total tcam used cell entries        : 2546
Total tcam free cell entries        : 521742
Threshold status                    : below critical limit

 

Я бы подкрутил в сторону увеличения кол-ва SVLAN

 

Это hw-module subslot ethernet vlan unlimited?

Собственно, увеличения SVLAN не происходит. Они уже все физически есть на железках, и работают без проблем, просто мигрируют из одиночного в QinQ.

 

вас не пугает такой объем MAC-адресов в одном VLAN?

 

Опять же, с т.з. SVLAN ничего не меняется. Один SVLAN на дом. 50 CVLAN на свич.

Плюс запас CVLAN, которого судя по всему слишком много.

 

cam-таблица строится без учета CVLAN?

 

Вот и я не могу уложить в голове математику.

 

Текущее наличное значение CVLAN явно на порядки выше формально заявленных значений (8100 на SPA, либо даже 4к*3 активных порта.

Т.е. похоже в случае ambiguous qinq - да, считаются только SVLAN.

Но тогда нам даже до порога 8100 сильно далеко.

 

#sh vlans dot1q internal | cou .1Q
Number of lines which match regexp = 1690

Изменено 20 января, 2016 пользователем atdp03

[alks]

а в логах ругани нет странной?

[atdp03]

а в логах ругани нет странной?

 

При loglevel warning - в логе стерильно. Кроме упомянутых строк, разумеется.

[furai]

Warning бесполезен, надо минимум info. А софт у вас какой?

На предыдущем месте работы один из брасов принимал вланы от 100-150 тыс. абонов vlan-per-switch. Vlan unlimited использовали конечно.

[atdp03]

Сделал logg buf debug.

 

Эффект стабилен:

 

Jan 22 15:24:19: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_TABLE_FULL: SIP0/1: Failed to add VLAN outer 672 inner 250-3000 to interface TenGigabitEthernet0/1/0Jan 22 15:24:19: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_TABLE_FULL: SIP0/2: Failed to add VLAN outer 672 inner 250-3000 to interface TenGigabitEthernet0/2/0Jan 22 15:24:19: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_TABLE_FULL: SIP0/3: Failed to add VLAN outer 672 inner 250-3000 to interface TenGigabitEthernet0/3/0Jan 22 15:25:37: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_ERROR: SIP0/2: Failed to delete VLAN outer 672 inner 250-3000 to/from interface TenGigabitEthernet0/2/0 (status = 2)Jan 22 15:25:37: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_ERROR: SIP0/3: Failed to delete VLAN outer 672 inner 250-3000 to/from interface TenGigabitEthernet0/3/0 (status = 2)Jan 22 15:25:37: %ASR1000_SPA_ETHER-3-TCAM_QINQ_VLAN_ERROR: SIP0/1: Failed to delete VLAN outer 672 inner 250-3000 to/from interface TenGigabitEthernet0/1/0 (status = 2)

 

 

Другой ругани нет.

 

Одна железка asr1002x-universalk9.03.13.00.S.154-3.S-ext.SPA.bin, вторая asr1002x-universalk9.03.11.00.S.154-1.S-std.SPA.bin.

На второй, кстати, даже такой ругани нет. Молча съедает команды, но не работает.

[uxcr]

Интересная штука.

Мб стоит попробовать стабильный иос? Есть 3.16.01a.S, если что.

[atdp03]

Перепроверился.

 

Урезал внутренние диапазоны вланов в полусотне внешних, с 250-3000 до 250-1500.

Упомянутый в предыдущем сообщении влан без проблем мигрировал.

 

Понять бы во что оно упирается и, самое главное, где это смотреть.

[mikezzzz]

попробуйте посмотреть так

 

ipc-con <slot> <bay>

 

slot вроде как номер SIP, bay вроде как номер SPA

 

дальше

show hw-module subslot 0 tcam

и дальше на ваше усмотрение, сам я такого секса пока не имел в этой области, в пятницу вечером очково %)

[atdp03]

mikezzzz

 

Это взаимосвязанные команды? Нет у меня такого:

 

ASR1002-X(config)#ipc?
ipc

ASR1002-X(config)#ipc ?
 buffers       Resize ipc buffer pool
 header-cache  Resize IPC Permanent cache
 holdq         Configure IPC holdq parameters
 zone          Configure an IPC Zone


ASR1002-X#sh hw-module subslot ?
 <0-0>/<0-3>  Enter module slot/subslot number
 all          Select all supported modules in the subslot level

ASR1002-X#sh hw-module subslot 0/1 ?
 entity        entity MIB details - not intended for production use
 fpd           Show Field Programmable Devices (FPD) information
 oir           Show oir summary
 sensors       Environmental sensor summary
 subblock      subblock details - not intended for production use
 tech-support  Show subslot information for Tech-Support
 transceiver   pluggable transceiver module

[mikezzzz]

точно нет? это скрытая команда, у меня на 3.7 и на 3.10 есть,

из enable просто пишу ipc-con 0 1

[atdp03]

Оно насколько опасно? =)

В любом случае отложу до понедельника.

 

Ну и show hw-module subslot 0 tcam тоже нет. Ни по нумерации, ни по tcam.

[mikezzzz]

subslot вроде как тот же параметр что и bay то есть номер SPA, у меня 0 для примера :)

 

насчет безопасности хз, но циска рекомендует туда лезть при проблемах со счетчиками по статистике per VLAN так что думаю вполне безопасно для утра понедельника ))

[atdp03]

Ну, в-общем, 1 в 1 сделать не получилось, но нащупал интересное:

 

Slot-0-2>sh hw-module subslot 2 tcam region vlan
TCAM name         : VLAN2
Number of regions : 10
Cells in use      : 8140
Free cells        : 52
Masks in use      : 8140
Free_mask         : 52

Region                           CelUse FrCel Cel/Ent MxEnt EntUse MskUse FrMsk
Vlan Port L2PT Region                 0    30       1    30      0      0    30
Vlan Port Region                      1    11       1    12      1      1    11
Vlan QinQ L2PT Region                 0     0       1     0      0      0     0
Vlan QinQ Region                   6848     0       1     0   6848   6848     0
Vlan QinQ Any L2PT Region             0     0       1     0      0      0     0
Vlan QinQ Any Region                  0     0       1     0      0      0     0
Vlan Vlan L2PT Region                 0     0       1     0      0      0     0
Vlan Vlan Filter Region            1289    23       1     0   1289   1289    23
Vlan Port Catch All Region            1    11       1    12      1      1    11
Vlan Catch-all Region                 1     0       1     1      1      1     0

 

А это - с железки на которой урезана часть внутренних диапазонов:

 

Slot-0-2>sh hw-module subslot 2 tcam region vlan
TCAM name         : VLAN2
Number of regions : 10
Cells in use      : 7822
Free cells        : 370
Masks in use      : 7822
Free_mask         : 370

Region                           CelUse FrCel Cel/Ent MxEnt EntUse MskUse FrMsk
Vlan Port L2PT Region                 0    30       1    30      0      0    30
Vlan Port Region                      1    11       1    12      1      1    11
Vlan QinQ L2PT Region                 0     0       1     0      0      0     0
Vlan QinQ Region                   6707   159       1     0   6707   6707   159
Vlan QinQ Any L2PT Region             0   159       1     0      0      0   159
Vlan QinQ Any Region                  0     0       1     0      0      0     0
Vlan Vlan L2PT Region                 0     0       1     0      0      0     0
Vlan Vlan Filter Region            1112    23       1     0   1112   1112    23
Vlan Port Catch All Region            1    11       1    12      1      1    11
Vlan Catch-all Region                 1     0       1     1      1      1     0

 

Учитывая что комбинация "encap do xxx se xxx-xxx" убивает все сессии, даже если они в неизменяющемся диапазоне - насколько болезненно

hw-module subslot ethernet vlan unlimited

?

Изменено 25 января, 2016 пользователем atdp03

[mikezzzz]

хороший вопрос, думаю тут только методом антинаучного тыка)

 

однако, упоминают следующее:

 

When the hw-modulesubslotethernetvlanunlimited

command is configured, VLAN filtering, accounting,and classification are no longer performed by the Ethernet SPA and all 802.1Q frames and QinQ frames areprocessed by the Quantum Flow Processor (QFP) on the Cisco ASR1000 Series Router. Sending all of thedot1q VLAN frames to the QFP (without filtering) may reduce the QFP packet switching performance

[atdp03]

Ага, это я видел.

В принципе, у нас нагрузка на QFP мониторится, аномалии увижу. К тому же там сейчас копейки - 19% в пиках.

 

Меня больше интересует умрут ли активные абонентские сессии в момент введения этой команды. Ибо пережить десяток-полтора тысяч реконнектов pppoe с одной железки я смогу, а вот с ipoe всё будет печальнее.

Начну ночью с чисто pppoe железки, благо именно она упирается в потолок насмерть.

[atdp03]

Ну в-общем да, оно помогло.

 

Перед включением крыжика:

 

Slot-0-1>sh hw-module subslot 1 tcam region vlan
TCAM name         : VLAN1
Number of regions : 10
Cells in use      : 8140
Free cells        : 52
Masks in use      : 8140
Free_mask         : 52

Region                           CelUse FrCel Cel/Ent MxEnt EntUse MskUse FrMsk
Vlan Port L2PT Region                 0    30       1    30      0      0    30
Vlan Port Region                      1    11       1    12      1      1    11
Vlan QinQ L2PT Region                 0     0       1     0      0      0     0
Vlan QinQ Region                   6848     0       1     0   6848   6848     0
Vlan QinQ Any L2PT Region             0     0       1     0      0      0     0
Vlan QinQ Any Region                  0     0       1     0      0      0     0
Vlan Vlan L2PT Region                 0     0       1     0      0      0     0
Vlan Vlan Filter Region            1289    23       1     0   1289   1289    23
Vlan Port Catch All Region            1    11       1    12      1      1    11
Vlan Catch-all Region                 1     0       1     1      1      1     0

 

После:

Slot-0-1>sh hw-module subslot 1 tcam region vlan
TCAM name         : VLAN1
Number of regions : 10
Cells in use      : 3
Free cells        : 8189
Masks in use      : 3
Free_mask         : 8189

Region                           CelUse FrCel Cel/Ent MxEnt EntUse MskUse FrMsk
Vlan Port L2PT Region                 0    30       1    30      0      0    30
Vlan Port Region                      1    11       1    12      1      1    11
Vlan QinQ L2PT Region                 0  1689       1     0      0      0  1689
Vlan QinQ Region                      0  3424       1     0      0      0  3424
Vlan QinQ Any L2PT Region             0  1735       1     0      0      0  1735
Vlan QinQ Any Region                  0     0       1     0      0      0     0
Vlan Vlan L2PT Region                 0   322       1     0      0      0   322
Vlan Vlan Filter Region               0   668       1     0      0      0   668
Vlan Port Catch All Region            1    11       1    12      1      1    11
Vlan Catch-all Region                 1     0       1     1      1      1     0

 

Все вланы которые работали на одной ASR, но не работали на второй, полностью утилизированной - заработали на ней без доп. телодвижений.

 

Изменений в нагрузке QFP не заметил.

 

Остался один вопрос - как _теперь_ мониторить число вланов, и приближение к сдвинутому порогу.

 

Из забавного - отвалились snmp счётчики на вланах. Видимо они были завязаны на tcam. Счётчики на физических интерфейсах продолжили работать.

 

И да - включение крыжика было абсолютно безболезненным.

Изменено 26 января, 2016 пользователем atdp03

[mikezzzz]

надо взять на заметку)

[a290]

Подниму тему.

Вычитал в документации к ASR1k ( http://www.cisco.com/c/en/us/td/docs/interfaces_modules/shared_port_adapters/configuration/ASR1000/asr1000-sip-spa-book/asr-spa-eth-ovw.pdf )

The following maximum number of VLANs per SPA:

◦ Up to 8100 VLANs per SPA — For all Ethernet SPAs supported on the Cisco ASR 1000 Series Aggregation Services Routers in software releases prior to Cisco IOS XE Release 2.5.

◦ Up to 4094 VLANs per port per SPA — For all Ethernet SPAs supported on the Cisco ASR 1000 Series Aggregation Services Routers beginning in Cisco IOS XE Release 2.5 using the hw-module subslot ethernet vlan unlimited command.

 

Правильно ли я понимаю, что для ASR1002X с 3мя SPA-1X10GE-L-V2 максимальное количество qinq vlan-per-user абонентов будет 12282 (3 10Gbps порта * 4094 QinQ VLANs per port)? Или это ограничение только на количество SPVLAN?

[atdp03]

Методом антинаучного тыка, в прямом эфире на одной из обсуждавшихся тут железок:

 

ASR1002-X#show subscriber session | cou Lterm
Number of lines which match regexp = 15281

 

Там есть несколько сотен не QinQ абонентов, но математика в любом случае остаётся непознаваемой.

Изменено 22 февраля, 2017 пользователем atdp03