[survivor]

Доброго дня!

 

На аггрегации стоял у меня старый добрый 3550. Все было хорошо, но вот понадобилось мне больше чем 2 гигабитных порта, поэтому решил я его заменить на 3560, на котором их аж 4, да и поколение посвежее. Однако, при абсолютно идентичных настройках, перенесенных со старого, новый свич показал загрузку 6%-11%. При том что старый 3550 показывал 1%-2%.

Пробовал иосы:

c3560-advipservicesk9-mz.122-46.SE.bin

c3560-ipservicesk9-mz.122-52.SE.bin

c3560-ipservicesk9-mz.122-55.SE8.bin

 

Как так-то?!

 

Один раз даже в логах (у 3560-го) выскочило:

%PLATFORM_UCAST-4-PREFIX:  One or more, more specific prefixes could not be programmed into TCAM and are being covered by a less specific prefix, and the packets may be software forwarded

 

Получается что у 3560 серии TCAM меньше чем у 3550?

Edited November 20, 2014 by survivor

[twh.mega]

sh sdm prefer гляньте на обоих, может просто забыли прописать нужный темплэйт ?

[survivor]

Да нет.. На 3560:

#sh sdm prefer 
The current template is "desktop default" template.
The selected template optimizes the resources in
the switch to support this level of features for
8 routed interfaces and 1024 VLANs. 

 number of unicast mac addresses:                  6K
 number of IPv4 IGMP groups + multicast routes:    1K
 number of IPv4 unicast routes:                    8K
   number of directly-connected IPv4 hosts:        6K
   number of indirect IPv4 routes:                 2K
 number of IPv4 policy based routing aces:         0
 number of IPv4/MAC qos aces:                      0.5K
 number of IPv4/MAC security aces:                 1K

 

На 3550:

#sh sdm prefer 
The current template is the default template.
The selected template optimizes the resources in
the switch to support this level of features for
8 routed interfaces and 1K VLANs. 

number of unicast mac addresses:   5K
number of igmp groups:             1K
number of qos aces:                1K
number of security aces:           1K
number of unicast routes:          8K
number of multicast routes:        1K

[Smoke]

Погасите не используемые интерфейсы. LED - на этой серии свичей отжирает 7-8% CPU.

Ну а што говорит show proc cpu sorted то смотрели?

[NikAlexAn]

Да нет.. На 3560:

 

На 3550:

 

Выберите другой шаблон - для l3 обычно routing рекомендуется.

[survivor]

Погасите не используемые интерфейсы. LED - на этой серии свичей отжирает 7-8% CPU.

Ну а што говорит show proc cpu sorted то смотрели?

у меня всегда все не используемые порты = shutdown. Спасибо, буду теперь знать еще одну причину зачем так делать :)

[twh.mega]

Выберите другой шаблон - для l3 обычно routing рекомендуется.

number of IPv4 unicast routes: 8K на каждом, но есть нюанс :-)

 

number of IPv4 unicast routes: 8K

number of directly-connected IPv4 hosts: 6K

number of indirect IPv4 routes: 2K

 

У вас там случаем не больше 2к маршрутов по сети бегает ?

[survivor]

Выберите другой шаблон - для l3 обычно routing рекомендуется.

В desktop routing только 3K MAC адресов, этот свич L3 не терминирует, а делает qinq до браса, поэтому маков нужно много. L3 функционал задействован для ip multicast-routing (по определенным причинам там mvr не решение).

Edited November 20, 2014 by survivor

[twh.mega]

К слову. Как раз с 3560.

 

sh sdm prefer routing

<почикано>

 

А, уже неважно :-)

 

Тогда совсем любопытно. Если он на л3 не терминирует, то почему он ругается на уникастовые префиксы ?

[survivor]

number of IPv4 unicast routes: 8K на каждом, но есть нюанс :-)

 

number of IPv4 unicast routes: 8K

number of directly-connected IPv4 hosts: 6K

number of indirect IPv4 routes: 2K

 

У вас там случаем не больше 2к маршрутов по сети бегает ?

 

Интересный нюанс )) не, у меня 2000 маршрутов не наберется, а везде где могу суммирую сети

Прямо сейчас 750, может до 1000 в час пик вырастет

 

Дык, самое веселье в том, что 3550 в этой же конфигурации давал минимальный CPU!

 

Тогда совсем любопытно. Если он на л3 не терминирует, то почему он ругается на уникастовые префиксы ?

А черт его знает. Все IP интерфейсы которые на нем есть (их 13 штук) - они для ip pim только + еще один управление + еще loopback

Edited November 20, 2014 by survivor

[survivor]

Помогите плз вот это проанализировать:

#sh platform tcam utilization 

CAM Utilization for ASIC# 0                      Max            Used
                                            Masks/Values    Masks/values

Unicast mac addresses:                        784/6272        193/1466  
IPv4 IGMP groups + multicast routes:          152/1216          9/41    
IPv4 unicast directly-connected routes:       784/6272        193/1466  
IPv4 unicast indirectly-connected routes:     272/2176        109/756   
IPv4 policy based routing aces:                 0/0             0/0     
IPv4 qos aces:                                768/768         260/260   
IPv4 security aces:                          1024/1024         76/76    

Note: Allocation of TCAM entries per feature uses
a complex algorithm. The above information is meant
to provide an abstract view of the current TCAM utilization

[NikAlexAn]

Тогда совсем любопытно. Если он на л3 не терминирует, то почему он ругается на уникастовые префиксы ?

Вот вот.

Хотя когда сам сталкивался с подобным сообщением на me3400g оказалось что дело не в маршрутах а в большом количестве мак-адресов.

 

ТС: А что sh platform tcam util говорит?

Edited November 20, 2014 by NikAlexAn

[NikAlexAn]

Помогите плз вот это проанализировать:

#sh platform tcam utilization 
IPv4 unicast indirectly-connected routes:     272/2176        109/756   

Вроде только в этой строчке наиболее близко к лимитам подбираются текущие, и то - по маскам.

А сообщение в лог насколько часто валит? По идее надо бы утилизацию посмотреть когда сообщение в лог выкинет.

[survivor]

Сообщения в лог перестали сыпаться. Почему точно не могу сказать, после сообщения о нехватке иоса свич завис, сервис стоял и я и иос заменил и железку тоже, чтобы наверняка. Может опять повторится.

Но CPU все равно (см. график) выше чем у 3550.

 

На самом деле я два таких 3560 каталиста установил (в две точки то есть) вместо 3550. На обоих одинаковая картина - CPU сильно подскочил.

[NikAlexAn]

Сообщения в лог перестали сыпаться. Почему точно не могу сказать, после сообщения о нехватке иоса свич завис, сервис стоял и я и иос заменил и железку тоже, чтобы наверняка. Может опять повторится.

Но CPU все равно (см. график) выше чем у 3550.

 

На самом деле я два таких 3560 каталиста установил (в две точки то есть) вместо 3550. На обоих одинаковая картина - CPU сильно подскочил.

Вот когда вылазит вышеупомянутое сообщение то железка выпадает в софтсвитчинг.

Если у вас количество маков на этом коммутаторе точно будет меньше 3000 то , возможно, переход на шаблон routing может помочь. Откуда то у вас ведь берётся "IPv4 unicast indirectly-connected routes(Masks/values): 109/756"

 

PS: Насчёт cpu - если в 100% не упирается то в общем то не страшно. А что sh proc cpu sor показывает?

Edited November 20, 2014 by NikAlexAn

[survivor]

3560:

sh proc cpu sorted 
CPU utilization for five seconds: 7%/0%; one minute: 6%; five minutes: 6%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process 
193          91        44       2068  1.43%  0.12%  0.02%   1 Virtual Exec     
 34       11028       483      22832  0.47%  0.05%  0.00%   0 Per-minute Jobs  
186       42064    285763        147  0.15%  0.16%  0.15%   0 IP Input         
  4      283218     13332      21243  0.00%  0.86%  0.91%   0 Check heaps   

 

3550 на другой но похожей точке:

#sh proc cpu sorted 
CPU utilization for five seconds: 1%/0%; one minute: 0%; five minutes: 0%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process 
 73          36       109        330  0.47%  0.03%  0.00%   1 Virtual Exec     
 51     6915356   5185817       1333  0.39%  0.39%  0.39%   0 Vegas Statistics 
 93     1197068   5519098        216  0.15%  0.07%  0.06%   0 IP Input         
 43       13672  43380334          0  0.07%  0.00%  0.00%   0 Vegas LED Proces 
  8      223724   1320742        169  0.07%  0.00%  0.00%   0 ARP Input        

Edited November 20, 2014 by survivor

[NikAlexAn]

3560:

Вроде ничего криминального - попробуйте так поэксплуатировать.