Jump to content
Калькуляторы

3560 vs 3550 - неочевидный победитель high CPU usage

Доброго дня!

 

На аггрегации стоял у меня старый добрый 3550. Все было хорошо, но вот понадобилось мне больше чем 2 гигабитных порта, поэтому решил я его заменить на 3560, на котором их аж 4, да и поколение посвежее. Однако, при абсолютно идентичных настройках, перенесенных со старого, новый свич показал загрузку 6%-11%. При том что старый 3550 показывал 1%-2%.

Пробовал иосы:

c3560-advipservicesk9-mz.122-46.SE.bin

c3560-ipservicesk9-mz.122-52.SE.bin

c3560-ipservicesk9-mz.122-55.SE8.bin

 

Как так-то?!

 

Один раз даже в логах (у 3560-го) выскочило:

%PLATFORM_UCAST-4-PREFIX:  One or more, more specific prefixes could not be programmed into TCAM and are being covered by a less specific prefix, and the packets may be software forwarded

 

Получается что у 3560 серии TCAM меньше чем у 3550?

Edited by survivor

Share this post


Link to post
Share on other sites

sh sdm prefer гляньте на обоих, может просто забыли прописать нужный темплэйт ?

Share this post


Link to post
Share on other sites

Да нет.. На 3560:

#sh sdm prefer 
The current template is "desktop default" template.
The selected template optimizes the resources in
the switch to support this level of features for
8 routed interfaces and 1024 VLANs. 

 number of unicast mac addresses:                  6K
 number of IPv4 IGMP groups + multicast routes:    1K
 number of IPv4 unicast routes:                    8K
   number of directly-connected IPv4 hosts:        6K
   number of indirect IPv4 routes:                 2K
 number of IPv4 policy based routing aces:         0
 number of IPv4/MAC qos aces:                      0.5K
 number of IPv4/MAC security aces:                 1K

 

На 3550:

#sh sdm prefer 
The current template is the default template.
The selected template optimizes the resources in
the switch to support this level of features for
8 routed interfaces and 1K VLANs. 

number of unicast mac addresses:   5K
number of igmp groups:             1K
number of qos aces:                1K
number of security aces:           1K
number of unicast routes:          8K
number of multicast routes:        1K

Share this post


Link to post
Share on other sites

Погасите не используемые интерфейсы. LED - на этой серии свичей отжирает 7-8% CPU.

Ну а што говорит show proc cpu sorted то смотрели?

Share this post


Link to post
Share on other sites

Да нет.. На 3560:

 

На 3550:

 

Выберите другой шаблон - для l3 обычно routing рекомендуется.

Share this post


Link to post
Share on other sites

Погасите не используемые интерфейсы. LED - на этой серии свичей отжирает 7-8% CPU.

Ну а што говорит show proc cpu sorted то смотрели?

у меня всегда все не используемые порты = shutdown. Спасибо, буду теперь знать еще одну причину зачем так делать :)

Share this post


Link to post
Share on other sites

Выберите другой шаблон - для l3 обычно routing рекомендуется.

number of IPv4 unicast routes: 8K на каждом, но есть нюанс :-)

 

number of IPv4 unicast routes: 8K

number of directly-connected IPv4 hosts: 6K

number of indirect IPv4 routes: 2K

 

У вас там случаем не больше 2к маршрутов по сети бегает ?

Share this post


Link to post
Share on other sites
Выберите другой шаблон - для l3 обычно routing рекомендуется.

В desktop routing только 3K MAC адресов, этот свич L3 не терминирует, а делает qinq до браса, поэтому маков нужно много. L3 функционал задействован для ip multicast-routing (по определенным причинам там mvr не решение).

Edited by survivor

Share this post


Link to post
Share on other sites

К слову. Как раз с 3560.

 

sh sdm prefer routing

<почикано>

 

А, уже неважно :-)

 

Тогда совсем любопытно. Если он на л3 не терминирует, то почему он ругается на уникастовые префиксы ?

Share this post


Link to post
Share on other sites
number of IPv4 unicast routes: 8K на каждом, но есть нюанс :-)

 

number of IPv4 unicast routes: 8K

number of directly-connected IPv4 hosts: 6K

number of indirect IPv4 routes: 2K

 

У вас там случаем не больше 2к маршрутов по сети бегает ?

 

Интересный нюанс )) не, у меня 2000 маршрутов не наберется, а везде где могу суммирую сети

Прямо сейчас 750, может до 1000 в час пик вырастет

 

Дык, самое веселье в том, что 3550 в этой же конфигурации давал минимальный CPU!

 

Тогда совсем любопытно. Если он на л3 не терминирует, то почему он ругается на уникастовые префиксы ?

А черт его знает. Все IP интерфейсы которые на нем есть (их 13 штук) - они для ip pim только + еще один управление + еще loopback

post-61064-065451200 1416479963_thumb.png

Edited by survivor

Share this post


Link to post
Share on other sites

Помогите плз вот это проанализировать:

#sh platform tcam utilization 

CAM Utilization for ASIC# 0                      Max            Used
                                            Masks/Values    Masks/values

Unicast mac addresses:                        784/6272        193/1466  
IPv4 IGMP groups + multicast routes:          152/1216          9/41    
IPv4 unicast directly-connected routes:       784/6272        193/1466  
IPv4 unicast indirectly-connected routes:     272/2176        109/756   
IPv4 policy based routing aces:                 0/0             0/0     
IPv4 qos aces:                                768/768         260/260   
IPv4 security aces:                          1024/1024         76/76    

Note: Allocation of TCAM entries per feature uses
a complex algorithm. The above information is meant
to provide an abstract view of the current TCAM utilization

Share this post


Link to post
Share on other sites

Тогда совсем любопытно. Если он на л3 не терминирует, то почему он ругается на уникастовые префиксы ?

Вот вот.

Хотя когда сам сталкивался с подобным сообщением на me3400g оказалось что дело не в маршрутах а в большом количестве мак-адресов.

 

ТС: А что sh platform tcam util говорит?

Edited by NikAlexAn

Share this post


Link to post
Share on other sites

Помогите плз вот это проанализировать:

#sh platform tcam utilization 
IPv4 unicast indirectly-connected routes:     272/2176        109/756   

Вроде только в этой строчке наиболее близко к лимитам подбираются текущие, и то - по маскам.

А сообщение в лог насколько часто валит? По идее надо бы утилизацию посмотреть когда сообщение в лог выкинет.

Share this post


Link to post
Share on other sites

Сообщения в лог перестали сыпаться. Почему точно не могу сказать, после сообщения о нехватке иоса свич завис, сервис стоял и я и иос заменил и железку тоже, чтобы наверняка. Может опять повторится.

Но CPU все равно (см. график) выше чем у 3550.

 

На самом деле я два таких 3560 каталиста установил (в две точки то есть) вместо 3550. На обоих одинаковая картина - CPU сильно подскочил.

Share this post


Link to post
Share on other sites

Сообщения в лог перестали сыпаться. Почему точно не могу сказать, после сообщения о нехватке иоса свич завис, сервис стоял и я и иос заменил и железку тоже, чтобы наверняка. Может опять повторится.

Но CPU все равно (см. график) выше чем у 3550.

 

На самом деле я два таких 3560 каталиста установил (в две точки то есть) вместо 3550. На обоих одинаковая картина - CPU сильно подскочил.

Вот когда вылазит вышеупомянутое сообщение то железка выпадает в софтсвитчинг.

Если у вас количество маков на этом коммутаторе точно будет меньше 3000 то , возможно, переход на шаблон routing может помочь. Откуда то у вас ведь берётся "IPv4 unicast indirectly-connected routes(Masks/values): 109/756"

 

PS: Насчёт cpu - если в 100% не упирается то в общем то не страшно. А что sh proc cpu sor показывает?

Edited by NikAlexAn

Share this post


Link to post
Share on other sites

3560:

sh proc cpu sorted 
CPU utilization for five seconds: 7%/0%; one minute: 6%; five minutes: 6%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process 
193          91        44       2068  1.43%  0.12%  0.02%   1 Virtual Exec     
 34       11028       483      22832  0.47%  0.05%  0.00%   0 Per-minute Jobs  
186       42064    285763        147  0.15%  0.16%  0.15%   0 IP Input         
  4      283218     13332      21243  0.00%  0.86%  0.91%   0 Check heaps   

 

3550 на другой но похожей точке:

#sh proc cpu sorted 
CPU utilization for five seconds: 1%/0%; one minute: 0%; five minutes: 0%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process 
 73          36       109        330  0.47%  0.03%  0.00%   1 Virtual Exec     
 51     6915356   5185817       1333  0.39%  0.39%  0.39%   0 Vegas Statistics 
 93     1197068   5519098        216  0.15%  0.07%  0.06%   0 IP Input         
 43       13672  43380334          0  0.07%  0.00%  0.00%   0 Vegas LED Proces 
  8      223724   1320742        169  0.07%  0.00%  0.00%   0 ARP Input        

Edited by survivor

Share this post


Link to post
Share on other sites

3560:

Вроде ничего криминального - попробуйте так поэксплуатировать.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this