SCE: высокая загрузка ТР

[shicoy]

Нужен совет, загрузка трафик процессоров на SCE2020 под 80%, причем трафика через нее идет примерно 1,6Гбит на вход и 1Гбит на выход. Т.е. далеко от ее пороговых значений. Кол-во пакетов на интерфейсе так соизмеримо с кол-во трафика (120-150к).

Посоветуй как выяснить почему такая высокая нагрузка?

Софт 3.6.5

[alex.kwan]

Нужен совет, загрузка трафик процессоров на SCE2020 под 80%, причем трафика через нее идет примерно 1,6Гбит на вход и 1Гбит на выход. Т.е. далеко от ее пороговых значений. Кол-во пакетов на интерфейсе так соизмеримо с кол-во трафика (120-150к).

Посоветуй как выяснить почему такая высокая нагрузка?

Софт 3.6.5

 

 

А почему Вы думаете, что 2,6 гигабит трафика это далеко от максимальных значений? она в теоретическом максимуме может только 4 сделать, а в практическом наверное около 3,5 будет.

[Дятел]

3,6Г, дальше пропускает трафик не обрабатывая.

[Дятел]

хм.....а как вы нагрузку ЦПУ смотрите? не нашел даже....

[shicoy]

А почему Вы думаете, что 2,6 гигабит трафика это далеко от максимальных значений? она в теоретическом максимуме может только 4 сделать, а в практическом наверное около 3,5 будет.

Ну все таки 3,6Гбита и 2,6Гбита запас 1Гбит есть.

И судя по симтомам железка уходит как раз в байпасс, хотя на 100% сказать не могу т.к. не знаю где проверить.

 

хм.....а как вы нагрузку ЦПУ смотрите? не нашел даже....

через SNMP

http://www.cisco.com/en/US/docs/cable/serv_exch/serv_control/broadband_app/rel36x/swcfg2000/ProprietaryMIBRef.html#wp1073249

[shicoy]

заметил в логах такие месседжи

011-03-07 00:35:55 | INFO | CPU #000 | Stopped filtering packets of type 'UDP' received on interface # 0 (subscriber). module # 1. Reason: Stopped filtering for an administrative pause

2011-03-07 00:35:55 | INFO | CPU #000 | Stopped filtering packets of type 'UDP Fragments' received on interface # 0 (subscriber). module # 1. Reason: Stopped filtering for an administrative pause

2011-03-07 00:35:55 | INFO | CPU #000 | Stopped filtering packets of type 'TCP SYN' received on interface # 0 (subscriber). module # 1. Reason: Stopped filtering for an administrative pause

2011-03-07 00:35:55 | INFO | CPU #000 | Stopped filtering packets of type 'TCP No-SYN + RST' received on interface # 0 (subscriber). module # 1. Reason: Stopped filtering for an administrative pause

2011-03-07 00:38:40 | WARN | CPU #000 | 0x618 Rx pause packets were identified on port 0. So far 0x091219a8 such packets were seen on this port. Please note that such packets might cause serious network problem and system reboot.

 

что бы они значали понять правда сложно

[Дятел]

текущий суммарный трафик 1,8Г, процессоры 31-34%.

[shicoy]

ну вот это нормально, соотвественно у меня должен быть 50-60%. а не 80%...

осталось понять причины откуда такая нагрузка.

[shefys]

Вы лучше PPS сравните.

[shicoy]

ну скорее даже active flow на ТП, у меня порядка 20-25к на каждом

[vitalyb]

2011-03-07 00:38:40 | WARN | CPU #000 | 0x618 Rx pause packets were identified on port 0. So far 0x091219a8 such packets were seen on this port. Please note that such packets might cause serious network problem and system reboot.

могу сильно ошибаться, но похоже на flow control

[shicoy]

flow control выключен был.

кстати, а flow-control может влиять на CPU?

[shicoy]

откопал такую статистику:

#show interface LineCard 0 flow-open-rate

Open Rates for HW (non-significant) flows
-----------------------------------------

Current flow open rate : 0 (flows/sec)
Min flow open rate     : 0 (flows/sec) at 00:00:00  MSD  THU  January  1  1970
Max flow open rate     : 0 (flows/sec) at 00:00:00  MSD  THU  January  1  1970

Open Rates for SW (significant) flows
-------------------------------------
PPC 1
Current SW flow open rate = 974
Maximum SW flow open rate = 1612 (3 weeks, 1 days, 2 hours, 33 minutes, 36 secon                                                                              ds ago)

PPC 2
Current SW flow open rate = 846
Maximum SW flow open rate = 2037 (3 weeks, 1 days, 2 hours, 33 minutes, 45 secon                                                                              ds ago)

PPC 3
Current SW flow open rate = 1022
Maximum SW flow open rate = 1519 (3 weeks, 1 days, 2 hours, 33 minutes, 50 secon                                                                              ds ago)

SW/HW open rate ratio unavailable (HW = 0).

 

почему нет HW режима?

[shicoy]

кстати о том что не перегрузка по пакетам:

 

#>MIB pcube-SE-MIB traffic-processor | include tpFlowsCapacityUtilization
tpFlowsCapacityUtilization.1 = 15
tpFlowsCapacityUtilizationPeak.1 = 34
tpFlowsCapacityUtilizationPeakTime.1 =  19 hours, 59 minutes, 52 seconds
tpFlowsCapacityUtilization.2 = 14
tpFlowsCapacityUtilizationPeak.2 = 29
tpFlowsCapacityUtilizationPeakTime.2 = 1 weeks, 1 days, 20 hours, 4 minutes, 36 seconds
tpFlowsCapacityUtilization.3 = 17
tpFlowsCapacityUtilizationPeak.3 = 27
tpFlowsCapacityUtilizationPeakTime.3 =  6 days, 0 hours, 31 minutes, 38 seconds

т.е. в пиках утилизация по flow не больше 30%

[shicoy]

вообщем готов заплатить тому кто поможет решить эту проблему.

Edited April 14, 2011 by shicoy

[shicoy]

похоже платить придется самому себе. :(

[vitalyb]

flow control выключен был.

со стороны subscriber'а - тоже?

 

кстати, а flow-control может влиять на CPU?

чисто гипотетически - NIC получает Pause, ничего не передает, растет/заполняется буфер, CPU вместо дропа ждет освобождения буфера, а потом, как предупреждают - system reboot.

[shicoy]

ну вот на коммутаторах куда sce подключен, flow control выключен на портах. как в sce смотреть не нашел.

[shicoy]

А кто сколько и какие генерит RDR?

Отрубил некоторые Usage RDR, вроде как -10% к TP получил, хотя и странно это.