нужна помощь - cisco 3560e - высокая нагрузка, потеря пакетов, высокий пинг

[artful]

Сегодня установили Cisco 3560E-10g вместо 4948-10ge

После установки начались какие то странные проблемы, а именно, до некоторых серверов вырос пинг до 150ms и появились потери до 40%

методом исключения исключили - витуху (меняли)

проблемы в свитче - заменили на другой 3560e

дальше, нашли некоторые порты на cisco при отключении которых картинка сильно меняется.

Например отключаем половину портов, и видим такую картинку:

Host                                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 172.16.0.225                                                 0.0%    10    1.8   3.0   0.7   7.8   2.6
2. 10.0.0.253                                                   0.0%    10    1.0   0.9   0.6   1.4   0.0
3. 172.22.8.1                                                   0.0%    10    2.0   1.9   1.4   2.3   0.0
4. 109-167-191-58.westcall.net                                  0.0%    10    1.3   1.9   1.3   2.3   0.0
5. 109-167-195-143.westcall.net                                 0.0%    10    2.6   2.0   1.3   2.7   0.0
6. 109-167-195-142.westcall.net                                 0.0%     9    3.4   3.0   2.7   3.4   0.0
7. ae5-334.RT.OV.SPB.RU.retn.net                                0.0%     9    1.3   2.3   1.3   3.2   0.4
8. GW-ArtPlanet.retn.net                                        0.0%     9    2.5   3.0   2.5   3.3   0.0
9. vo.main.vlan712.artplanet.su                                 0.0%     9    2.6   3.0   2.5   3.4   0.0
10. vo.st3-main.vlan503.artplanet.su                             0.0%     9    4.7   5.3   3.5   9.3   1.6
11. dworldhosts2.artplanet.su                                    0.0%     9    2.8   5.8   2.8  13.7   3.2

 

 

но стоит включить хотя бы один порт (мы уже нашли порт на котором можно ставить тесты), и картинка сразу меняется:

Host                                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 172.16.0.225                                                 0.0%   109    0.9   2.2   0.5   8.6   1.8
2. 10.0.0.253                                                   0.0%   109    1.5   1.0   0.5   2.4   0.2
3. 172.22.8.1                                                   0.0%   109    1.6   2.2   1.2  21.6   2.4
4. 109-167-191-58.westcall.net                                  0.0%   109    1.7   1.8   1.2   7.0   0.5
5. 109-167-195-143.westcall.net                                 0.0%   109    1.9   2.2   1.2  13.1   1.3
6. 109-167-195-142.westcall.net                                 0.0%   109    3.0   3.4   2.3  12.1   1.3
7. ae5-334.RT.OV.SPB.RU.retn.net                                0.0%   109    2.2   2.5   1.2  23.8   2.1
8. GW-ArtPlanet.retn.net                                        0.0%   109    2.4   9.5   2.3 144.1  23.3
9. vo.main.vlan712.artplanet.su                                 0.0%   109    2.6   3.2   2.2  22.2   2.1
10. vo.st3-main.vlan503.artplanet.su                             0.9%   109    3.8   7.7   2.7  46.4   6.6
11. dworldhosts2.artplanet.su                                    9.3%   108  126.7 127.2 115.3 143.1   4.7

 

если поднять еще пару портов - то потери вырастают до 40-50%.

Трафика на тестовом отключаемом порту не так много:

 30 second input rate 903000 bits/sec, 573 packets/sec
 30 second output rate 879000 bits/sec, 504 packets/sec

 

ip cef включен

VO.st3-main#show ip cef
Prefix               Next Hop             Interface
0.0.0.0/0            80.87.207.80         Vlan503
0.0.0.0/8            drop

 

пробовали снифать клиентский трафик - ничего особенного - пакеты с ip адреса клиента на легальные ip адреса мира, никаких мультикаст сетей.

спуффа тоже нету.

 

на самой cisco нагрузка

VO.st3-main#top
CPU utilization for five seconds: 51%/31%; one minute: 52%; five minutes: 51%
PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process 
174      197339       67187       2937  6.87%  7.37%  6.69%   0 Hulc LED Process 
105       84028       55443       1515  3.19%  3.06%  2.92%   0 HLFM address lea 
239       35406       53698        659  0.79%  1.04%  1.13%   0 Spanning Tree    
177       28071        1811      15500  0.47%  0.50%  0.48%   0 HL3U bkgrd proce 
189       12185         455      26780  0.47%  0.38%  0.38%   0 HQM Stack Proces 
 83       11147       56188        198  0.47%  0.18%  0.26%   0 RedEarth Tx Mana 
127       22277        2196      10144  0.31%  0.65%  0.76%   0 hpm counter proc 
257        5752        2164       2658  0.31%  0.13%  0.15%   0 PI MATM Aging Pr 
221        4092         975       4196  0.31%  0.12%  0.12%   0 IP ARP Adjacency 
223       14510       39975        362  0.15%  0.31%  0.37%   0 IP Input         
444        1108        6470        171  0.15%  0.04%  0.00%   0 OSPF-11 Hello    
190        1827         887       2059  0.15%  0.04%  0.04%   0 HRPC qos request 
 13        3307        3423        966  0.15%  0.08%  0.08%   0 ARP Input        

 

а при отключении портов нагрузка сбрасывается до 15% и потерь до клиентов нету.

 

тестовый порт - тоже клиент - его int vlan затерминирован на данной железке.

Edited August 16, 2016 by artful

[artful]

разобрались.

если интересно, заметили в логах следующее сообщение:

%ACLMGR-4-ACLTCAMFULL: ACL TCAM Full. Software Forwarding packets on Input label 255 on L3 L2

 

после чего набрали команду

show platform tcam utilization

и увидели следующую строчку

IPv4 security aces: 512/512 501/501

то есть почти лимит, сменили sdm на: desktop IPv4 and IPv6 default

и стало

 

CAM Utilization for ASIC# 0 Max Used

Masks/Values Masks/values

 

Unicast mac addresses: 2268/2268 299/299

IPv4 IGMP groups: 1072/1072 1/1

IPv4 unicast directly-connected routes: 2048/2048 104/104

IPv4 unicast indirectly-connected routes: 1024/1024 111/111

IPv6 Multicast groups: 1072/1072 28/28

IPv6 unicast directly-connected routes: 2048/2048 81/81

IPv6 unicast indirectly-connected routes: 1024/1024 13/13

IPv4 policy based routing aces: 500/500 13/13

IPv4 qos aces: 504/504 11/11

IPv4 security aces: 1024/1024 601/601

IPv6 policy based routing aces: 20/20 8/8

IPv6 qos aces: 500/500 10/10

IPv6 security aces: 512/512 17/17

 

Note: Allocation of TCAM entries per feature uses

a complex algorithm. The above information is meant

to provide an abstract view of the current TCAM utilization

 

ну и проблема пропала.

[fox_m]

разобрались.

если интересно, заметили в логах следующее сообщение:

%ACLMGR-4-ACLTCAMFULL: ACL TCAM Full. Software Forwarding packets on Input label 255 on L3 L2

 

после чего набрали команду

show platform tcam utilization

и увидели следующую строчку

IPv4 security aces: 512/512 501/501

то есть почти лимит, сменили sdm на: desktop IPv4 and IPv6 default

и стало

 

CAM Utilization for ASIC# 0 Max Used

Masks/Values Masks/values

 

Unicast mac addresses: 2268/2268 299/299

IPv4 IGMP groups: 1072/1072 1/1

IPv4 unicast directly-connected routes: 2048/2048 104/104

IPv4 unicast indirectly-connected routes: 1024/1024 111/111

IPv6 Multicast groups: 1072/1072 28/28

IPv6 unicast directly-connected routes: 2048/2048 81/81

IPv6 unicast indirectly-connected routes: 1024/1024 13/13

IPv4 policy based routing aces: 500/500 13/13

IPv4 qos aces: 504/504 11/11

IPv4 security aces: 1024/1024 601/601

IPv6 policy based routing aces: 20/20 8/8

IPv6 qos aces: 500/500 10/10

IPv6 security aces: 512/512 17/17

 

Note: Allocation of TCAM entries per feature uses

a complex algorithm. The above information is meant

to provide an abstract view of the current TCAM utilization

 

ну и проблема пропала.

 

А чем TCAM забили? Access-list или что то еще?

[artful]

походу ACL

IPv4 security aces: 512/512 501/501

вот что было.

У нас на каждый сервер создается свой int vlan и внутри acl которая запрещает спуф и подобные вещи. По 3-10 строчек в ACL на сервер, около 80 серверов в этой стойке.