Перейти к содержимому
Калькуляторы

Cisco 3560G, Total output drops: 255088259 на интерфейсе

Зашел на железку а тут такое. Извечный вопрос что делать?  Менять железку или можно что то подкрутить?

 

С другой стороны такой же свич и на нем картинка аналогичная. в свичах SFP модули и между ними оптика.

 

cisco WS-C3560G-48TS (PowerPC405) processor (revision D0) with 131072K bytes of memory.
System image file is "flash:/c3560-ipservicesk9-mz.122-58.SE2.bin"
 

 

#show interfaces gigabitEthernet 0/51
GigabitEthernet0/51 is up, line protocol is up (connected)
  Hardware is Gigabit Ethernet, address is 001a.a275.e6b3 (bia 001a.a275.e6b3)
  Description: ##
  MTU 1546 bytes, BW 1000000 Kbit/sec, DLY 10 usec,
     reliability 255/255, txload 136/255, rxload 135/255
  Encapsulation ARPA, loopback not set
  Keepalive not set
  Full-duplex, 1000Mb/s, link type is auto, media type is CWDM-1590 SFP
  input flow-control is off, output flow-control is unsupported
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input 00:00:08, output 00:00:00, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 255088259 <------------!!!!!!!!!!!!!!!!!! Счетчик постоянно растет до 100-200 пакетов в сек
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 529876000 bits/sec, 120061 packets/sec
  5 minute output rate 535608000 bits/sec, 87899 packets/sec
     1889363508287 packets input, 1164319026344918 bytes, 0 no buffer
     Received 824394063 broadcasts (169360593 multicasts)
     483 runts, 0 giants, 0 throttles
     484 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     0 watchdog, 169360593 multicast, 0 pause input
     0 input packets with dribble condition detected
     1245893181645 packets output, 735164054324342 bytes, 0 underruns
     0 output errors, 0 collisions, 1 interface resets
     0 unknown protocol drops
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 pause output
     0 output buffer failures, 0 output buffers swapped out
 

#show controllers ethernet-controller gigabitEthernet 0/51

     Transmit GigabitEthernet0/51             Receive
   3646833200 Bytes                        767894417 Bytes
   2528591090 Unicast frames              3072693108 Unicast frames
   1205563946 Multicast frames             169361915 Multicast frames
    931309078 Broadcast frames             655035676 Broadcast frames
            0 Too old frames              3816727148 Unicast bytes
            0 Deferred frames              674701413 Multicast bytes
            0 MTU exceeded frames         1459693541 Broadcast bytes
            0 1 collision frames                   0 Alignment errors
            0 2 collision frames                   0 FCS errors
            0 3 collision frames                   0 Oversize frames
            0 4 collision frames            11470605 Undersize frames
            0 5 collision frames                   0 Collision fragments
            0 6 collision frames
            0 7 collision frames            14857735 Minimum size frames
            0 8 collision frames          2678288215 65 to 127 byte frames
            0 9 collision frames          4160405344 128 to 255 byte frames
            0 10 collision frames         1384243779 256 to 511 byte frames
            0 11 collision frames         1846916968 512 to 1023 byte frames
            0 12 collision frames         1315285612 1024 to 1518 byte frames
            0 13 collision frames                  0 Overrun frames
            0 14 collision frames                  0 Pause frames
            0 15 collision frames
            0 Excessive collisions                 1 Symbol error frames
            0 Late collisions                      0 Invalid frames, too large
            0 VLAN discard frames         1098498244 Valid frames, too large
            0 Excess defer frames                  0 Invalid frames, too small
      3852399 64 byte frames                       0 Valid frames, too small
   2942557881 127 byte frames
    886993666 255 byte frames                      0 Too old frames
     75101303 511 byte frames                      0 Valid oversize frames
   4034905515 1023 byte frames                     0 System FCS error frames
   3039708504 1518 byte frames                     0 RxPortFifoFull drop frame
   2272279439 Too large frames
            0 Good (1 coll) frames
            0 Good (>1 coll) frames

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

22 минуты назад, uxcr сказал:

sh int mtu

#sh int mtu

Port      Name               MTU
Gi0/1     ##S               1546
Gi0/2     ##U               1546
Gi0/3     ##S               1546
Gi0/4     ##W               1546
Gi0/5     ##F               1546
Gi0/6     ##R               1546
Gi0/7     ##F               1546
Gi0/8     ##U               1546
Gi0/9     ##S               1546
Gi0/10    ##S               1546
Gi0/11    ##S               1546
Gi0/12    ##B               1546
Gi0/13    ##U               1546
Gi0/14    ##G               1546
Gi0/15    ##B               1546
Gi0/16    ##K               1546
Gi0/17    ##P               1546
Gi0/18    ##R               1546
Gi0/19    ##K               1546
Gi0/20    ##G               1546
Gi0/21    ##C               1546
Gi0/22    ##I               1546
Gi0/23    ##T               1546
Gi0/24    ##L               1546
Gi0/25    ##S               1546
Gi0/26    ##M               1546
Gi0/27    ##I               1546
Gi0/28    ##M               1546
Gi0/29    ##I               1546
Gi0/30    ##M               1546
Gi0/31    ##M               1546
Gi0/32    ##I               1546
Gi0/33    ##F               1546
Gi0/34    ##T               1546
Gi0/35    ##T               1546
Gi0/36    FOR               1546
                           
Port      Nam               MTU
Gi0/37    ##T               1546
Gi0/38    ##I               1546
Gi0/39    ##L               1546
Gi0/40    ##L               1546
Gi0/41    ##T               1546
Gi0/42    ##K               1546
Gi0/43    ##R               1546
Gi0/44    ##I               1546
Gi0/45    ##M               1546
Gi0/46    ##B               1546
Gi0/47    ##C               1546
Gi0/48    ##K               1546
Gi0/49    ##C               1546
Gi0/50                      1546
Gi0/51    ##B               1546
Gi0/52    ##B               1546
Po1       ##K               1546
 

 

20 минут назад, v_r сказал:

sh mls qos interface gi0/51 statistics

#sh mls qos interface gi0/51 statistics
GigabitEthernet0/51 (All statistics are in packets)

  dscp: incoming
-------------------------------

  0 -  4 :   737694715        12162       136339          639         5769
  5 -  9 :        2242         2876        21316       306038          344
 10 - 14 :      316305            0         8641          810          552
 15 - 19 :         276        98780           15        11830          120
 20 - 24 :        4594            0         1157            1       612143
 25 - 29 :           0         2595            0      1581531            0
 30 - 34 :         273            1         2245           16         7436
 35 - 39 :           0       114977            0           40            0
 40 - 44 :      169099            2            9            0            0
 45 - 49 :          34       473112            0      4987212          400
 50 - 54 :        1379           23           56            0           50
 55 - 59 :           2          126            0            1            0
 60 - 64 :           0            0           56          532
  dscp: outgoing
-------------------------------

  0 -  4 :  1211442202          609           26            0           18
  5 -  9 :           0            0           89           60            0
 10 - 14 :        6259            0            0            0            0
 15 - 19 :           0           42            0         5393            0
 20 - 24 :        1679            0            0            0           45
 25 - 29 :           0          107            0            0            4
 30 - 34 :           0            1          311            0           91
 35 - 39 :           0            2            0            4            0
 40 - 44 :         207            0            0            0            0
 45 - 49 :           0        16069            0     18992031            0
 50 - 54 :           0            0            0           88            0
 55 - 59 :           0      5848662            0            0            0
 60 - 64 :           0            0            0            0
  cos: incoming
-------------------------------

  0 -  4 :   201513688            0       264624            3            2
  5 -  7 :           7      4928252      7297589
  cos: outgoing
-------------------------------

  0 -  4 :   651848673         6319       874762          157          408
  5 -  7 :       16321     18992119     18638986
  output queues enqueued:
 queue:    threshold1   threshold2   threshold3
-----------------------------------------------
 queue 0:           0           0           0
 queue 1:  3806145283   238145717   154256265
 queue 2:           0           0           0
 queue 3:     5855130           0   146003867

  output queues dropped:
 queue:    threshold1   threshold2   threshold3
-----------------------------------------------
 queue 0:           0           0           0
 queue 1:   255779323        7773           0
 queue 2:           0           0           0
 queue 3:           0           0           0

Policer: Inprofile:            0 OutofProfile:         

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, QWE сказал:

  Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 255088259 <------------!!!!!!!!!!!!!!!!!! Счетчик постоянно растет до 100-200 пакетов в сек

Так вот же они:

1 час назад, QWE сказал:

output queues dropped:
 queue:    threshold1   threshold2   threshold3
-----------------------------------------------
 queue 0:           0           0           0
 queue 1:   255779323        7773           0
 queue 2:           0           0           0
 queue 3:           0           0           0

Банально не хватает буферов, нужно настраивать QoS: либо разделять трафик по очередям, либо - проще всего - просто увеличить буферы для первой очереди.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, v_r сказал:

Так вот же они:

Банально не хватает буферов, нужно настраивать QoS: либо разделять трафик по очередям, либо - проще всего - просто увеличить буферы для первой очереди.

Сорри, и как это сделать?

 

 

 

еще тоже самое нашел, вид сбоку

 

#show platform port-asic stats drop gigabitEthernet 0/51

  Interface Gi0/51 TxQueue Drop Statistics
    Queue 0
      Weight 0 Frames 0
      Weight 1 Frames 0
      Weight 2 Frames 0
    Queue 1
      Weight 0 Frames 256345642
      Weight 1 Frames 7823
      Weight 2 Frames 0
    Queue 2
      Weight 0 Frames 0
      Weight 1 Frames 0
      Weight 2 Frames 0
    Queue 3
      Weight 0 Frames 0
      Weight 1 Frames 0
      Weight 2 Frames 0

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Увеличение буферов для первой очереди:

mls qos queue-set output 1 buffers 10 70 10 10

Настраивается сразу для всех портов, лучше попробовать в не-бизнес время.

mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

36 минут назад, v_r сказал:

Увеличение буферов для первой очереди:


mls qos queue-set output 1 buffers 10 70 10 10

Настраивается сразу для всех портов, лучше попробовать в не-бизнес время.

mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди.

спс

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, v_r сказал:

Увеличение буферов для первой очереди:


mls qos queue-set output 1 buffers 10 70 10 10

Настраивается сразу для всех портов, лучше попробовать в не-бизнес время.

mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди.

переконфигурил, но дропы все равно есть. видимо от них не избавиться на 100% на этой железяке, или настраивать нужно трафик который нужно дропать.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

LACP между свитчами затруднительно собрать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 часа назад, v_r сказал:

LACP между свитчами затруднительно собрать?

В настоящий момент 4948E  запускаем вместо 3560G. Вся суета сейчас - жалоба абонента, которая и выявила масштабную проблему на всех магистральных линках.

После запуска с 4948E  по (2)4 линка в LACP будет до свичей агрегации. 

Насколько вообще LACP помогает от нехватки буфера при микроберстах?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Смотря какие микроберсты, может банально чуть-чуть не хватает буферов и расширение скорости поможет, а может понадобится замена на что-то более серьезное чем свитчи с разделяемыми буферами (либо перенастройка сервисов чтобы избежать появления микроберстов), думаю тут только экспериментально получится выяснить. Случай из практики: стример подлюченный 10Г портом периодически начинает слать трафик с микроберстами в течении 5-10 минут, на 1Г портах в сторону потребителей начинают появляться дропы до 100pps, причем как на свитчах типа C3750G, так и на Nexus 3064, настройка QoS не помогает, по усредненным графикам за 5 минут трафик не меняется (порты загружены меньше чем наполовину). Пока не порешалось, но причина кроется в сервере, уже поняли в какие моменты он начинает слать данные с микроберстами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 минуты назад, v_r сказал:

 думаю тут только экспериментально получится выяснить. 

Видимо да.

А Вы не настраивали классификаторы трафика на входящей очереди интерфейса на 3560G или на 4948Е для того чтобы не критичный  трафик дропнуть в случае микроберстов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

11 минут назад, QWE сказал:

А Вы не настраивали классификаторы трафика

Настраивал, и увеличивал буферы для очереди, и делал очередь приоритетной, дропы есть, зависимость  дропов от настроек не отслеживал потому что QoS был настроен и раньше. По имеющейся информации на 3750G буферы 384К, на N3064 буферы 5М, вне зависимости от количества занятых портов дропы есть. Видимо в нашем случае сказывается переход 10Г -> 1Г потому что на всех транзитных 10Г линках дропы отсутствуют, а на всех 1Г линках с потребителями (и на свитче куда включен сервер, и далеко в другой части сети) дропы появляются синхронно. Так что в вашем случае апгрейд до 4948E с поднятием 10Г линка между свитчами скорее всего поможет, не потому что буферы больше (хотя там до 16М буферов), а в большей степени потому что данные будут отправляться быстрее.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 минут назад, v_r сказал:

Настраивал, и увеличивал буферы для очереди, и делал очередь приоритетной, дропы есть, зависимость  дропов от настроек не отслеживал потому что QoS был настроен и раньше. По имеющейся информации на 3750G буферы 384К, на N3064 буферы 5М, вне зависимости от количества занятых портов дропы есть. Видимо в нашем случае сказывается переход 10Г -> 1Г потому что на всех транзитных 10Г линках дропы отсутствуют, а на всех 1Г линках с потребителями (и на свитче куда включен сервер, и далеко в другой части сети) дропы появляются синхронно. Так что в вашем случае апгрейд до 4948E с поднятием 10Г линка между свитчами скорее всего поможет, не потому что буферы больше (хотя там до 16М буферов), а в большей степени потому что данные будут отправляться быстрее.

между свичами будет LACP - по 2 или 4 1Гбит линка.  10Г порт 4948E будет смотреть в бордер. ДАнные будут отправляться быстрее по маршруту 10Г--LACP линк.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 минут назад, QWE сказал:

между свичами будет LACP - по 2 или 4 1Гбит линка

В таком случае заранее трудно сказать как будет работать. Раз дропы есть на этом свитче то по идее дропы (возможно в меньшей степени) будут и дальше на свитчах, и на порту потребителя, особенно если свитчи не такие продвинутые как Cisco - у некоторых счетчики по очередям QoS напрочь отсутствуют, о потерях можно только догадываться. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 02.11.2017 в 10:15, QWE сказал:

Зашел на железку а тут такое. Извечный вопрос что делать?  Менять железку или можно что то подкрутить?

 

На скОльких портах свитчей растут потери? Сколько downlink'ов всего?

COS включён? Трафик, я так понял, не раскрашивается, основная его масса попадает в очередь 0-4? Как распределены  буфера и пороги?

 

Покажите  sho run | inc qos  и  sho run int gi 0/51

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, andryas сказал:

 

На скОльких портах свитчей растут потери? Сколько downlink'ов всего?

COS включён? Трафик, я так понял, не раскрашивается, основная его масса попадает в очередь 0-4? Как распределены  буфера и пороги?

 

Покажите  sho run | inc qos  и  sho run int gi 0/51

# sho run | inc qos
mls qos queue-set output 2 threshold 2 600 600 50 700
mls qos queue-set output 1 buffers 25 55 10 10
mls qos queue-set output 2 buffers 8 75 8 9
 mls qos cos 7
 mls qos trust cos

 

sho run int gi 0/51
Building configuration...

Current configuration : 499 bytes
!
interface GigabitEthernet0/51
 description ###
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan add 890,891,953-998,2092
 switchport mode trunk
 load-interval 30
 queue-set 2
 spanning-tree cost 4
 hold-queue 4096 out
end
 

трафик не раскрашивается,

да и как его красить средствами этой железки если железка используется на сети провайдера?

 

потери растут не только на этом интерфейсе, потери есть еще в сторону свича агрегации, в сторону бордера и в другие интерфейсы.  downlink ов  много, кроме свичей агрегации в интерфейсах и абоненты сидят

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

54 минуты назад, QWE сказал:

mls qos queue-set output 1 buffers 25 55 10 10

mls qos queue-set output 2 buffers 8 75 8 9

У Вас часть портов работають по первому, часть по второму шаблону? В любом cлучае все пакеты дропаются на буфере второй очереди, остальные не используються, а память Вы им резервируете. Отдайте ей весь буфер в обеих шаблонах: 1 97 1 1  

Если нагруженных портов 1-2, отдате им побольше памяти, увеличте пороги:  3100 3100 100 3200. Если таких портов 3-4: 400 200 50 1600 (и крутить вручную первый и последний порог), если нагруженных портов больше, то отключить qos и смириться с дропами (они неизбежны), либо же менять железку.

 

Это убрать

54 минуты назад, QWE сказал:

mls qos cos 7

 


Это добавить

mls qos srr-queue output cos-map queue 2 threshold 3 0
mls qos srr-queue output dscp-map queue 2 threshold 3 0
no mls qos rewrite ip dscp
mls qos

 

Как справедливо заметили выше, у cisco 2960/3560/3750 совсем маленькие буфера, т.е. они малопригодны для серьёзных нагрузок. Следует учесть, что включение QOS при дефолтных настройках на высоконагруженном коммутаторе из этой серии, обычно, только усуг***ет ситуацию, т.к. и без того маленький буфер разбивается на части. Нужно очень хорошо понимать, что настраивается.

Если же QOS не включать, то весь трафик будет дропаться в последней очереди, там можно поиграть с mls qos queue-set output N buffers 1 10 1 88. (в сумме должно быть 100%)

Возможно, упомянутые железки ухудшены умышленно, дабы стимулировать покупку более дорогих. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

24 минуты назад, andryas сказал:

У Вас часть портов работають по первому, часть по второму шаблону? В любом влучае все пакеты дропаются на буфере второй очереди, остальные не используються, а память Вы им резервируете. Отдайте ей весь буфер в обеих шаблонах: 1 97 1 1  

Если нагруженных портов 1-2, отдате им побольше памяти, увеличте пороги:  3100 3100 100 3200. Если таких портов 3-4: 400 200 50 1600 (и крутить вручную первый и последний порог), если нагруженных портов больше, то отключить qos и смириться с дропами (они неизбежны), либо же менять железку.

 

Это убрать

 


Это добавить


mls qos srr-queue output cos-map queue 2 threshold 3 0
mls qos srr-queue output dscp-map queue 2 threshold 3 0
no mls qos rewrite ip dscp
mls qos

 

Как справедливо заметили выше, у cisco 2960/3560/3750 совсем маленькие буфера, т.е. они малопригодны для серьёзных нагрузок. Следует учесть, что включение QOS при дефолтных настройках на высоконагруженном коммутаторе из этой серии, обычно, только усуг***ет ситуацию, т.к. и без того маленький буфер разбивается на части. Нужно очень хорошо понимать, что настраивается.

Если же QOS не включать, то весь трафик будет дропаться в последней очереди, там можно поиграть с mls qos queue-set output N buffers 1 10 1 88. (в сумме должно быть 100%)

Возможно, упомянутые железки ухудшены умышленно, дабы стимулировать покупку более дорогих железок. 

я что то уже накрутил, как мне кажется полегчало. Меняю железку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, подскажите что накручивать: cisco 3560g , 4*1G интерфейса в LAGG, загрузка до 700мбит на интерфейс, есть ошибки по output.

gi0/11
output queues dropped:
queue: threshold1 threshold2 threshold3
-----------------------------------------
 queue 0:            0            0            0
 queue 1:            0            0            0
 queue 2:            0            0            0
 queue 3:            0            0     35507482

gi0/13
  output queues dropped:
queue: threshold1 threshold2 threshold3
-----------------------------------------
 queue 0:            0            0            0
 queue 1:            0            0            0
 queue 2:            0            0            0
 queue 3:            0            0     11226210

0/26
  output queues dropped:
queue: threshold1 threshold2 threshold3
-----------------------------------------
 queue 0:            0            0            0
 queue 1:            0            0            0
 queue 2:            0            0            0
 queue 3:            0            0      1448817

gi0/28
  output queues dropped:
queue: threshold1 threshold2 threshold3
-----------------------------------------
 queue 0:            0            0            0
 queue 1:            0            0            0
 queue 2:            0            0            0
 queue 3:            0            0      1527786

те все дропы по 4 очереди

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Перераспределяйте буфера в сторону проблемной очереди.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.