QWE Posted November 2, 2017 · Report post Зашел на железку а тут такое. Извечный вопрос что делать? Менять железку или можно что то подкрутить? С другой стороны такой же свич и на нем картинка аналогичная. в свичах SFP модули и между ними оптика. cisco WS-C3560G-48TS (PowerPC405) processor (revision D0) with 131072K bytes of memory. System image file is "flash:/c3560-ipservicesk9-mz.122-58.SE2.bin" #show interfaces gigabitEthernet 0/51 GigabitEthernet0/51 is up, line protocol is up (connected) Hardware is Gigabit Ethernet, address is 001a.a275.e6b3 (bia 001a.a275.e6b3) Description: ## MTU 1546 bytes, BW 1000000 Kbit/sec, DLY 10 usec, reliability 255/255, txload 136/255, rxload 135/255 Encapsulation ARPA, loopback not set Keepalive not set Full-duplex, 1000Mb/s, link type is auto, media type is CWDM-1590 SFP input flow-control is off, output flow-control is unsupported ARP type: ARPA, ARP Timeout 04:00:00 Last input 00:00:08, output 00:00:00, output hang never Last clearing of "show interface" counters never Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 255088259 <------------!!!!!!!!!!!!!!!!!! Счетчик постоянно растет до 100-200 пакетов в сек Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 529876000 bits/sec, 120061 packets/sec 5 minute output rate 535608000 bits/sec, 87899 packets/sec 1889363508287 packets input, 1164319026344918 bytes, 0 no buffer Received 824394063 broadcasts (169360593 multicasts) 483 runts, 0 giants, 0 throttles 484 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 0 watchdog, 169360593 multicast, 0 pause input 0 input packets with dribble condition detected 1245893181645 packets output, 735164054324342 bytes, 0 underruns 0 output errors, 0 collisions, 1 interface resets 0 unknown protocol drops 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output 0 output buffer failures, 0 output buffers swapped out #show controllers ethernet-controller gigabitEthernet 0/51 Transmit GigabitEthernet0/51 Receive 3646833200 Bytes 767894417 Bytes 2528591090 Unicast frames 3072693108 Unicast frames 1205563946 Multicast frames 169361915 Multicast frames 931309078 Broadcast frames 655035676 Broadcast frames 0 Too old frames 3816727148 Unicast bytes 0 Deferred frames 674701413 Multicast bytes 0 MTU exceeded frames 1459693541 Broadcast bytes 0 1 collision frames 0 Alignment errors 0 2 collision frames 0 FCS errors 0 3 collision frames 0 Oversize frames 0 4 collision frames 11470605 Undersize frames 0 5 collision frames 0 Collision fragments 0 6 collision frames 0 7 collision frames 14857735 Minimum size frames 0 8 collision frames 2678288215 65 to 127 byte frames 0 9 collision frames 4160405344 128 to 255 byte frames 0 10 collision frames 1384243779 256 to 511 byte frames 0 11 collision frames 1846916968 512 to 1023 byte frames 0 12 collision frames 1315285612 1024 to 1518 byte frames 0 13 collision frames 0 Overrun frames 0 14 collision frames 0 Pause frames 0 15 collision frames 0 Excessive collisions 1 Symbol error frames 0 Late collisions 0 Invalid frames, too large 0 VLAN discard frames 1098498244 Valid frames, too large 0 Excess defer frames 0 Invalid frames, too small 3852399 64 byte frames 0 Valid frames, too small 2942557881 127 byte frames 886993666 255 byte frames 0 Too old frames 75101303 511 byte frames 0 Valid oversize frames 4034905515 1023 byte frames 0 System FCS error frames 3039708504 1518 byte frames 0 RxPortFifoFull drop frame 2272279439 Too large frames 0 Good (1 coll) frames 0 Good (>1 coll) frames Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
uxcr Posted November 2, 2017 · Report post sh int mtu Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 2, 2017 · Report post sh mls qos interface gi0/51 statistics Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 · Report post 22 минуты назад, uxcr сказал: sh int mtu #sh int mtu Port Name MTU Gi0/1 ##S 1546 Gi0/2 ##U 1546 Gi0/3 ##S 1546 Gi0/4 ##W 1546 Gi0/5 ##F 1546 Gi0/6 ##R 1546 Gi0/7 ##F 1546 Gi0/8 ##U 1546 Gi0/9 ##S 1546 Gi0/10 ##S 1546 Gi0/11 ##S 1546 Gi0/12 ##B 1546 Gi0/13 ##U 1546 Gi0/14 ##G 1546 Gi0/15 ##B 1546 Gi0/16 ##K 1546 Gi0/17 ##P 1546 Gi0/18 ##R 1546 Gi0/19 ##K 1546 Gi0/20 ##G 1546 Gi0/21 ##C 1546 Gi0/22 ##I 1546 Gi0/23 ##T 1546 Gi0/24 ##L 1546 Gi0/25 ##S 1546 Gi0/26 ##M 1546 Gi0/27 ##I 1546 Gi0/28 ##M 1546 Gi0/29 ##I 1546 Gi0/30 ##M 1546 Gi0/31 ##M 1546 Gi0/32 ##I 1546 Gi0/33 ##F 1546 Gi0/34 ##T 1546 Gi0/35 ##T 1546 Gi0/36 FOR 1546 Port Nam MTU Gi0/37 ##T 1546 Gi0/38 ##I 1546 Gi0/39 ##L 1546 Gi0/40 ##L 1546 Gi0/41 ##T 1546 Gi0/42 ##K 1546 Gi0/43 ##R 1546 Gi0/44 ##I 1546 Gi0/45 ##M 1546 Gi0/46 ##B 1546 Gi0/47 ##C 1546 Gi0/48 ##K 1546 Gi0/49 ##C 1546 Gi0/50 1546 Gi0/51 ##B 1546 Gi0/52 ##B 1546 Po1 ##K 1546 20 минут назад, v_r сказал: sh mls qos interface gi0/51 statistics #sh mls qos interface gi0/51 statistics GigabitEthernet0/51 (All statistics are in packets) dscp: incoming ------------------------------- 0 - 4 : 737694715 12162 136339 639 5769 5 - 9 : 2242 2876 21316 306038 344 10 - 14 : 316305 0 8641 810 552 15 - 19 : 276 98780 15 11830 120 20 - 24 : 4594 0 1157 1 612143 25 - 29 : 0 2595 0 1581531 0 30 - 34 : 273 1 2245 16 7436 35 - 39 : 0 114977 0 40 0 40 - 44 : 169099 2 9 0 0 45 - 49 : 34 473112 0 4987212 400 50 - 54 : 1379 23 56 0 50 55 - 59 : 2 126 0 1 0 60 - 64 : 0 0 56 532 dscp: outgoing ------------------------------- 0 - 4 : 1211442202 609 26 0 18 5 - 9 : 0 0 89 60 0 10 - 14 : 6259 0 0 0 0 15 - 19 : 0 42 0 5393 0 20 - 24 : 1679 0 0 0 45 25 - 29 : 0 107 0 0 4 30 - 34 : 0 1 311 0 91 35 - 39 : 0 2 0 4 0 40 - 44 : 207 0 0 0 0 45 - 49 : 0 16069 0 18992031 0 50 - 54 : 0 0 0 88 0 55 - 59 : 0 5848662 0 0 0 60 - 64 : 0 0 0 0 cos: incoming ------------------------------- 0 - 4 : 201513688 0 264624 3 2 5 - 7 : 7 4928252 7297589 cos: outgoing ------------------------------- 0 - 4 : 651848673 6319 874762 157 408 5 - 7 : 16321 18992119 18638986 output queues enqueued: queue: threshold1 threshold2 threshold3 ----------------------------------------------- queue 0: 0 0 0 queue 1: 3806145283 238145717 154256265 queue 2: 0 0 0 queue 3: 5855130 0 146003867 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------------- queue 0: 0 0 0 queue 1: 255779323 7773 0 queue 2: 0 0 0 queue 3: 0 0 0 Policer: Inprofile: 0 OutofProfile: Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 2, 2017 · Report post 2 часа назад, QWE сказал: Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 255088259 <------------!!!!!!!!!!!!!!!!!! Счетчик постоянно растет до 100-200 пакетов в сек Так вот же они: 1 час назад, QWE сказал: output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------------- queue 0: 0 0 0 queue 1: 255779323 7773 0 queue 2: 0 0 0 queue 3: 0 0 0 Банально не хватает буферов, нужно настраивать QoS: либо разделять трафик по очередям, либо - проще всего - просто увеличить буферы для первой очереди. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 (edited) · Report post 1 час назад, v_r сказал: Так вот же они: Банально не хватает буферов, нужно настраивать QoS: либо разделять трафик по очередям, либо - проще всего - просто увеличить буферы для первой очереди. Сорри, и как это сделать? еще тоже самое нашел, вид сбоку #show platform port-asic stats drop gigabitEthernet 0/51 Interface Gi0/51 TxQueue Drop Statistics Queue 0 Weight 0 Frames 0 Weight 1 Frames 0 Weight 2 Frames 0 Queue 1 Weight 0 Frames 256345642 Weight 1 Frames 7823 Weight 2 Frames 0 Queue 2 Weight 0 Frames 0 Weight 1 Frames 0 Weight 2 Frames 0 Queue 3 Weight 0 Frames 0 Weight 1 Frames 0 Weight 2 Frames 0 Edited November 2, 2017 by QWE Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 2, 2017 · Report post Увеличение буферов для первой очереди: mls qos queue-set output 1 buffers 10 70 10 10 Настраивается сразу для всех портов, лучше попробовать в не-бизнес время. mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 · Report post 36 минут назад, v_r сказал: Увеличение буферов для первой очереди: mls qos queue-set output 1 buffers 10 70 10 10 Настраивается сразу для всех портов, лучше попробовать в не-бизнес время. mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди. спс Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 · Report post 1 час назад, QWE сказал: спс http://blog.ine.com/2008/03/03/bridging-the-gap-between-3550-and-3560-qos-part-i/ Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 (edited) · Report post 2 часа назад, v_r сказал: Увеличение буферов для первой очереди: mls qos queue-set output 1 buffers 10 70 10 10 Настраивается сразу для всех портов, лучше попробовать в не-бизнес время. mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди. переконфигурил, но дропы все равно есть. видимо от них не избавиться на 100% на этой железяке, или настраивать нужно трафик который нужно дропать. Edited November 2, 2017 by QWE Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 2, 2017 · Report post LACP между свитчами затруднительно собрать? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 · Report post 3 часа назад, v_r сказал: LACP между свитчами затруднительно собрать? В настоящий момент 4948E запускаем вместо 3560G. Вся суета сейчас - жалоба абонента, которая и выявила масштабную проблему на всех магистральных линках. После запуска с 4948E по (2)4 линка в LACP будет до свичей агрегации. Насколько вообще LACP помогает от нехватки буфера при микроберстах? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 2, 2017 · Report post Смотря какие микроберсты, может банально чуть-чуть не хватает буферов и расширение скорости поможет, а может понадобится замена на что-то более серьезное чем свитчи с разделяемыми буферами (либо перенастройка сервисов чтобы избежать появления микроберстов), думаю тут только экспериментально получится выяснить. Случай из практики: стример подлюченный 10Г портом периодически начинает слать трафик с микроберстами в течении 5-10 минут, на 1Г портах в сторону потребителей начинают появляться дропы до 100pps, причем как на свитчах типа C3750G, так и на Nexus 3064, настройка QoS не помогает, по усредненным графикам за 5 минут трафик не меняется (порты загружены меньше чем наполовину). Пока не порешалось, но причина кроется в сервере, уже поняли в какие моменты он начинает слать данные с микроберстами. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 · Report post 3 минуты назад, v_r сказал: думаю тут только экспериментально получится выяснить. Видимо да. А Вы не настраивали классификаторы трафика на входящей очереди интерфейса на 3560G или на 4948Е для того чтобы не критичный трафик дропнуть в случае микроберстов? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 2, 2017 · Report post 11 минут назад, QWE сказал: А Вы не настраивали классификаторы трафика Настраивал, и увеличивал буферы для очереди, и делал очередь приоритетной, дропы есть, зависимость дропов от настроек не отслеживал потому что QoS был настроен и раньше. По имеющейся информации на 3750G буферы 384К, на N3064 буферы 5М, вне зависимости от количества занятых портов дропы есть. Видимо в нашем случае сказывается переход 10Г -> 1Г потому что на всех транзитных 10Г линках дропы отсутствуют, а на всех 1Г линках с потребителями (и на свитче куда включен сервер, и далеко в другой части сети) дропы появляются синхронно. Так что в вашем случае апгрейд до 4948E с поднятием 10Г линка между свитчами скорее всего поможет, не потому что буферы больше (хотя там до 16М буферов), а в большей степени потому что данные будут отправляться быстрее. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 2, 2017 (edited) · Report post 8 минут назад, v_r сказал: Настраивал, и увеличивал буферы для очереди, и делал очередь приоритетной, дропы есть, зависимость дропов от настроек не отслеживал потому что QoS был настроен и раньше. По имеющейся информации на 3750G буферы 384К, на N3064 буферы 5М, вне зависимости от количества занятых портов дропы есть. Видимо в нашем случае сказывается переход 10Г -> 1Г потому что на всех транзитных 10Г линках дропы отсутствуют, а на всех 1Г линках с потребителями (и на свитче куда включен сервер, и далеко в другой части сети) дропы появляются синхронно. Так что в вашем случае апгрейд до 4948E с поднятием 10Г линка между свитчами скорее всего поможет, не потому что буферы больше (хотя там до 16М буферов), а в большей степени потому что данные будут отправляться быстрее. между свичами будет LACP - по 2 или 4 1Гбит линка. 10Г порт 4948E будет смотреть в бордер. ДАнные будут отправляться быстрее по маршруту 10Г--LACP линк. Edited November 2, 2017 by QWE Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
v_r Posted November 2, 2017 · Report post 13 минут назад, QWE сказал: между свичами будет LACP - по 2 или 4 1Гбит линка В таком случае заранее трудно сказать как будет работать. Раз дропы есть на этом свитче то по идее дропы (возможно в меньшей степени) будут и дальше на свитчах, и на порту потребителя, особенно если свитчи не такие продвинутые как Cisco - у некоторых счетчики по очередям QoS напрочь отсутствуют, о потерях можно только догадываться. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
andryas Posted November 4, 2017 · Report post В 02.11.2017 в 10:15, QWE сказал: Зашел на железку а тут такое. Извечный вопрос что делать? Менять железку или можно что то подкрутить? На скОльких портах свитчей растут потери? Сколько downlink'ов всего? COS включён? Трафик, я так понял, не раскрашивается, основная его масса попадает в очередь 0-4? Как распределены буфера и пороги? Покажите sho run | inc qos и sho run int gi 0/51 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 4, 2017 (edited) · Report post 1 час назад, andryas сказал: На скОльких портах свитчей растут потери? Сколько downlink'ов всего? COS включён? Трафик, я так понял, не раскрашивается, основная его масса попадает в очередь 0-4? Как распределены буфера и пороги? Покажите sho run | inc qos и sho run int gi 0/51 # sho run | inc qos mls qos queue-set output 2 threshold 2 600 600 50 700 mls qos queue-set output 1 buffers 25 55 10 10 mls qos queue-set output 2 buffers 8 75 8 9 mls qos cos 7 mls qos trust cos sho run int gi 0/51 Building configuration... Current configuration : 499 bytes ! interface GigabitEthernet0/51 description ### switchport trunk encapsulation dot1q switchport trunk allowed vlan add 890,891,953-998,2092 switchport mode trunk load-interval 30 queue-set 2 spanning-tree cost 4 hold-queue 4096 out end трафик не раскрашивается, да и как его красить средствами этой железки если железка используется на сети провайдера? потери растут не только на этом интерфейсе, потери есть еще в сторону свича агрегации, в сторону бордера и в другие интерфейсы. downlink ов много, кроме свичей агрегации в интерфейсах и абоненты сидят Edited November 4, 2017 by QWE Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
andryas Posted November 4, 2017 · Report post 54 минуты назад, QWE сказал: mls qos queue-set output 1 buffers 25 55 10 10 mls qos queue-set output 2 buffers 8 75 8 9 У Вас часть портов работають по первому, часть по второму шаблону? В любом cлучае все пакеты дропаются на буфере второй очереди, остальные не используються, а память Вы им резервируете. Отдайте ей весь буфер в обеих шаблонах: 1 97 1 1 Если нагруженных портов 1-2, отдате им побольше памяти, увеличте пороги: 3100 3100 100 3200. Если таких портов 3-4: 400 200 50 1600 (и крутить вручную первый и последний порог), если нагруженных портов больше, то отключить qos и смириться с дропами (они неизбежны), либо же менять железку. Это убрать 54 минуты назад, QWE сказал: mls qos cos 7 Это добавить mls qos srr-queue output cos-map queue 2 threshold 3 0 mls qos srr-queue output dscp-map queue 2 threshold 3 0 no mls qos rewrite ip dscp mls qos Как справедливо заметили выше, у cisco 2960/3560/3750 совсем маленькие буфера, т.е. они малопригодны для серьёзных нагрузок. Следует учесть, что включение QOS при дефолтных настройках на высоконагруженном коммутаторе из этой серии, обычно, только усуг***ет ситуацию, т.к. и без того маленький буфер разбивается на части. Нужно очень хорошо понимать, что настраивается. Если же QOS не включать, то весь трафик будет дропаться в последней очереди, там можно поиграть с mls qos queue-set output N buffers 1 10 1 88. (в сумме должно быть 100%) Возможно, упомянутые железки ухудшены умышленно, дабы стимулировать покупку более дорогих. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 4, 2017 · Report post 24 минуты назад, andryas сказал: У Вас часть портов работають по первому, часть по второму шаблону? В любом влучае все пакеты дропаются на буфере второй очереди, остальные не используються, а память Вы им резервируете. Отдайте ей весь буфер в обеих шаблонах: 1 97 1 1 Если нагруженных портов 1-2, отдате им побольше памяти, увеличте пороги: 3100 3100 100 3200. Если таких портов 3-4: 400 200 50 1600 (и крутить вручную первый и последний порог), если нагруженных портов больше, то отключить qos и смириться с дропами (они неизбежны), либо же менять железку. Это убрать Это добавить mls qos srr-queue output cos-map queue 2 threshold 3 0 mls qos srr-queue output dscp-map queue 2 threshold 3 0 no mls qos rewrite ip dscp mls qos Как справедливо заметили выше, у cisco 2960/3560/3750 совсем маленькие буфера, т.е. они малопригодны для серьёзных нагрузок. Следует учесть, что включение QOS при дефолтных настройках на высоконагруженном коммутаторе из этой серии, обычно, только усуг***ет ситуацию, т.к. и без того маленький буфер разбивается на части. Нужно очень хорошо понимать, что настраивается. Если же QOS не включать, то весь трафик будет дропаться в последней очереди, там можно поиграть с mls qos queue-set output N buffers 1 10 1 88. (в сумме должно быть 100%) Возможно, упомянутые железки ухудшены умышленно, дабы стимулировать покупку более дорогих железок. я что то уже накрутил, как мне кажется полегчало. Меняю железку. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Mechanic Posted November 13, 2019 · Report post Коллеги, подскажите что накручивать: cisco 3560g , 4*1G интерфейса в LAGG, загрузка до 700мбит на интерфейс, есть ошибки по output. gi0/11 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 35507482 gi0/13 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 11226210 0/26 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 1448817 gi0/28 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 1527786 те все дропы по 4 очереди Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted November 14, 2019 · Report post Перераспределяйте буфера в сторону проблемной очереди. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
