QWE Posted November 2, 2017 Posted November 2, 2017 Зашел на железку а тут такое. Извечный вопрос что делать? Менять железку или можно что то подкрутить? С другой стороны такой же свич и на нем картинка аналогичная. в свичах SFP модули и между ними оптика. cisco WS-C3560G-48TS (PowerPC405) processor (revision D0) with 131072K bytes of memory. System image file is "flash:/c3560-ipservicesk9-mz.122-58.SE2.bin" #show interfaces gigabitEthernet 0/51 GigabitEthernet0/51 is up, line protocol is up (connected) Hardware is Gigabit Ethernet, address is 001a.a275.e6b3 (bia 001a.a275.e6b3) Description: ## MTU 1546 bytes, BW 1000000 Kbit/sec, DLY 10 usec, reliability 255/255, txload 136/255, rxload 135/255 Encapsulation ARPA, loopback not set Keepalive not set Full-duplex, 1000Mb/s, link type is auto, media type is CWDM-1590 SFP input flow-control is off, output flow-control is unsupported ARP type: ARPA, ARP Timeout 04:00:00 Last input 00:00:08, output 00:00:00, output hang never Last clearing of "show interface" counters never Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 255088259 <------------!!!!!!!!!!!!!!!!!! Счетчик постоянно растет до 100-200 пакетов в сек Queueing strategy: fifo Output queue: 0/40 (size/max) 5 minute input rate 529876000 bits/sec, 120061 packets/sec 5 minute output rate 535608000 bits/sec, 87899 packets/sec 1889363508287 packets input, 1164319026344918 bytes, 0 no buffer Received 824394063 broadcasts (169360593 multicasts) 483 runts, 0 giants, 0 throttles 484 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 0 watchdog, 169360593 multicast, 0 pause input 0 input packets with dribble condition detected 1245893181645 packets output, 735164054324342 bytes, 0 underruns 0 output errors, 0 collisions, 1 interface resets 0 unknown protocol drops 0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output 0 output buffer failures, 0 output buffers swapped out #show controllers ethernet-controller gigabitEthernet 0/51 Transmit GigabitEthernet0/51 Receive 3646833200 Bytes 767894417 Bytes 2528591090 Unicast frames 3072693108 Unicast frames 1205563946 Multicast frames 169361915 Multicast frames 931309078 Broadcast frames 655035676 Broadcast frames 0 Too old frames 3816727148 Unicast bytes 0 Deferred frames 674701413 Multicast bytes 0 MTU exceeded frames 1459693541 Broadcast bytes 0 1 collision frames 0 Alignment errors 0 2 collision frames 0 FCS errors 0 3 collision frames 0 Oversize frames 0 4 collision frames 11470605 Undersize frames 0 5 collision frames 0 Collision fragments 0 6 collision frames 0 7 collision frames 14857735 Minimum size frames 0 8 collision frames 2678288215 65 to 127 byte frames 0 9 collision frames 4160405344 128 to 255 byte frames 0 10 collision frames 1384243779 256 to 511 byte frames 0 11 collision frames 1846916968 512 to 1023 byte frames 0 12 collision frames 1315285612 1024 to 1518 byte frames 0 13 collision frames 0 Overrun frames 0 14 collision frames 0 Pause frames 0 15 collision frames 0 Excessive collisions 1 Symbol error frames 0 Late collisions 0 Invalid frames, too large 0 VLAN discard frames 1098498244 Valid frames, too large 0 Excess defer frames 0 Invalid frames, too small 3852399 64 byte frames 0 Valid frames, too small 2942557881 127 byte frames 886993666 255 byte frames 0 Too old frames 75101303 511 byte frames 0 Valid oversize frames 4034905515 1023 byte frames 0 System FCS error frames 3039708504 1518 byte frames 0 RxPortFifoFull drop frame 2272279439 Too large frames 0 Good (1 coll) frames 0 Good (>1 coll) frames Вставить ник Quote
v_r Posted November 2, 2017 Posted November 2, 2017 sh mls qos interface gi0/51 statistics Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 22 минуты назад, uxcr сказал: sh int mtu #sh int mtu Port Name MTU Gi0/1 ##S 1546 Gi0/2 ##U 1546 Gi0/3 ##S 1546 Gi0/4 ##W 1546 Gi0/5 ##F 1546 Gi0/6 ##R 1546 Gi0/7 ##F 1546 Gi0/8 ##U 1546 Gi0/9 ##S 1546 Gi0/10 ##S 1546 Gi0/11 ##S 1546 Gi0/12 ##B 1546 Gi0/13 ##U 1546 Gi0/14 ##G 1546 Gi0/15 ##B 1546 Gi0/16 ##K 1546 Gi0/17 ##P 1546 Gi0/18 ##R 1546 Gi0/19 ##K 1546 Gi0/20 ##G 1546 Gi0/21 ##C 1546 Gi0/22 ##I 1546 Gi0/23 ##T 1546 Gi0/24 ##L 1546 Gi0/25 ##S 1546 Gi0/26 ##M 1546 Gi0/27 ##I 1546 Gi0/28 ##M 1546 Gi0/29 ##I 1546 Gi0/30 ##M 1546 Gi0/31 ##M 1546 Gi0/32 ##I 1546 Gi0/33 ##F 1546 Gi0/34 ##T 1546 Gi0/35 ##T 1546 Gi0/36 FOR 1546 Port Nam MTU Gi0/37 ##T 1546 Gi0/38 ##I 1546 Gi0/39 ##L 1546 Gi0/40 ##L 1546 Gi0/41 ##T 1546 Gi0/42 ##K 1546 Gi0/43 ##R 1546 Gi0/44 ##I 1546 Gi0/45 ##M 1546 Gi0/46 ##B 1546 Gi0/47 ##C 1546 Gi0/48 ##K 1546 Gi0/49 ##C 1546 Gi0/50 1546 Gi0/51 ##B 1546 Gi0/52 ##B 1546 Po1 ##K 1546 20 минут назад, v_r сказал: sh mls qos interface gi0/51 statistics #sh mls qos interface gi0/51 statistics GigabitEthernet0/51 (All statistics are in packets) dscp: incoming ------------------------------- 0 - 4 : 737694715 12162 136339 639 5769 5 - 9 : 2242 2876 21316 306038 344 10 - 14 : 316305 0 8641 810 552 15 - 19 : 276 98780 15 11830 120 20 - 24 : 4594 0 1157 1 612143 25 - 29 : 0 2595 0 1581531 0 30 - 34 : 273 1 2245 16 7436 35 - 39 : 0 114977 0 40 0 40 - 44 : 169099 2 9 0 0 45 - 49 : 34 473112 0 4987212 400 50 - 54 : 1379 23 56 0 50 55 - 59 : 2 126 0 1 0 60 - 64 : 0 0 56 532 dscp: outgoing ------------------------------- 0 - 4 : 1211442202 609 26 0 18 5 - 9 : 0 0 89 60 0 10 - 14 : 6259 0 0 0 0 15 - 19 : 0 42 0 5393 0 20 - 24 : 1679 0 0 0 45 25 - 29 : 0 107 0 0 4 30 - 34 : 0 1 311 0 91 35 - 39 : 0 2 0 4 0 40 - 44 : 207 0 0 0 0 45 - 49 : 0 16069 0 18992031 0 50 - 54 : 0 0 0 88 0 55 - 59 : 0 5848662 0 0 0 60 - 64 : 0 0 0 0 cos: incoming ------------------------------- 0 - 4 : 201513688 0 264624 3 2 5 - 7 : 7 4928252 7297589 cos: outgoing ------------------------------- 0 - 4 : 651848673 6319 874762 157 408 5 - 7 : 16321 18992119 18638986 output queues enqueued: queue: threshold1 threshold2 threshold3 ----------------------------------------------- queue 0: 0 0 0 queue 1: 3806145283 238145717 154256265 queue 2: 0 0 0 queue 3: 5855130 0 146003867 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------------- queue 0: 0 0 0 queue 1: 255779323 7773 0 queue 2: 0 0 0 queue 3: 0 0 0 Policer: Inprofile: 0 OutofProfile: Вставить ник Quote
v_r Posted November 2, 2017 Posted November 2, 2017 2 часа назад, QWE сказал: Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 255088259 <------------!!!!!!!!!!!!!!!!!! Счетчик постоянно растет до 100-200 пакетов в сек Так вот же они: 1 час назад, QWE сказал: output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------------- queue 0: 0 0 0 queue 1: 255779323 7773 0 queue 2: 0 0 0 queue 3: 0 0 0 Банально не хватает буферов, нужно настраивать QoS: либо разделять трафик по очередям, либо - проще всего - просто увеличить буферы для первой очереди. Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 (edited) 1 час назад, v_r сказал: Так вот же они: Банально не хватает буферов, нужно настраивать QoS: либо разделять трафик по очередям, либо - проще всего - просто увеличить буферы для первой очереди. Сорри, и как это сделать? еще тоже самое нашел, вид сбоку #show platform port-asic stats drop gigabitEthernet 0/51 Interface Gi0/51 TxQueue Drop Statistics Queue 0 Weight 0 Frames 0 Weight 1 Frames 0 Weight 2 Frames 0 Queue 1 Weight 0 Frames 256345642 Weight 1 Frames 7823 Weight 2 Frames 0 Queue 2 Weight 0 Frames 0 Weight 1 Frames 0 Weight 2 Frames 0 Queue 3 Weight 0 Frames 0 Weight 1 Frames 0 Weight 2 Frames 0 Edited November 2, 2017 by QWE Вставить ник Quote
v_r Posted November 2, 2017 Posted November 2, 2017 Увеличение буферов для первой очереди: mls qos queue-set output 1 buffers 10 70 10 10 Настраивается сразу для всех портов, лучше попробовать в не-бизнес время. mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди. Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 36 минут назад, v_r сказал: Увеличение буферов для первой очереди: mls qos queue-set output 1 buffers 10 70 10 10 Настраивается сразу для всех портов, лучше попробовать в не-бизнес время. mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди. спс Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 1 час назад, QWE сказал: спс http://blog.ine.com/2008/03/03/bridging-the-gap-between-3550-and-3560-qos-part-i/ Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 (edited) 2 часа назад, v_r сказал: Увеличение буферов для первой очереди: mls qos queue-set output 1 buffers 10 70 10 10 Настраивается сразу для всех портов, лучше попробовать в не-бизнес время. mls qos включать не надо (по идее команда отработает и без этого), ибо с включенным QoS свитч начнет раскладывать пакеты по очередям в соответствии с DSCP, а в вашем случае для начала надо просто увеличить буферы дефолтной очереди. переконфигурил, но дропы все равно есть. видимо от них не избавиться на 100% на этой железяке, или настраивать нужно трафик который нужно дропать. Edited November 2, 2017 by QWE Вставить ник Quote
v_r Posted November 2, 2017 Posted November 2, 2017 LACP между свитчами затруднительно собрать? Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 3 часа назад, v_r сказал: LACP между свитчами затруднительно собрать? В настоящий момент 4948E запускаем вместо 3560G. Вся суета сейчас - жалоба абонента, которая и выявила масштабную проблему на всех магистральных линках. После запуска с 4948E по (2)4 линка в LACP будет до свичей агрегации. Насколько вообще LACP помогает от нехватки буфера при микроберстах? Вставить ник Quote
v_r Posted November 2, 2017 Posted November 2, 2017 Смотря какие микроберсты, может банально чуть-чуть не хватает буферов и расширение скорости поможет, а может понадобится замена на что-то более серьезное чем свитчи с разделяемыми буферами (либо перенастройка сервисов чтобы избежать появления микроберстов), думаю тут только экспериментально получится выяснить. Случай из практики: стример подлюченный 10Г портом периодически начинает слать трафик с микроберстами в течении 5-10 минут, на 1Г портах в сторону потребителей начинают появляться дропы до 100pps, причем как на свитчах типа C3750G, так и на Nexus 3064, настройка QoS не помогает, по усредненным графикам за 5 минут трафик не меняется (порты загружены меньше чем наполовину). Пока не порешалось, но причина кроется в сервере, уже поняли в какие моменты он начинает слать данные с микроберстами. Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 3 минуты назад, v_r сказал: думаю тут только экспериментально получится выяснить. Видимо да. А Вы не настраивали классификаторы трафика на входящей очереди интерфейса на 3560G или на 4948Е для того чтобы не критичный трафик дропнуть в случае микроберстов? Вставить ник Quote
v_r Posted November 2, 2017 Posted November 2, 2017 11 минут назад, QWE сказал: А Вы не настраивали классификаторы трафика Настраивал, и увеличивал буферы для очереди, и делал очередь приоритетной, дропы есть, зависимость дропов от настроек не отслеживал потому что QoS был настроен и раньше. По имеющейся информации на 3750G буферы 384К, на N3064 буферы 5М, вне зависимости от количества занятых портов дропы есть. Видимо в нашем случае сказывается переход 10Г -> 1Г потому что на всех транзитных 10Г линках дропы отсутствуют, а на всех 1Г линках с потребителями (и на свитче куда включен сервер, и далеко в другой части сети) дропы появляются синхронно. Так что в вашем случае апгрейд до 4948E с поднятием 10Г линка между свитчами скорее всего поможет, не потому что буферы больше (хотя там до 16М буферов), а в большей степени потому что данные будут отправляться быстрее. Вставить ник Quote
QWE Posted November 2, 2017 Author Posted November 2, 2017 (edited) 8 минут назад, v_r сказал: Настраивал, и увеличивал буферы для очереди, и делал очередь приоритетной, дропы есть, зависимость дропов от настроек не отслеживал потому что QoS был настроен и раньше. По имеющейся информации на 3750G буферы 384К, на N3064 буферы 5М, вне зависимости от количества занятых портов дропы есть. Видимо в нашем случае сказывается переход 10Г -> 1Г потому что на всех транзитных 10Г линках дропы отсутствуют, а на всех 1Г линках с потребителями (и на свитче куда включен сервер, и далеко в другой части сети) дропы появляются синхронно. Так что в вашем случае апгрейд до 4948E с поднятием 10Г линка между свитчами скорее всего поможет, не потому что буферы больше (хотя там до 16М буферов), а в большей степени потому что данные будут отправляться быстрее. между свичами будет LACP - по 2 или 4 1Гбит линка. 10Г порт 4948E будет смотреть в бордер. ДАнные будут отправляться быстрее по маршруту 10Г--LACP линк. Edited November 2, 2017 by QWE Вставить ник Quote
v_r Posted November 2, 2017 Posted November 2, 2017 13 минут назад, QWE сказал: между свичами будет LACP - по 2 или 4 1Гбит линка В таком случае заранее трудно сказать как будет работать. Раз дропы есть на этом свитче то по идее дропы (возможно в меньшей степени) будут и дальше на свитчах, и на порту потребителя, особенно если свитчи не такие продвинутые как Cisco - у некоторых счетчики по очередям QoS напрочь отсутствуют, о потерях можно только догадываться. Вставить ник Quote
andryas Posted November 4, 2017 Posted November 4, 2017 В 02.11.2017 в 10:15, QWE сказал: Зашел на железку а тут такое. Извечный вопрос что делать? Менять железку или можно что то подкрутить? На скОльких портах свитчей растут потери? Сколько downlink'ов всего? COS включён? Трафик, я так понял, не раскрашивается, основная его масса попадает в очередь 0-4? Как распределены буфера и пороги? Покажите sho run | inc qos и sho run int gi 0/51 Вставить ник Quote
QWE Posted November 4, 2017 Author Posted November 4, 2017 (edited) 1 час назад, andryas сказал: На скОльких портах свитчей растут потери? Сколько downlink'ов всего? COS включён? Трафик, я так понял, не раскрашивается, основная его масса попадает в очередь 0-4? Как распределены буфера и пороги? Покажите sho run | inc qos и sho run int gi 0/51 # sho run | inc qos mls qos queue-set output 2 threshold 2 600 600 50 700 mls qos queue-set output 1 buffers 25 55 10 10 mls qos queue-set output 2 buffers 8 75 8 9 mls qos cos 7 mls qos trust cos sho run int gi 0/51 Building configuration... Current configuration : 499 bytes ! interface GigabitEthernet0/51 description ### switchport trunk encapsulation dot1q switchport trunk allowed vlan add 890,891,953-998,2092 switchport mode trunk load-interval 30 queue-set 2 spanning-tree cost 4 hold-queue 4096 out end трафик не раскрашивается, да и как его красить средствами этой железки если железка используется на сети провайдера? потери растут не только на этом интерфейсе, потери есть еще в сторону свича агрегации, в сторону бордера и в другие интерфейсы. downlink ов много, кроме свичей агрегации в интерфейсах и абоненты сидят Edited November 4, 2017 by QWE Вставить ник Quote
andryas Posted November 4, 2017 Posted November 4, 2017 54 минуты назад, QWE сказал: mls qos queue-set output 1 buffers 25 55 10 10 mls qos queue-set output 2 buffers 8 75 8 9 У Вас часть портов работають по первому, часть по второму шаблону? В любом cлучае все пакеты дропаются на буфере второй очереди, остальные не используються, а память Вы им резервируете. Отдайте ей весь буфер в обеих шаблонах: 1 97 1 1 Если нагруженных портов 1-2, отдате им побольше памяти, увеличте пороги: 3100 3100 100 3200. Если таких портов 3-4: 400 200 50 1600 (и крутить вручную первый и последний порог), если нагруженных портов больше, то отключить qos и смириться с дропами (они неизбежны), либо же менять железку. Это убрать 54 минуты назад, QWE сказал: mls qos cos 7 Это добавить mls qos srr-queue output cos-map queue 2 threshold 3 0 mls qos srr-queue output dscp-map queue 2 threshold 3 0 no mls qos rewrite ip dscp mls qos Как справедливо заметили выше, у cisco 2960/3560/3750 совсем маленькие буфера, т.е. они малопригодны для серьёзных нагрузок. Следует учесть, что включение QOS при дефолтных настройках на высоконагруженном коммутаторе из этой серии, обычно, только усуг***ет ситуацию, т.к. и без того маленький буфер разбивается на части. Нужно очень хорошо понимать, что настраивается. Если же QOS не включать, то весь трафик будет дропаться в последней очереди, там можно поиграть с mls qos queue-set output N buffers 1 10 1 88. (в сумме должно быть 100%) Возможно, упомянутые железки ухудшены умышленно, дабы стимулировать покупку более дорогих. Вставить ник Quote
QWE Posted November 4, 2017 Author Posted November 4, 2017 24 минуты назад, andryas сказал: У Вас часть портов работають по первому, часть по второму шаблону? В любом влучае все пакеты дропаются на буфере второй очереди, остальные не используються, а память Вы им резервируете. Отдайте ей весь буфер в обеих шаблонах: 1 97 1 1 Если нагруженных портов 1-2, отдате им побольше памяти, увеличте пороги: 3100 3100 100 3200. Если таких портов 3-4: 400 200 50 1600 (и крутить вручную первый и последний порог), если нагруженных портов больше, то отключить qos и смириться с дропами (они неизбежны), либо же менять железку. Это убрать Это добавить mls qos srr-queue output cos-map queue 2 threshold 3 0 mls qos srr-queue output dscp-map queue 2 threshold 3 0 no mls qos rewrite ip dscp mls qos Как справедливо заметили выше, у cisco 2960/3560/3750 совсем маленькие буфера, т.е. они малопригодны для серьёзных нагрузок. Следует учесть, что включение QOS при дефолтных настройках на высоконагруженном коммутаторе из этой серии, обычно, только усуг***ет ситуацию, т.к. и без того маленький буфер разбивается на части. Нужно очень хорошо понимать, что настраивается. Если же QOS не включать, то весь трафик будет дропаться в последней очереди, там можно поиграть с mls qos queue-set output N buffers 1 10 1 88. (в сумме должно быть 100%) Возможно, упомянутые железки ухудшены умышленно, дабы стимулировать покупку более дорогих железок. я что то уже накрутил, как мне кажется полегчало. Меняю железку. Вставить ник Quote
Mechanic Posted November 13, 2019 Posted November 13, 2019 Коллеги, подскажите что накручивать: cisco 3560g , 4*1G интерфейса в LAGG, загрузка до 700мбит на интерфейс, есть ошибки по output. gi0/11 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 35507482 gi0/13 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 11226210 0/26 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 1448817 gi0/28 output queues dropped: queue: threshold1 threshold2 threshold3 ----------------------------------------- queue 0: 0 0 0 queue 1: 0 0 0 queue 2: 0 0 0 queue 3: 0 0 1527786 те все дропы по 4 очереди Вставить ник Quote
zhenya` Posted November 14, 2019 Posted November 14, 2019 Перераспределяйте буфера в сторону проблемной очереди. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.