Jump to content
Калькуляторы

output buffer failures на cisco 3550

Доброго времени суток,

 

Столкнулся с такой проблемой: на некоторых портах 3550 каталистов начали появляться "output buffer failures". Трафик вроде не большой... Например:

-8<------------------------------------------------------

FastEthernet0/16 is up, line protocol is up (connected)

Hardware is Fast Ethernet, address is 000e.84f6.b890 (bia 000e.84f6.b890)

MTU 1508 bytes, BW 100000 Kbit, DLY 100 usec,

reliability 255/255, txload 34/255, rxload 34/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 100Mb/s, media type is 10/100BaseTX

input flow-control is off, output flow-control is unsupported

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:00, output hang never

Last clearing of "show interface" counters 02:08:00

Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 13637000 bits/sec, 2260 packets/sec

30 second output rate 13660000 bits/sec, 2274 packets/sec

20585048 packets input, 3917283385 bytes, 0 no buffer

Received 4269361 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 4269215 multicast, 0 pause input

0 input packets with dribble condition detected

20532993 packets output, 3736609596 bytes, 3288 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

3288 output buffer failures, 0 output buffers swapped out

-8<------------------------------------------------------

 

Можно что-нибудь с этим сделать?

Edited by survivor

Share this post


Link to post
Share on other sites

Причем CPU на этом каталисте меньше 3 процентов

Share this post


Link to post
Share on other sites

это пакеты которые были потеряны при перегрузке порта(в исходящую сторону).

перегрузка могла быть коротким берстом, вы её даже в своём mrtg/cacti не могли заметить.

Share this post


Link to post
Share on other sites

дело в том, что эти "output buffer failures" время от времени растут и в этот момент в пингах наблюдаются дропы, и именно в этот момент я смотрю текущую скорость на каталисте - а там что-то около 30 мегабит!

Share this post


Link to post
Share on other sites

может это глюк IOS'а? у меня c3550-ipservicesk9-mz.122-44.SE2.bin

Share this post


Link to post
Share on other sites

Да, аплинк гигабитный, но там все хорошо:

 

C3550>sh int gigabitEthernet 0/1
GigabitEthernet0/1 is up, line protocol is up (connected) 
 Hardware is Gigabit Ethernet, address is 000e.84f6.b899 (bia 000e.84f6.b899)
 MTU 1508 bytes, BW 1000000 Kbit, DLY 10 usec, 
    reliability 255/255, txload 1/255, rxload 28/255
 Encapsulation ARPA, loopback not set
 Keepalive not set
 Full-duplex, 1000Mb/s, link type is auto, media type is 1000BaseTX
 input flow-control is off, output flow-control is off
 ARP type: ARPA, ARP Timeout 04:00:00
 1000BaseT module (WS-G5483) in GBIC slot.
 Last input 00:00:03, output 00:00:00, output hang never
 Last clearing of "show interface" counters 1d20h
 Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 30 second input rate 111767000 bits/sec, 10543 packets/sec
 30 second output rate 1264000 bits/sec, 1266 packets/sec
    1883757292 packets input, 2131898622 bytes, 0 no buffer
    Received 1337783287 broadcasts (0 multicasts)
    0 runts, 0 giants, 0 throttles
    0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
    0 watchdog, 1337693357 multicast, 0 pause input
    0 input packets with dribble condition detected
    352277215 packets output, 2896700554 bytes, 0 underruns
    0 output errors, 0 collisions, 0 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier, 0 PAUSE output
    0 output buffer failures, 0 output buffers swapped out

C3550>sh int gigabitEthernet 0/2
GigabitEthernet0/2 is up, line protocol is up (connected) 
 Hardware is Gigabit Ethernet, address is 000e.84f6.b89a (bia 000e.84f6.b89a)
 MTU 1508 bytes, BW 1000000 Kbit, DLY 10 usec, 
    reliability 255/255, txload 14/255, rxload 5/255
 Encapsulation ARPA, loopback not set
 Keepalive not set
 Full-duplex, 1000Mb/s, link type is auto, media type is 1000BaseTX
 input flow-control is off, output flow-control is off
 ARP type: ARPA, ARP Timeout 04:00:00
 1000BaseT module (WS-G5483) in GBIC slot.
 Last input 00:00:00, output 00:00:00, output hang never
 Last clearing of "show interface" counters 1d20h
 Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0
 Queueing strategy: fifo
 Output queue: 0/40 (size/max)
 30 second input rate 22041000 bits/sec, 5692 packets/sec
 30 second output rate 56107000 bits/sec, 7783 packets/sec
    743576892 packets input, 3065588171 bytes, 0 no buffer
    Received 10028647 broadcasts (0 multicasts)
    0 runts, 0 giants, 0 throttles
    0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
    0 watchdog, 8777369 multicast, 0 pause input
    0 input packets with dribble condition detected
    1101339984 packets output, 1713810283 bytes, 0 underruns
    0 output errors, 0 collisions, 0 interface resets
    0 babbles, 0 late collision, 0 deferred
    0 lost carrier, 0 no carrier, 0 PAUSE output
    0 output buffer failures, 0 output buffers swapped out

 

Gig0/1 смотрит в каталист 2960 с серверами, а Gig0/2 это аплинк на АТС, где стоит 3750.

Share this post


Link to post
Share on other sites

3288 underruns

=

3288 output buffer failures

 

вероятно проблемы IOS-а

 

хотя не исключено что возможно и физика

Edited by ash

Share this post


Link to post
Share on other sites

у меня c3550-ipservicesk9-mz.122-44.SE2.bin

Какой IOS посоветуете?

Share this post


Link to post
Share on other sites

Ну неужто никто 3550 каталисты не юзает? Поделитесь информацией, пожалуйста, у кого - какой IOS зарекомендовал себя как стабильный (и без output buffer failures), большего не прошу...

Share this post


Link to post
Share on other sites

у меня c3550-ipservicesk9-mz.122-44.SE2.bin

Какой IOS посоветуете?

 

у меня залит c3550-ipservicesk9-mz.122-50.SE3.bin

нагрузка больше

проблем нет

Share this post


Link to post
Share on other sites

используется

c3560-advipservicesk9-mz.122-46.SE.bin (скачивался с сайта циски)

проверил, таких ошибок не было ни на одном порту

трафику в разы больше

 

пробуйте обновиться

Share this post


Link to post
Share on other sites

ash поставил c3550-ipservicesk9-mz.122-50.SE3.bin - ничего не изменилось, ошибки растут...

dmitry_ у вас 3560, а у меня 3550...

 

Не знаю, что и делать, как отловить эти всплески? Снимаю статистику по snmp в rrd, на графиках - все нормально, никаких всплесков трафика, pps тоже стабильный...

Share this post


Link to post
Share on other sites

Вот sh buffers:

 

Buffer elements:
    483 in free list (500 max allowed)
    16588812 hits, 0 misses, 0 created

Public buffer pools:
Small buffers, 104 bytes (total 88, permanent 50, peak 110 @ 2d20h):
    64 in free list (20 min, 150 max allowed)
    10276551 hits, 314 misses, 824 trims, 862 created
    0 failures (0 no memory)
Middle buffers, 600 bytes (total 25, permanent 25, peak 40 @ 2d20h):
    22 in free list (10 min, 150 max allowed)
    324931 hits, 12 misses, 24 trims, 24 created
    0 failures (0 no memory)
SmallBig buffers, 1532 bytes (total 542, permanent 128, peak 567 @ 22:09:28):
    135 in free list (128 min, 512 max allowed)
    4076352 hits, 457 misses, 522 trims, 936 created
    0 failures (0 no memory)
Big buffers, 1536 bytes (total 128, permanent 128):
    128 in free list (128 min, 512 max allowed)
    0 hits, 0 misses, 0 trims, 0 created
    0 failures (0 no memory)
VeryBig buffers, 4520 bytes (total 0, permanent 0):
    0 in free list (0 min, 0 max allowed)
    0 hits, 0 misses, 0 trims, 0 created
    0 failures (0 no memory)
Large buffers, 5024 bytes (total 0, permanent 0):
    0 in free list (0 min, 0 max allowed)
    0 hits, 0 misses, 0 trims, 0 created
    0 failures (0 no memory)
Huge buffers, 18024 bytes (total 0, permanent 0):
    0 in free list (0 min, 0 max allowed)
    0 hits, 0 misses, 0 trims, 0 created
    0 failures (0 no memory)

Interface buffer pools:
Ram Access buffers, 1524 bytes (total 104, permanent 100, peak 169 @ 2d20h):
    104 in free list (100 min, 150 max allowed)
    1511225 hits, 51 misses, 174 trims, 178 created
    0 failures (0 no memory)
CPU1 buffers, 1524 bytes (total 4, permanent 4):
    4 in free list (0 min, 4 max allowed)
    0 hits, 0 misses
CPU13 buffers, 1524 bytes (total 32, permanent 32):
    1 in free list (0 min, 32 max allowed)
    80 hits, 2 fallbacks
CPU11 buffers, 1532 bytes (total 32, permanent 32):
    16 in free list (0 min, 32 max allowed)
    16 hits, 0 misses
CPU6 buffers, 1532 bytes (total 10, permanent 10):
    1 in free list (0 min, 10 max allowed)
    549299 hits, 55228 fallbacks
CPU12 buffers, 1532 bytes (total 20, permanent 20):
    10 in free list (0 min, 20 max allowed)
    10 hits, 0 misses
CPU3 buffers, 1532 bytes (total 20, permanent 20):
    10 in free list (0 min, 20 max allowed)
    10 hits, 0 misses
CPU0 buffers, 1532 bytes (total 200, permanent 200):
    200 in free list (0 min, 200 max allowed)
    0 hits, 0 misses
CPU5 buffers, 1532 bytes (total 200, permanent 200):
    200 in free list (0 min, 200 max allowed)
    0 hits, 0 misses
CPU8 buffers, 1532 bytes (total 32, permanent 32):
    16 in free list (0 min, 32 max allowed)
    134332069 hits, 0 misses
CPU4 buffers, 1532 bytes (total 450, permanent 450):
    224 in free list (0 min, 450 max allowed)
    13912459 hits, 274 misses
CPU2 buffers, 1532 bytes (total 10, permanent 10):
    1 in free list (0 min, 10 max allowed)
    2141493 hits, 230279 fallbacks
CPU10 buffers, 1532 bytes (total 8, permanent 8):
    0 in free list (0 min, 8 max allowed)
    8 hits, 0 fallbacks
CPU9 buffers, 1532 bytes (total 32, permanent 32):
    16 in free list (0 min, 32 max allowed)
    142881 hits, 0 misses
IPC buffers, 4096 bytes (total 3, permanent 2, peak 5 @ 2d20h):
    2 in free list (1 min, 8 max allowed)
    4 hits, 1 fallbacks, 27 trims, 28 created
    0 failures (0 no memory)

Header pools:

 

Что-нибудь подозрительное бросается в глаза?

Share this post


Link to post
Share on other sites

Тема все еще актуальна. Поставил снятие статистики на mrtg. Вот, посмотрите графики:

Этот порт - в режиме access, на нем наш сервер с хостингом... И так почти на всех портах...

post-61064-041939900 1308052792_thumb.jpg

Share this post


Link to post
Share on other sites

трафик не большой из-за 30 sec усреднения.

для появления дропов достаточно чтобы две станции, подключенные к порту передавали данные на скорости 100Mb/s (что они и делают) в течении 0.01 секунды.

дропы это нормальное явление.

 

насколько я помню в 3550 один асик имеет один буфер.

асик и буфер обслуживают несколько портов, 4 или 8 помойму.

если есть свободные порты нужно оставить необходимый порт на одном асике, тогда у него будет больше буфферной памяти.

но это только временное решение.

 

если дропы того или иного трафика не допустимы изучайте qos.

 

 

 

Доброго времени суток,

 

Столкнулся с такой проблемой: на некоторых портах 3550 каталистов начали появляться "output buffer failures". Трафик вроде не большой... Например:

-8<------------------------------------------------------

FastEthernet0/16 is up, line protocol is up (connected)

Hardware is Fast Ethernet, address is 000e.84f6.b890 (bia 000e.84f6.b890)

MTU 1508 bytes, BW 100000 Kbit, DLY 100 usec,

reliability 255/255, txload 34/255, rxload 34/255

Encapsulation ARPA, loopback not set

Keepalive set (10 sec)

Full-duplex, 100Mb/s, media type is 10/100BaseTX

input flow-control is off, output flow-control is unsupported

ARP type: ARPA, ARP Timeout 04:00:00

Last input never, output 00:00:00, output hang never

Last clearing of "show interface" counters 02:08:00

Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo

Output queue: 0/40 (size/max)

30 second input rate 13637000 bits/sec, 2260 packets/sec

30 second output rate 13660000 bits/sec, 2274 packets/sec

20585048 packets input, 3917283385 bytes, 0 no buffer

Received 4269361 broadcasts (0 multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 4269215 multicast, 0 pause input

0 input packets with dribble condition detected

20532993 packets output, 3736609596 bytes, 3288 underruns

0 output errors, 0 collisions, 0 interface resets

0 babbles, 0 late collision, 0 deferred

0 lost carrier, 0 no carrier, 0 PAUSE output

3288 output buffer failures, 0 output buffers swapped out

-8<------------------------------------------------------

 

Можно что-нибудь с этим сделать?

Share this post


Link to post
Share on other sites

Была у нас подобная бяка, причем сервер хостинга был на одном порту, а дропы были совсем на другом. Оказалось, что сервер периодически плевал в сторону кошки парой сотен мегабитов трафика. По усредненным счётчикам этого не было видно. Полечили заразу, проблема пропала.

Share this post


Link to post
Share on other sites
Полечили заразу, проблема пропала

КАК?! :-)

Share this post


Link to post
Share on other sites

chocholl Похоже вы правы:

насколько я помню в 3550 один асик имеет один буфер.

асик и буфер обслуживают несколько портов, 4 или 8 помойму.

если есть свободные порты нужно оставить необходимый порт на одном асике, тогда у него будет больше буфферной памяти.

но это только временное решение.

Спасибо за информацию - она мне реально помогла! Я ведь пробовал менять каталист на другой, той же модели, менял иос, но в пятницу еще попробовал переставить проблемные порты на 2960-й каталист, соединенный с 3550 гигабитом.... и ВСЕ! Ни на 3550-ом каталисте, ни на (что самое интересное!) 2960-ом каталисте ошибок нет! Я так понимаю 2960 хардверно круче (в плане свичинга) чем 3550?

Если не трудно - не могли бы вы немного подробнее рассказать про асики или хотя бы - линк где почитать? Может мне просто нужно по другому расставить порты на 3550-ом каталисте?

QoS конечно буду внедрять.

Share this post


Link to post
Share on other sites

Кстати, проблемные порты у меня были: 1,6,8,10,15,18,19,21

Share this post


Link to post
Share on other sites

c3550-ipservicesk9-mz.122-44.SE6 12Gi - ни одного output buffer failures ? траффик под 250, cpu не более 50% по histoty

Share this post


Link to post
Share on other sites

Извиняюсь, что не стал создавать новую тему, а как археолог просто апнул эту. У меня 3500-24fx - впаянные транссиверы. На портах такая же ошибка. К портам подключены Cisco 2950 через медиаконвертор. Что может быть источником проблемы?

Спасибо

Share this post


Link to post
Share on other sites

Догуглился до https://www.cisco.com/c/ru_ru/support/docs/interfaces-modules/channel-interface-processors/14620-41.html

 

мои значения таковы:

Buffer elements:
     484 in free list (500 max allowed)
     895524160 hits, 0 misses, 0 created

Public buffer pools:
Small buffers, 104 bytes (total 50, permanent 50, peak 218 @ 7w0d):
     50 in free list (20 min, 150 max allowed)
     402222288 hits, 56 misses, 168 trims, 168 created
     0 failures (0 no memory)
Middle buffers, 600 bytes (total 25, permanent 25, peak 40 @ 7w0d):
     23 in free list (10 min, 150 max allowed)
     627912 hits, 5 misses, 15 trims, 15 created
     0 failures (0 no memory)
Big buffers, 1536 bytes (total 587, permanent 128, peak 860 @ 3d19h):
     165 in free list (128 min, 512 max allowed)
     507421792 hits, 976271 misses, 88283 trims, 88742 created
     14 failures (0 no memory)
VeryBig buffers, 4520 bytes (total 0, permanent 0):
     0 in free list (0 min, 0 max allowed)
     0 hits, 0 misses, 0 trims, 0 created
     0 failures (0 no memory)
Large buffers, 5024 bytes (total 0, permanent 0):
     0 in free list (0 min, 0 max allowed)
     0 hits, 0 misses, 0 trims, 0 created
     0 failures (0 no memory)
Huge buffers, 18024 bytes (total 0, permanent 0):
     0 in free list (0 min, 0 max allowed)
     0 hits, 0 misses, 0 trims, 0 created
     0 failures (0 no memory)

Собственно, куда тюнить и как? Я понимаю о чем написано, но полагаю, что немного неверно воспринимаю информацию.

Share this post


Link to post
Share on other sites
В 23.05.2011 в 12:03, survivor сказал:

Ну неужто никто 3550 каталисты не юзает? Поделитесь информацией, пожалуйста, у кого - какой IOS зарекомендовал себя как стабильный (и без output buffer failures), большего не прошу...

 Отчего не пользую, пользую.  Вот например за год аптайма,  этих output buffer ничтожное количество.

 

 Full-duplex, 100Mb/s, media type is 100BaseFX
 5 minute input rate 135000 bits/sec, 111 packets/sec
 5 minute output rate 695000 bits/sec, 132 packets/sec
    1072178395 packets input, 3715423736 bytes, 0 no buffer
    Received 4003697 broadcasts (0 multicasts)
    2043349038 packets output, 3611728082 bytes, 134277 underruns
    134277 output buffer failures, 0 output buffers swapped out

 

 Это на  Cisco WS-C3550-24-FX, Пустые счетчики я удалил, чтобы не мусорить.

 

opto100 uptime is 1 year, 8 weeks, 1 day, 2 hours, 58 minutes
System returned to ROM by power-on
System restarted at 15:43:20 ESK Tue Sep 6 2016
System image file is "flash:/c3550-ipservicesk9-mz.122-52.SE/c3550-ipservicesk9-
mz.122-52.SE.bin"

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this