Jump to content

Cisco 3560E - периодически пропадает контроль.

artful
 Share

Recommended Posts

artful

artful

Posted
Posted

Итак, есть Cisco WS-C3560E-48TD, стоит софт c3560e-universalk9-mz.150-2.SE10.bin

периодически пропадает контроль над самим свитчем. То есть свитч не отвечает на icmp пакеты, не отвечает на snmp запросы. Если в этот момент управлять сервером по телнету - то сервер не реагирует ни на одну команду. Но при этом свитч сквозь себя нормально пропускает трафик и нормально маршрутизирует трафик.

Как это выглядит в mtr:

До самого свитча:

Host                                                       Loss%   Snt   Last   Avg  Best  Wrst StDev
Host                                                       Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 91.214.70.112                                           38.5%  1102    0.0   0.0   0.0   0.1   0.0
2. 80.87.207.128                                            0.0%  1102    1.5   2.8   0.5  85.4   5.3
   80.87.207.118
3. 80.87.207.122                                            0.1%  1102    0.5   0.4   0.3  79.5   3.3
   80.87.207.120
4. 80.87.207.89                                            20.8%  1102    1.4   3.6   0.6 317.8  12.0

как видим идут потери до свитча.

Но если сделать mtr до сервера, который подключен к самому свитчу (при этом шлюзом для сервера является именно этот свитч)

Host                                                       Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 91.214.70.112                                           61.2%   891    0.0   0.0   0.0   0.0   0.0
2. 80.87.207.128                                            0.0%   891    1.8   3.1   0.5  61.6   7.2
   80.87.207.118
3. 80.87.207.122                                            0.0%   891    0.3   0.3   0.2   0.9   0.0
   80.87.207.120
4. 80.87.207.89                                             0.0%   891    2.8   3.8   0.7  51.2   7.4
5. 91.214.68.222                                            0.0%   891    0.3   0.2   0.1   0.3   0.0

 

Трассировки делались параллельно и как видно - когда делаем трассировку до 80.87.207.89 ip - есть потери, а когда делаем трассировку до 91.214.68.22 - на ip 80.87.207.89 нету потерь.

 

далее, мы зашли на сам сервер и стали делать mtr с него до свитча и до яндекса:

Host                                                       Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 80.87.207.8                                              0.0%   755    2.0   2.7   0.6  49.3   4.6
2. 80.87.207.88                                             0.1%   755    0.5   0.6   0.3  62.4   3.5
3. 80.87.207.102                                            0.0%   755    0.4  11.0   0.2 407.9  38.3
4. 178.18.224.52                                            0.0%   755    0.4   0.4   0.3   0.8   0.1
5. 37.140.137.94                                            0.0%   754    0.8   1.1   0.7  23.1   2.4
6. 213.180.213.16                                           0.0%   754   10.3  10.0   9.1  20.2   1.4
7. 87.250.239.53                                            0.0%   754    8.5   8.5   8.2  32.2   1.5
8. 93.158.134.3                                             0.0%   754    8.3   8.3   8.2   9.6   0.2

а теперь до самого свитча:

Host                                                       Loss%   Snt   Last   Avg  Best  Wrst StDev
1. 80.87.207.8                                             29.9%   763    2.4   3.3   0.6  59.0   6.6
[code]

то есть свитч перестает отвечать на пакеты - которе идут именно на него.  И ситуация аналогичная. При трассировке до яндекса на ip 80.87.207.8  нету потерь, а при трассировке до самого ip 80.87.207.8 потери есть.

далее - стали смотреть нагрузку на процессор - нагрузка в норме - скачков нету. При этом - если подключится к свитчу через консоль - то там управление не отваливается и нормально работает. И в тот момент когда свитч не отвечат на пинги - циска нормально реагирует на команды. Но в момент когда циска не доступна из вне - аналогично циска через консоль не может пинговать никого.
Выглядит это так:
[code]
ping 91.214.68.222 repeat 10000      
Type escape sequence to abort.
Sending 10000, 100-byte ICMP Echos to 91.214.68.222, timeout is 2 seconds:
.!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!.!!!!!!!!!!!!!..!.!!.....!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!....!!
!.!!!!...!.............!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

 

такое ощущение что пропадает связь между софт частью самого свитча и всем внешним миром. как будто идет какой то канал до проца циски и он переодически перестает отвечать.

Просим учеть что тут проблема не в icmp лимите - так как через телнет и snmp циска так же перестает отвечать из вне. А через консоль в тот момент - когда циска не доступна из вне - не работают icmp/dns запросы и т.п.)

 

Кто сталкивался - куда смотреть или менять свитч ?

infery

infery

Posted
Posted (edited)

А чем лечите? У самого две штуки 3560Е симптомы те же, оба заменили на 4948. Я так понял, что там памяти очень мало, и через какое-то время отваливается управление, а трафик продолжает ходить.

 

WS-C3560E-24TD

c3560e-universalk9-mz.150-2.SE7.bin

Edited by infery
Nik0n

Nik0n

Posted
Posted

У нас подобное лет 6 назад просходил на 3550 когда кончалась память из-за большого кол-ва SVI.

Рестарт свича (причес жесто, по питанию) не надолго решал проблему.

Кардинально реши сменой ядра (тем более там 10г в агрегацию был уже в ближайших планах) на 4900M :).

artful

artful

Posted
  • Author
Posted (edited)

У нас данная железка не в ядре - а они стоят в стойках - и в них подключаются сервера клиентов. И дальше на стойку приходит 10ге - хватает за глаза. Макс нагрузка 1.5Gb/s на стойку. А если будет не хватать - портчанел и 20ге придет на стойку.

По графику память держится стабильно и не проседает

http://owncloud.su/index.php/s/pW36BeZiLF3rvdT

 

и SVI на данной железке не так много , вот график с другой 3560E на которой в 3 раза больше интерфейсов:

http://owncloud.su/index.php/s/oXnvm9KCKvKtUIF

Edited by artful
  • 2 weeks later...
artful

artful

Posted
  • Author
Posted

а никто не пробовал ставить софт

 

system_type: 0x00000002: c3560e-universalk9-mz.152-4.E2

image_family: C3560E

stacking_number: 1.59

info_end:

 

он на 5 мегабайт меньше и как следствие должен кушать меньше памяти.

завтра попробую на тестовую железку развернуть.

ShyLion

ShyLion

Posted
Posted

он на 5 мегабайт меньше и как следствие должен кушать меньше памяти.

Серьезный вывод.

Во первых все файлы с прошивками сжаты и при старте железки распаковываются. Т.е. реальный размер может быть точно такой-же а не меньше.

Во вторых пямять жрет не образ ПО, а всякие там пакетные буферы, и рабочие процессы и от размера образа ну никак не зависит.

artful

artful

Posted
  • Author
Posted

как ни странно 12 софт кушает в 2 раза меньше памяти при том же функционале - но там не активировать лицензию ipservice на халяву.

а так - попробовал поставить данный софт

*Jan  2 00:01:08.392: %SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.

*Mar  1 00:00:38.730: Read env variable - LICENSE_BOOT_LEVEL = 
*Jan  2 00:00:03.204: %IOS_LICENSE_IMAGE_APPLICATION-6-LICENSE_LEVEL: Module name = c3560e Next reboot level = ipservices and License = ipservices
*Jan  2 00:01:03.694: %LINEPROTO-5-UPDOWN: Line protocol on Interface Vlan1, changed state to down
*Jan  2 00:01:03.694: %LINEPROTO-5-UPDOWN: Line protocol on Interface FastEthernet0, changed state to down
*Jan  2 00:01:03.820: %SYS-2-MALLOCFAIL: Memory allocation of 292 bytes failed from 0x391FC2C, alignment 0 
Pool: Processor  Free: 192  Cause: Not enough free memory 
Alternate Pool: None  Free: 0  Cause: No Alternate pool

 

хотя в прошивке написано - минимум 64Mb

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to topic listing
×
×
  • Create New...
На сайте используются файлы cookie и сервисы аналитики для корректной работы форума и улучшения качества обслуживания. Продолжая использовать сайт, вы соглашаетесь с использованием файлов cookie и с Политикой конфиденциальности.