artful Posted September 23, 2016 · Report post Итак, есть Cisco WS-C3560E-48TD, стоит софт c3560e-universalk9-mz.150-2.SE10.bin периодически пропадает контроль над самим свитчем. То есть свитч не отвечает на icmp пакеты, не отвечает на snmp запросы. Если в этот момент управлять сервером по телнету - то сервер не реагирует ни на одну команду. Но при этом свитч сквозь себя нормально пропускает трафик и нормально маршрутизирует трафик. Как это выглядит в mtr: До самого свитча: Host Loss% Snt Last Avg Best Wrst StDev Host Loss% Snt Last Avg Best Wrst StDev 1. 91.214.70.112 38.5% 1102 0.0 0.0 0.0 0.1 0.0 2. 80.87.207.128 0.0% 1102 1.5 2.8 0.5 85.4 5.3 80.87.207.118 3. 80.87.207.122 0.1% 1102 0.5 0.4 0.3 79.5 3.3 80.87.207.120 4. 80.87.207.89 20.8% 1102 1.4 3.6 0.6 317.8 12.0 как видим идут потери до свитча. Но если сделать mtr до сервера, который подключен к самому свитчу (при этом шлюзом для сервера является именно этот свитч) Host Loss% Snt Last Avg Best Wrst StDev 1. 91.214.70.112 61.2% 891 0.0 0.0 0.0 0.0 0.0 2. 80.87.207.128 0.0% 891 1.8 3.1 0.5 61.6 7.2 80.87.207.118 3. 80.87.207.122 0.0% 891 0.3 0.3 0.2 0.9 0.0 80.87.207.120 4. 80.87.207.89 0.0% 891 2.8 3.8 0.7 51.2 7.4 5. 91.214.68.222 0.0% 891 0.3 0.2 0.1 0.3 0.0 Трассировки делались параллельно и как видно - когда делаем трассировку до 80.87.207.89 ip - есть потери, а когда делаем трассировку до 91.214.68.22 - на ip 80.87.207.89 нету потерь. далее, мы зашли на сам сервер и стали делать mtr с него до свитча и до яндекса: Host Loss% Snt Last Avg Best Wrst StDev 1. 80.87.207.8 0.0% 755 2.0 2.7 0.6 49.3 4.6 2. 80.87.207.88 0.1% 755 0.5 0.6 0.3 62.4 3.5 3. 80.87.207.102 0.0% 755 0.4 11.0 0.2 407.9 38.3 4. 178.18.224.52 0.0% 755 0.4 0.4 0.3 0.8 0.1 5. 37.140.137.94 0.0% 754 0.8 1.1 0.7 23.1 2.4 6. 213.180.213.16 0.0% 754 10.3 10.0 9.1 20.2 1.4 7. 87.250.239.53 0.0% 754 8.5 8.5 8.2 32.2 1.5 8. 93.158.134.3 0.0% 754 8.3 8.3 8.2 9.6 0.2 а теперь до самого свитча: Host Loss% Snt Last Avg Best Wrst StDev 1. 80.87.207.8 29.9% 763 2.4 3.3 0.6 59.0 6.6 [code] то есть свитч перестает отвечать на пакеты - которе идут именно на него. И ситуация аналогичная. При трассировке до яндекса на ip 80.87.207.8 нету потерь, а при трассировке до самого ip 80.87.207.8 потери есть. далее - стали смотреть нагрузку на процессор - нагрузка в норме - скачков нету. При этом - если подключится к свитчу через консоль - то там управление не отваливается и нормально работает. И в тот момент когда свитч не отвечат на пинги - циска нормально реагирует на команды. Но в момент когда циска не доступна из вне - аналогично циска через консоль не может пинговать никого. Выглядит это так: [code] ping 91.214.68.222 repeat 10000 Type escape sequence to abort. Sending 10000, 100-byte ICMP Echos to 91.214.68.222, timeout is 2 seconds: .!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!.!!!!!!!!!!!!!..!.!!.....!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!....!! !.!!!!...!.............!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! такое ощущение что пропадает связь между софт частью самого свитча и всем внешним миром. как будто идет какой то канал до проца циски и он переодически перестает отвечать. Просим учеть что тут проблема не в icmp лимите - так как через телнет и snmp циска так же перестает отвечать из вне. А через консоль в тот момент - когда циска не доступна из вне - не работают icmp/dns запросы и т.п.) Кто сталкивался - куда смотреть или менять свитч ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
infery Posted September 23, 2016 (edited) · Report post А чем лечите? У самого две штуки 3560Е симптомы те же, оба заменили на 4948. Я так понял, что там памяти очень мало, и через какое-то время отваливается управление, а трафик продолжает ходить. WS-C3560E-24TD c3560e-universalk9-mz.150-2.SE7.bin Edited September 23, 2016 by infery Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
artful Posted September 23, 2016 · Report post пока ничем не лечим. Заказали пару штук 3750E - там памяти больше. Посмотрим. А так у самих 5 штук таких - и проблемы только на одной. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nik0n Posted September 23, 2016 · Report post У нас подобное лет 6 назад просходил на 3550 когда кончалась память из-за большого кол-ва SVI. Рестарт свича (причес жесто, по питанию) не надолго решал проблему. Кардинально реши сменой ядра (тем более там 10г в агрегацию был уже в ближайших планах) на 4900M :). Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
artful Posted September 23, 2016 (edited) · Report post У нас данная железка не в ядре - а они стоят в стойках - и в них подключаются сервера клиентов. И дальше на стойку приходит 10ге - хватает за глаза. Макс нагрузка 1.5Gb/s на стойку. А если будет не хватать - портчанел и 20ге придет на стойку. По графику память держится стабильно и не проседает http://owncloud.su/index.php/s/pW36BeZiLF3rvdT и SVI на данной железке не так много , вот график с другой 3560E на которой в 3 раза больше интерфейсов: http://owncloud.su/index.php/s/oXnvm9KCKvKtUIF Edited September 23, 2016 by artful Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
artful Posted October 3, 2016 · Report post а никто не пробовал ставить софт system_type: 0x00000002: c3560e-universalk9-mz.152-4.E2 image_family: C3560E stacking_number: 1.59 info_end: он на 5 мегабайт меньше и как следствие должен кушать меньше памяти. завтра попробую на тестовую железку развернуть. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
ShyLion Posted October 4, 2016 · Report post он на 5 мегабайт меньше и как следствие должен кушать меньше памяти. Серьезный вывод. Во первых все файлы с прошивками сжаты и при старте железки распаковываются. Т.е. реальный размер может быть точно такой-же а не меньше. Во вторых пямять жрет не образ ПО, а всякие там пакетные буферы, и рабочие процессы и от размера образа ну никак не зависит. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Butch3r Posted October 4, 2016 · Report post Серьезный вывод. +1 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
artful Posted October 4, 2016 · Report post как ни странно 12 софт кушает в 2 раза меньше памяти при том же функционале - но там не активировать лицензию ipservice на халяву. а так - попробовал поставить данный софт *Jan 2 00:01:08.392: %SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output. *Mar 1 00:00:38.730: Read env variable - LICENSE_BOOT_LEVEL = *Jan 2 00:00:03.204: %IOS_LICENSE_IMAGE_APPLICATION-6-LICENSE_LEVEL: Module name = c3560e Next reboot level = ipservices and License = ipservices *Jan 2 00:01:03.694: %LINEPROTO-5-UPDOWN: Line protocol on Interface Vlan1, changed state to down *Jan 2 00:01:03.694: %LINEPROTO-5-UPDOWN: Line protocol on Interface FastEthernet0, changed state to down *Jan 2 00:01:03.820: %SYS-2-MALLOCFAIL: Memory allocation of 292 bytes failed from 0x391FC2C, alignment 0 Pool: Processor Free: 192 Cause: Not enough free memory Alternate Pool: None Free: 0 Cause: No Alternate pool хотя в прошивке написано - минимум 64Mb Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
