[shicoy]

Перезагружается последнее время SCE2020. CPU в норме (35-40), софт 3.6.5, аномалий не наблюдается.

Ребутаться может как раз в сутки, и так 3-4 дня без ребута жить.

 

Что делать, ума не приложу. В логе только это:

Sep 12 13:19:49 .199 76: 3d12h: %LOCAL7-3-SE_USER_ERROR: CPU#000 SE Watchdog Module: An Error occurred. Please report to Cisco's customer support 
Sep 12 13:19:49 .199 77: 3d12h: %LOCAL7-3-SE_USER_ERROR: CPU#000 SE Watchdog Module: An Error occurred. Please report to Cisco's customer support 
Sep 12 13:19:51 .199 78: 3d12h: %LOCAL7-4-SE_USER_WARNING: CPU#000 SE Watchdog Module: A problem occurred. Please report to Cisco's customer support 
Sep 12 13:19:51 .199 79: 3d12h: %LOCAL7-6-CLOSED: CPU#000 Party data base was closed. 

 

После чего умирает на 2-3 часа, и затем снова просыпается со словами:

 

Sep 12 15:53:45 .199 20: 00:04:45: %LOCAL7-6-START_SHUT_NO_SHUT: CPU#000 Starting Line Card on slot 0 state change to no shutdown 
Sep 12 15:53:45 .199 21: 00:04:45: %LOCAL7-6-LINECARD_SHUTDOWN_STATE: CPU#000 Linecard on slot 0 is enabled 
Sep 12 15:53:45 .199 22: 00:04:46: %LOCAL7-6-CONFIG_FILES_OK: CPU#000 Configuration files executed with no errors. 
Sep 12 15:53:46 .199 23: 00:04:47: %LOCAL7-6-SNMP_COLDSTART_TRAP: CPU#000 trap:snmp agent cold start 
Sep 12 15:53:46 .199 24: 00:04:47: %LOCAL7-6-OPERATIONAL_STATUS_FAILURE_TRAP: CPU#000 trap:link up   
Sep 12 15:53:46 .199 25: 00:04:47: %LOCAL7-6-PORT_OPERSTATUS_CHANGE_TRAP: CPU#000 trap:port oper status change slotToModuleIndex: 1  ifIndex: 1  portOperStatus: 2  
...

Изменено 12 сентября, 2011 пользователем shicoy

[xcme]

Так получается она не ребутится, а вырубается совсем. Ребутится то она 2-3 секунды.

Перегрева нет или каких проблем с питанием?

[shicoy]

Не, помещение хорошее с климат-контролем, я так понимаю происходит креш, watchdog ловит, ребутает, железка переходит в режим recovery а спустя пару часов в operation normal.

Т.к. трафик через нее в это время идет сквозняком.

[shicoy]

Новые подробности: Снял SCE которая перезагружалась, воткнул другую, картина та же самая. Снова креши.

Т.е. дело не в конктретном экземпляре оборудования, тогда в чем? Через SCE пролетают пакеты которые у нее крышу рвут?

[k4route]

Каким образом ты заливаешь данные об абонентах в smdb?

[shicoy]

Каким образом ты заливаешь данные об абонентах в smdb?

через самописный SM. Не думаю что дело в нем.

Заметил еще такую особенность, на SCE которая ребуталась на портах был выключен flow-contorl, а вот на железке к которой подключалась включен.

Может из за этого крешаться?

[kyky]

День добрый.

Удалось ли пофиксить проблему?

[shicoy]

День добрый.

Удалось ли пофиксить проблему?

Нет, замечено было что крешается когда идет login/logout абонента. Сделали время жизни абонента 3 часа.

крешается в раза реже )

[Konstantin Z]

Даже на 3.7 есть такие баги.

 

CSCth00248

 

SCE might reload during a policy apply operation. This was observed on rare occasions in Release 3.5.5 in SCE 2000 and SCE8000. This Could not be reproduced.

 

Workaround: None

 

CSCth82235

 

The SCE 8000 reboots occasionally without supplying a cause or reason in the log files.

 

 

SCE8000 might reboot without leaving any explanation in the logs

 

 

 

 

Symptom:

SCE8000 Reboots unexpectedly without leaving any explanations in either the

user-log or debug-log

 

Still, there's something in common for all these reboots which can be checked

by a TAC engineer through SCE support file analysis.

 

Conditions:

The problem is only applicable for SCE8000 and so far was only observed with

version 3.5.5.

 

 

Workaround:

None

 

There's some potential that the problem wouldn't happen with 3.6.0

(this is only based on the fact that all reported events where happening with

SCOS version 3.5.5)

 

 

Additional Information

The SCE development team has no way to investigate the root cause of these

reboots due to the following reasons:

 

1) There is no way to have a repeatable reproduction scenario of the problem

2) There are no stack traces written to the logs when the problem occurs.

 

Therefore, the development team also submitted additional defect to ensure

getting stack traces for such events in future versions, the defect ID for this

requirement is CSCth07363

 

in case where the problem will reoccur after the implementation of CSCth07363,

development team should have sufficient data to find the root cause and fix the

problem.

 

Не пробовали посмотреть, что шлёт SM перед ребутом? что выполняется?

[shicoy]

Не пробовали посмотреть, что шлёт SM перед ребутом? что выполняется?

Пробовали, ничего особенного, обычный logout субскрайбера. Причем этот субскрайбер до креша мог уже выполнять несколько Login/logout, и все нормально. А на nn-ный раз креш.

Связи между субскрайбером и крешами не установлено.

 

Все выше приведенные notes относятся либо к релизу 3.5.5 либо к SCE8000

ps. SM самописный на java.

[Konstantin Z]

Занимаемся с TACом с такой же проблемой.

Появится, что новенькое отпишу.

[shicoy]

Занимаемся с TACом с такой же проблемой.

Появится, что новенькое отпишу.

Спасибо, будем ждать новостей.

[leonk]

А если максимально упростить квоты абонентов? не пробывал?

[skinner]

присоединяюсь к теме, точно такая же проблема(пользуем sce8000). Только мы используем интеграцию с isg ещё через control-bus. В нашем случае может как ребутиться так и выпасть из работы до момента как передёрнем ей питание. проблема появилась именно тогда начали запускать интеграцию, когда СЦЕ просто стояло и резало торрент на всех, была самой стабильной железкой.

Изменено 2 ноября, 2011 пользователем skinner

[rus-p]

Прикольно.

Знать бы это до внедрения )

Как же интересно у мобильщиков оно живет, неужели без интеграции ?

[nic_stav]

Кстати, если кто-либо может удаленно помочь с настройкой этой шайтан машины (SCE2020), не за бесплатно само собой, прошу стукнуть в личку.

[karabas1]

Кстати, если кто-либо может удаленно помочь с настройкой этой шайтан машины (SCE2020), не за бесплатно само собой, прошу стукнуть в личку.

Присоединяюсь к вопросу.

skype karabas1

[Konstantin Z]

Есть вероятность, что самопроизвольные перезагрузки пофиксены.

В 3.7.2 уже внесут исправления.

[Stak]

была проблема с крэшами СЦЕ, если выбирается пэкедж с id > 1024. Не оно?

[Дятел]

у меня было несколько > 1024, и никогда не падало.

[Stak]

Это проявляется, только если СЦЕ через Gx прикручена. И то не всегда.

Но у нас такая проблемы была, вылечили сменой pkg id < 1024.