[nixx]

Наблюдаю уже ~4 раза повторявшуюся картину на ~8 OLT с одинаковой версией прошивки - 108820:

- ребутим/включаем, всё хорошо, всё работает, проходит в районе 140-170 суток аптайма, и либо OLT уходит сама в ребут по CPU exception, либо (вот сегодня было) на OLT нельзя попасть по телнету, получилось только ребутнуть через web, как я понял из объяснений коллеги.

Ребутились сами OLT уже три штуки, залогиниться не получилось на одну.

 

При пристальном разглядывании мониторинга выявляется общая для всех OLT картина - после (пере)загрузки занятый объем памяти составляет 74%, он плавно и равномерно растет, и когда достигает около 84%, OLT таращится.

Объем памяти берется из oid'а 1.3.6.1.4.1.3320.9.48.1.0

Возможно, конечно, проблема не в этом, но это единственная закономерность (и аптайм), которую удалось выявить.

 

сейчас пока обновил одну OLT на последнюю прошивку 116911, посмотрим, не появится ли новых глюков )) но таки хочется узнать - фиксилась ли описанная ситуация с крэшами при аптайме >4-5 месяцев? утечки, там, или еще какая-то фигня...

 

upd: ой соврал. и мне соврали, и я... та, которую ребутнули, на самом деле "System is rebooted by watchdog". и в логах вот такое перед ребутом.

по поводу POWER WRONG - OLT висит на бесперебойнике, в который воткнуто еще несколько железок, и проблем с питанием ни у кого не было. эти сообщения вероятнее всего вызваны проблемами в самой OLT.

Скрытый текст

Oct 18 11:19:52 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:20:02 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:20:12 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:20:43 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:21:09 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:21:30 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:23:23 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:24:13 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:25:39 172.31.199.253 ALARM!!!, POWER1 IS WRONG
Oct 18 11:25:44 172.31.199.253 POWER1 IS OK
Oct 18 11:26:04 172.31.199.253 ALARM!!!, POWER2 IS WRONG
Oct 18 11:26:07 172.31.199.253 POWER2 IS OK
Oct 18 11:27:38 172.31.199.253 ALARM!!!, POWER2 IS WRONG
Oct 18 11:29:57 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4
Oct 18 11:30:32 172.31.199.253 POWER2 IS OK
Oct 18 11:30:36 172.31.199.253 ALARM!!!, POWER1 IS WRONG
Oct 18 11:30:41 172.31.199.253 ALARM!!!, POWER2 IS WRONG

 

 

Изменено 19 октября, 2023 пользователем nixx

[Nikita Devyatyarov]

Да, у них +- на этих версиях прошивки была проблема с утечкой памяти (не только на E ревизии) из-за определенных опросов по SNMP. В свежем софте такого не должно быть.

[tedeev]

POWER WRONG - OLT---  у вас  наверно питание  2 ноги,а включена только 1,потому станция ругается

[nixx]

4 часа назад, Nikita Devyatyarov сказал:

Да, у них +- на этих версиях прошивки была проблема с утечкой памяти (не только на E ревизии) из-за определенных опросов по SNMP. В свежем софте такого не должно быть.

ясно, пойду тогда всю эту модель обновлять.

 

и скажите еще по прошивкам - вот у вас на сервере в сентябре обновили прошивки ко всем актуальным моделям, кроме P3608B - для неё всё настолько хорошо, что обновлять не нужно, или же просто не было повода свежее выложить?

я, к слову, про баг с ddm у модели без "B" вам так и не скинул повторно данные...

[Nikita Devyatyarov]

На тот момент эта прошивка была актуальная для P3608B со слов BDCOM.

[nixx]

ну... теперь, с прошивкой 116911 коллеги, сидящие в веб-морде, начали жаловаться, что она тормозит.

попробовал сам - по-моему, она не тормозит, а просто мертво зависает.

помогает сделать no ip http server / ip http server - работает нормально после этого.

[Nikita Devyatyarov]

утилизация cpu в каком состоянии в момент мертвого зависания? 

[nixx]

38 минут назад, Nikita Devyatyarov сказал:

утилизация cpu в каком состоянии в момент мертвого зависания? 

когда уже совсем не отзывалось в течение минут 5, то show cpu-util показало 9%.

а вообще вот так выглядело, в полдесятого утра (в предыдущий день в 15:00 - это как раз то, на что сегодня жаловались и снова словили то же самое):

это из 1.3.6.1.4.1.3320.9.109.1.1.1.1.5.1

[Nikita Devyatyarov]

задал вопрос в BDCOM

[Nikita Devyatyarov]

Отписали, что подобных фидбеков не было у них, просят в момент проблемы проверить пинг до OLT, есть ли потери и предоставить вывод 

show task httd

[nixx]

коллега уточнил - всё вешается в момент просмотра пункта меню "ONU info". как только он (ну или уже я) по нему жмет - так сразу висяк.

вероятно, начинается какой-то мега-опрос онушек, которого в старой версии веба не было.

во вложении show task httd несколько раз - в самом начале я снимаю "висящий" веб, выключая-включая его, и сразу же пытаюсь нажать на ONU Info. и далее загрузка CPU и show...

 

upd: да и не только "ONU Info" - еще и на "ONU Optic Info" аналогично.

и там даже вылезает сообщение "...please wait patiently", после чего все совсем перестает отрисовываться ))

ну то есть да - по всей видимости программисты не оценили скорость опроса ~500 онушек, а тестили всё в какой-то лабе с 10 штуками, если вообще тестили.

 

меня вчера немножко покусали за такое обновление.

можно ли изменить логику работы веба - сделать как раньше?

 

Скрытый текст

City-OLT-1_config#no ip http server
City-OLT-1_config#ip http server
City-OLT-1_config#exit
City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 23%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 24%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 25%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 26%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 26%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 26%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 26%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 26%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 27%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 27%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 28%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 28%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 29%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 30%
 Status:Normal

City-OLT-1#show task ht?
  <name>                   -- Show task information according to its name
City-OLT-1#show task httd
CPU utilization for one second: 46%; one minute: 36%; five minutes: 28%
    P - Pending D - Delay       R - Ready       S - Suspend     E - Estimated
NAME   ENTRY  TID      PRI   PC     Stk Ptr  SP lmt   ERR.NO ST   CPU   invoked
-------------------------------------------------------------------------------
HTTD 80544f9c 8c9e4f00 128 813a1808 8c9d1d80 8c94ef00 3d0002 PD  0.01     51578
Max stack usage 13
task HTTD pc = 813a1808 ra = 81334af8
call procedure--
0x813a1808--    [PC]
0x813a29f0--    [SP 8c9d1dc8]
0x808c7324--    [SP 8c9d1e08]
0x80158748--    [SP 8c9d1e38]
0x813ba824--    [SP 8c9d1eb0]
0x809c997c--    [SP 8c9d24e0]
0x809edca4--    [SP 8c9d2750]
0x809edd30--    [SP 8c9d2848]
0x809f9e98--    [SP 8c9d2a20]
0x805df6c4--    [SP 8c9d2a40]
0x809f9e18--    [SP 8c9d2b20]
0x805df6c4--    [SP 8c9d2b40]
0x809f9bec--    [SP 8c9d2c20]
0x805df6c4--    [SP 8c9d2c40]
0x809c2d60--    [SP 8c9d2d20]
0x805df6c4--    [SP 8c9d2d68]
0x809c0ff4--    [SP 8c9d2e48]
0x805df6c4--    [SP 8c9d2e68]
0x805e2ae8--    [SP 8c9d2f48]
0x805e1308--    [SP 8c9d2f68]
0x805e2324--    [SP 8c9d2fc8]
last switched in at 3e55fd, now 3e5601
Stack for task HTTD(512 bytes)
8c9d1d80: 000007d0 0000009e 0000000a 00000019
8c9d1d90: 0000009e 868564c0 8014b89c 00000019
8c9d1da0: 867c9830 8c9d1e08 0000009e 8c9d1ed8
8c9d1db0: 0000009e 813a29f0 0000000a 000007d0
8c9d1dc0: 0000009e 8685af40 808c7324 808c745c
8c9d1dd0: 0000009e 00000000 8c0895d8 00000048
8c9d1de0: 00000019 00000001 8c9d1e70 0000009e
8c9d1df0: 81ed9a84 00001194 808c7324 00000019
8c9d1e00: 0000009e 00000000 00000000 0000016f
8c9d1e10: 8c0895d8 00000000 00000000 8c9d1ed8
8c9d1e20: 00000000 8c9d1ed8 00000011 8c9d1ed8
8c9d1e30: 0000009e 80158748 0000009e 8c9fc830
8c9d1e40: 8c9d24a4 8c9d2488 0000016f 00000008
8c9d1e50: 8c9d1e80 00000000 00000000 000003e8
8c9d1e60: 8c9d1e84 8c9d1e88 8c9d1e8c 0000009e
8c9d1e70: 00000001 8ba29bd8 0000009e 00000000
8c9d1e80: 00001194 fffffffa 8ba29bd8 0000016f
8c9d1e90: 8c9d2488 8c9d2660 00000000 00000000
8c9d1ea0: 00000019 8c9d25f8 8c9d2660 813ba824
8c9d1eb0: 813ba114 813ba114 00000019 8c9d2660
8c9d1ec0: 00000000 8c9d24a4 8c9d2488 00000011
8c9d1ed0: 00000008 00000011 0180c200 00020055
8c9d1ee0: b1f606b6 88090300 50fe1111 1101c700
8c9d1ef0: 07000000 00000000 00000000 00000000
8c9d1f00: 00000000 00000000 00000000 00000000
8c9d1f10: 00000000 00000000 00000000 00000000
8c9d1f20: 00000000 00000000 00000000 00000000
8c9d1f30: 00000000 00000000 00000000 00000000
8c9d1f40: 00000000 00000000 00000000 00000000
8c9d1f50: 00000000 00000000 00000000 00000000
8c9d1f60: 00000000 00000000 00000000 00000000
8c9d1f70: 00000000 00000000 00000000 00000000
City-OLT-1#
City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 36%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 36%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 36%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 36%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 36%
 Status:Normal

City-OLT-1#show task httd
CPU utilization for one second: 35%; one minute: 36%; five minutes: 28%
    P - Pending D - Delay       R - Ready       S - Suspend     E - Estimated
NAME   ENTRY  TID      PRI   PC     Stk Ptr  SP lmt   ERR.NO ST   CPU   invoked
-------------------------------------------------------------------------------
HTTD 80544f9c 8c9e4f00 128 813a1f90 8c9d2798 8c94ef00 3d0002 PD  0.02     78463
Gauge of sp reset from 8c9d1d00 to 8c9d2398,Max stack usage 13
task HTTD pc = 813a1f90 ra = 808e5998
call procedure--
0x813a1f90--    [PC]
0x813a29f0--    [SP 8c9d27e0]
0x808c7324--    [SP 8c9d2820]
0x81134044--    [SP 8c9d2850]
0x8112b658--    [SP 8c9d2870]
0x8111c790--    [SP 8c9d28e8]
0x8048e214--    [SP 8c9d2928]
0x8046dc00--    [SP 8c9d2950]
0x80459848--    [SP 8c9d2988]
0x8027870c--    [SP 8c9d29d8]
0x8020de6c--    [SP 8c9d2a40]
0x809b14d8--    [SP 8c9d2a70]
0x809728b0--    [SP 8c9d2b90]
0x8098794c--    [SP 8c9d2c80]
0x80987b44--    [SP 8c9d2cf8]
0x809c1958--    [SP 8c9d2d48]
0x805df6c4--    [SP 8c9d2d68]
0x809c0ff4--    [SP 8c9d2e48]
0x805df6c4--    [SP 8c9d2e68]
0x805e2ae8--    [SP 8c9d2f48]
0x805e1308--    [SP 8c9d2f68]
last switched in at 3e6248, now 3e6249
Stack for task HTTD(512 bytes)
8c9d2798: 8221e990 00000000 8c9d2ae0 f9f658cf
8c9d27a8: 00000003 808c6c14 8c9d2848 81135834
8c9d27b8: 00000000 8221e990 8221e990 81cd0000
8c9d27c8: 00000000 813a29f0 81aa0000 00000258
8c9d27d8: 00000001 8c8fe6a0 8c9d2ae0 f9f658cf
8c9d27e8: 00000003 00000024 8c9d2a90 81aa0000
8c9d27f8: 00000000 00000000 8c9d2808 81135b98
8c9d2808: 00000002 00000001 808c7324 00000000
8c9d2818: 00000001 8c9d2850 00000000 00000000
8c9d2828: 8c9d2830 81138ff4 00000002 8c9d2848
8c9d2838: 8c9d2ae0 f9f658cf 00000003 00000024
8c9d2848: 8c9d2a90 81134044 00001770 009d2870
8c9d2858: 0000cdd4 82a8ae8c 00000258 8acfecd0
8c9d2868: 8c9d2870 8112b658 00000001 00001770
8c9d2878: 00000000 00002898 00000000 865e6b00
8c9d2888: 82b3268c 82b1cdd4 00364671 8c9d2898
8c9d2898: 00000001 ffffffff 00000000 0000000c
8c9d28a8: 8acfecd8 813a29f0 00000008 ffffffff
8c9d28b8: 73646b5f 6d75745f 30303336 34363731
8c9d28c8: 00000003 00000024 82a8ae8c 82a8aea8
8c9d28d8: 00000000 00000001 8c9d28e8 8111c790
8c9d28e8: 81779808 00000202 00000000 000000ad
8c9d28f8: 00000008 00000000 8acfecd0 0000001f
8c9d2908: 00000002 0000000c 8acfecd0 8acfecd0
8c9d2918: ffffffff 81d1d168 00000000 8048e214
8c9d2928: 02022a90 000360c4 00240000 8c9d2938
8c9d2938: 00000001 81ff8cf0 00000003 8c9d2ae0
8c9d2948: 8b383eb0 8046dc00 813409e4 ffffffff
8c9d2958: 808c7324 808c745c 00000003 00000024
8c9d2968: 0070a56a 09442946 00000003 8a736fe8
8c9d2978: 00000202 00000000 80459848 03000202
8c9d2988: 00000000 00000027 0000001d 80276bd4
City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 36%
 Status:Normal

City-OLT-1#show cpu-util
 cpu util threshold is 90%
 current cpu util is 37%
 Status:Normal

City-OLT-1#show task httd
CPU utilization for one second: 47%; one minute: 38%; five minutes: 28%
    P - Pending D - Delay       R - Ready       S - Suspend     E - Estimated
NAME   ENTRY  TID      PRI   PC     Stk Ptr  SP lmt   ERR.NO ST   CPU   invoked
-------------------------------------------------------------------------------
HTTD 80544f9c 8c9e4f00 128 813a4408 8c9d2888 8c94ef00 3d0002 P   0.04    121028
Gauge of sp reset from 8c9d1d00 to 8c9d2488,Max stack usage 13
task HTTD pc = 813a4408 ra = 808c0eac
call procedure--
0x813a4408--    [PC]
0x813a29f0--    [SP 8c9d28c0]
0x808c7324--    [SP 8c9d2900]
0x804660c4--    [SP 8c9d2930]
0x8046db74--    [SP 8c9d2950]
0x80459848--    [SP 8c9d2988]
0x8027870c--    [SP 8c9d29d8]
0x8020de6c--    [SP 8c9d2a40]
0x809b14d8--    [SP 8c9d2a70]
0x809728b0--    [SP 8c9d2b90]
0x8098794c--    [SP 8c9d2c80]
0x80987b44--    [SP 8c9d2cf8]
0x809c1958--    [SP 8c9d2d48]
0x805df6c4--    [SP 8c9d2d68]
0x809c0ff4--    [SP 8c9d2e48]
0x805df6c4--    [SP 8c9d2e68]
0x805e2ae8--    [SP 8c9d2f48]
0x805e1308--    [SP 8c9d2f68]
0x805e2324--    [SP 8c9d2fc8]
0x804ffd98--    [SP 8c9d38b8]
0x8052e228--    [SP 8c9d3970]
last switched in at 3e7563, now 3e7564
Stack for task HTTD(512 bytes)
8c9d2888: 865e6b80 1000ff01 804ffb7c 81ff8cf0
8c9d2898: 00000000 00000000 00000000 0000000c
8c9d28a8: 8c9d2900 813a29f0 81aa0000 ffffffff
8c9d28b8: 00000001 865e6b80 30303336 813a2e34
8c9d28c8: 0000002f 8c9d2a90 81aa0000 00000000
8c9d28d8: 00000001 865e6b80 00000000 00000000
8c9d28e8: 00000001 808dd81c 808c7324 00000000
8c9d28f8: 00000001 00000000 00000001 0000000f
8c9d2908: 00000001 813a2e34 000000a3 81aa0000
8c9d2918: 0000000c 81d1d16c 00000001 00000022
8c9d2928: 8c9d2a90 804660c4 818e0000 81375a2c
8c9d2938: 00000001 81ff8cf0 00000001 8c9d2ae0
8c9d2948: 8046db74 8046dc00 813409e4 ffffffff
8c9d2958: 808c7324 808c745c 0000000a 81aa0000
8c9d2968: 00847973 ed0b5b41 00000001 8c0e08b8
8c9d2978: 00000101 00000000 80459848 03000101
8c9d2988: 00000000 00000021 00000010 80276bd4
8c9d2998: 00000013 00000000 00000001 819bf0b5
8c9d29a8: 8c9d2a90 8c9d2a90 00000000 00000021
8c9d29b8: 00000010 80209414 000003dc 00000002
8c9d29c8: 00000158 8c0e08b8 8c9d2a90 8027870c
8c9d29d8: 01000001 00000000 81426d64 ffffffff
8c9d29e8: 819bf36d 813415a8 00000006 00990000
8c9d29f8: 00000001 00000000 00000001 8198f9c0
8c9d2a08: 00000000 00000000 00000000 00000000
8c9d2a18: 00000010 8c9d2a90 40010022 8c9d2cd0
8c9d2a28: 8c9d2b50 00000030 81c10000 0000000a
8c9d2a38: 00000000 8020de6c 00000000 81340050
8c9d2a48: 0000000c 00000001 819c6974 00000000
8c9d2a58: 00000000 8258ae98 00000000 81fd8b48
8c9d2a68: 809b14d8 00000000 00000000 8198f9c0
8c9d2a78: 00000000 00000000 00000000 00000000
City-OLT-1#Connection closed by foreign host.

 

 

Изменено 25 октября, 2023 пользователем nixx

[Nikita Devyatyarov]

Спасибо, передал в bdcom

[nixx]

чисто случайно сегодня тыркнул по data.nag.ru посмотреть, не завезли ли чего нового, и чисто случайно увидел там выложенные сегодня же прошивки ))

скачал версию 120632 для P3600-08E, залил, перезагрузил, вижу всё те же тормоза в вебе без изменений (ну возможно их и не фиксили, конечно)

 

попутно хочу добавить, что несмотря на слова про то, что утечку памяти исправили, прошивка 116911 все так же страдает увеличением используемой памяти со временем, как и упомянутая в первом посте 108820.

до ребутов пока не дошло, слишком малый срок работы, но если это является симптомом утечки, то она не была исправлена.

 

теперь посмотрю, как поведет себя 120632...

[the-jk]

У вас в деревьях видимо зоопарк вендоров онушек.

У меня подобное происходило когда смотрели маки на медных портах онушек и когда попадали не на бдком онушку, а на скажем cdata/netlink/fora (и прочее говно) эти не бдком маки не отдавали. Достаточно было штук 10-15 таких НЕ бдкомов спросить о маках за медными портами, чтобы намертво повесить управление олта (веб, телнет, ссш) с последующим полным фризом олта и отказе в обслуживании. приходилось ехать и ребутить руками.

 

Вполне вероятно что у вас проблема именно в зоопарке.

Мы перестали покупать левые онушки, теперь ставим только бдком и проблем нет вообще ни каких.

[nixx]

21 час назад, the-jk сказал:

У меня подобное происходило когда смотрели маки на медных портах онушек и когда попадали не на бдком онушку, а на скажем cdata/netlink/fora (и прочее говно) эти не бдком маки не отдавали. Достаточно было штук 10-15 таких НЕ бдкомов спросить о маках за медными портами, чтобы намертво повесить управление олта (веб, телнет, ссш) с последующим полным фризом олта и отказе в обслуживании. приходилось ехать и ребутить руками.

скажите, на каких прошивках у вас были подобные проблемы?

потому как у нас, как к нам приехали эти OLT с заводскими версиями 92596, так с ними и не было проблем на прошивках до 105375, и только при заливе 108820 и далее пошли глюки.

 

вот подумываю сделать откат до беспроблемных версий, пусть и потеряю какие-то улучшения, внесенные в последние версии... но зато и ребутиться головы не будут, и наша техподдержка не будет на меня волками смотреть из-за проблем с вебом...