nixx Posted October 18, 2023 (edited) · Report post Наблюдаю уже ~4 раза повторявшуюся картину на ~8 OLT с одинаковой версией прошивки - 108820: - ребутим/включаем, всё хорошо, всё работает, проходит в районе 140-170 суток аптайма, и либо OLT уходит сама в ребут по CPU exception, либо (вот сегодня было) на OLT нельзя попасть по телнету, получилось только ребутнуть через web, как я понял из объяснений коллеги. Ребутились сами OLT уже три штуки, залогиниться не получилось на одну. При пристальном разглядывании мониторинга выявляется общая для всех OLT картина - после (пере)загрузки занятый объем памяти составляет 74%, он плавно и равномерно растет, и когда достигает около 84%, OLT таращится. Объем памяти берется из oid'а 1.3.6.1.4.1.3320.9.48.1.0 Возможно, конечно, проблема не в этом, но это единственная закономерность (и аптайм), которую удалось выявить. сейчас пока обновил одну OLT на последнюю прошивку 116911, посмотрим, не появится ли новых глюков )) но таки хочется узнать - фиксилась ли описанная ситуация с крэшами при аптайме >4-5 месяцев? утечки, там, или еще какая-то фигня... upd: ой соврал. и мне соврали, и я... та, которую ребутнули, на самом деле "System is rebooted by watchdog". и в логах вот такое перед ребутом. по поводу POWER WRONG - OLT висит на бесперебойнике, в который воткнуто еще несколько железок, и проблем с питанием ни у кого не было. эти сообщения вероятнее всего вызваны проблемами в самой OLT. Скрытый текст Oct 18 11:19:52 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:20:02 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:20:12 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:20:43 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:21:09 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:21:30 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:23:23 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:24:13 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:25:39 172.31.199.253 ALARM!!!, POWER1 IS WRONG Oct 18 11:25:44 172.31.199.253 POWER1 IS OK Oct 18 11:26:04 172.31.199.253 ALARM!!!, POWER2 IS WRONG Oct 18 11:26:07 172.31.199.253 POWER2 IS OK Oct 18 11:27:38 172.31.199.253 ALARM!!!, POWER2 IS WRONG Oct 18 11:29:57 172.31.199.253 %SYS-2-TASK:808d2f94 Create task fail when spawn task, rtos tid ffffffff, task entry 808d74f4 Oct 18 11:30:32 172.31.199.253 POWER2 IS OK Oct 18 11:30:36 172.31.199.253 ALARM!!!, POWER1 IS WRONG Oct 18 11:30:41 172.31.199.253 ALARM!!!, POWER2 IS WRONG Edited October 19, 2023 by nixx Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nikita Devyatyarov Posted October 19, 2023 · Report post Да, у них +- на этих версиях прошивки была проблема с утечкой памяти (не только на E ревизии) из-за определенных опросов по SNMP. В свежем софте такого не должно быть. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tedeev Posted October 19, 2023 · Report post POWER WRONG - OLT--- у вас наверно питание 2 ноги,а включена только 1,потому станция ругается Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nixx Posted October 19, 2023 · Report post 4 часа назад, Nikita Devyatyarov сказал: Да, у них +- на этих версиях прошивки была проблема с утечкой памяти (не только на E ревизии) из-за определенных опросов по SNMP. В свежем софте такого не должно быть. ясно, пойду тогда всю эту модель обновлять. и скажите еще по прошивкам - вот у вас на сервере в сентябре обновили прошивки ко всем актуальным моделям, кроме P3608B - для неё всё настолько хорошо, что обновлять не нужно, или же просто не было повода свежее выложить? я, к слову, про баг с ddm у модели без "B" вам так и не скинул повторно данные... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nikita Devyatyarov Posted October 19, 2023 · Report post На тот момент эта прошивка была актуальная для P3608B со слов BDCOM. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nixx Posted October 24, 2023 · Report post ну... теперь, с прошивкой 116911 коллеги, сидящие в веб-морде, начали жаловаться, что она тормозит. попробовал сам - по-моему, она не тормозит, а просто мертво зависает. помогает сделать no ip http server / ip http server - работает нормально после этого. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nikita Devyatyarov Posted October 24, 2023 · Report post утилизация cpu в каком состоянии в момент мертвого зависания? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nixx Posted October 24, 2023 · Report post 38 минут назад, Nikita Devyatyarov сказал: утилизация cpu в каком состоянии в момент мертвого зависания? когда уже совсем не отзывалось в течение минут 5, то show cpu-util показало 9%. а вообще вот так выглядело, в полдесятого утра (в предыдущий день в 15:00 - это как раз то, на что сегодня жаловались и снова словили то же самое): это из 1.3.6.1.4.1.3320.9.109.1.1.1.1.5.1 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nikita Devyatyarov Posted October 24, 2023 · Report post задал вопрос в BDCOM Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nikita Devyatyarov Posted October 24, 2023 · Report post Отписали, что подобных фидбеков не было у них, просят в момент проблемы проверить пинг до OLT, есть ли потери и предоставить вывод show task httd Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nixx Posted October 24, 2023 (edited) · Report post коллега уточнил - всё вешается в момент просмотра пункта меню "ONU info". как только он (ну или уже я) по нему жмет - так сразу висяк. вероятно, начинается какой-то мега-опрос онушек, которого в старой версии веба не было. во вложении show task httd несколько раз - в самом начале я снимаю "висящий" веб, выключая-включая его, и сразу же пытаюсь нажать на ONU Info. и далее загрузка CPU и show... upd: да и не только "ONU Info" - еще и на "ONU Optic Info" аналогично. и там даже вылезает сообщение "...please wait patiently", после чего все совсем перестает отрисовываться )) ну то есть да - по всей видимости программисты не оценили скорость опроса ~500 онушек, а тестили всё в какой-то лабе с 10 штуками, если вообще тестили. меня вчера немножко покусали за такое обновление. можно ли изменить логику работы веба - сделать как раньше? Скрытый текст City-OLT-1_config#no ip http server City-OLT-1_config#ip http server City-OLT-1_config#exit City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 23% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 24% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 25% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 26% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 26% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 26% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 26% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 26% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 27% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 27% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 28% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 28% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 29% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 30% Status:Normal City-OLT-1#show task ht? <name> -- Show task information according to its name City-OLT-1#show task httd CPU utilization for one second: 46%; one minute: 36%; five minutes: 28% P - Pending D - Delay R - Ready S - Suspend E - Estimated NAME ENTRY TID PRI PC Stk Ptr SP lmt ERR.NO ST CPU invoked ------------------------------------------------------------------------------- HTTD 80544f9c 8c9e4f00 128 813a1808 8c9d1d80 8c94ef00 3d0002 PD 0.01 51578 Max stack usage 13 task HTTD pc = 813a1808 ra = 81334af8 call procedure-- 0x813a1808-- [PC] 0x813a29f0-- [SP 8c9d1dc8] 0x808c7324-- [SP 8c9d1e08] 0x80158748-- [SP 8c9d1e38] 0x813ba824-- [SP 8c9d1eb0] 0x809c997c-- [SP 8c9d24e0] 0x809edca4-- [SP 8c9d2750] 0x809edd30-- [SP 8c9d2848] 0x809f9e98-- [SP 8c9d2a20] 0x805df6c4-- [SP 8c9d2a40] 0x809f9e18-- [SP 8c9d2b20] 0x805df6c4-- [SP 8c9d2b40] 0x809f9bec-- [SP 8c9d2c20] 0x805df6c4-- [SP 8c9d2c40] 0x809c2d60-- [SP 8c9d2d20] 0x805df6c4-- [SP 8c9d2d68] 0x809c0ff4-- [SP 8c9d2e48] 0x805df6c4-- [SP 8c9d2e68] 0x805e2ae8-- [SP 8c9d2f48] 0x805e1308-- [SP 8c9d2f68] 0x805e2324-- [SP 8c9d2fc8] last switched in at 3e55fd, now 3e5601 Stack for task HTTD(512 bytes) 8c9d1d80: 000007d0 0000009e 0000000a 00000019 8c9d1d90: 0000009e 868564c0 8014b89c 00000019 8c9d1da0: 867c9830 8c9d1e08 0000009e 8c9d1ed8 8c9d1db0: 0000009e 813a29f0 0000000a 000007d0 8c9d1dc0: 0000009e 8685af40 808c7324 808c745c 8c9d1dd0: 0000009e 00000000 8c0895d8 00000048 8c9d1de0: 00000019 00000001 8c9d1e70 0000009e 8c9d1df0: 81ed9a84 00001194 808c7324 00000019 8c9d1e00: 0000009e 00000000 00000000 0000016f 8c9d1e10: 8c0895d8 00000000 00000000 8c9d1ed8 8c9d1e20: 00000000 8c9d1ed8 00000011 8c9d1ed8 8c9d1e30: 0000009e 80158748 0000009e 8c9fc830 8c9d1e40: 8c9d24a4 8c9d2488 0000016f 00000008 8c9d1e50: 8c9d1e80 00000000 00000000 000003e8 8c9d1e60: 8c9d1e84 8c9d1e88 8c9d1e8c 0000009e 8c9d1e70: 00000001 8ba29bd8 0000009e 00000000 8c9d1e80: 00001194 fffffffa 8ba29bd8 0000016f 8c9d1e90: 8c9d2488 8c9d2660 00000000 00000000 8c9d1ea0: 00000019 8c9d25f8 8c9d2660 813ba824 8c9d1eb0: 813ba114 813ba114 00000019 8c9d2660 8c9d1ec0: 00000000 8c9d24a4 8c9d2488 00000011 8c9d1ed0: 00000008 00000011 0180c200 00020055 8c9d1ee0: b1f606b6 88090300 50fe1111 1101c700 8c9d1ef0: 07000000 00000000 00000000 00000000 8c9d1f00: 00000000 00000000 00000000 00000000 8c9d1f10: 00000000 00000000 00000000 00000000 8c9d1f20: 00000000 00000000 00000000 00000000 8c9d1f30: 00000000 00000000 00000000 00000000 8c9d1f40: 00000000 00000000 00000000 00000000 8c9d1f50: 00000000 00000000 00000000 00000000 8c9d1f60: 00000000 00000000 00000000 00000000 8c9d1f70: 00000000 00000000 00000000 00000000 City-OLT-1# City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 36% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 36% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 36% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 36% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 36% Status:Normal City-OLT-1#show task httd CPU utilization for one second: 35%; one minute: 36%; five minutes: 28% P - Pending D - Delay R - Ready S - Suspend E - Estimated NAME ENTRY TID PRI PC Stk Ptr SP lmt ERR.NO ST CPU invoked ------------------------------------------------------------------------------- HTTD 80544f9c 8c9e4f00 128 813a1f90 8c9d2798 8c94ef00 3d0002 PD 0.02 78463 Gauge of sp reset from 8c9d1d00 to 8c9d2398,Max stack usage 13 task HTTD pc = 813a1f90 ra = 808e5998 call procedure-- 0x813a1f90-- [PC] 0x813a29f0-- [SP 8c9d27e0] 0x808c7324-- [SP 8c9d2820] 0x81134044-- [SP 8c9d2850] 0x8112b658-- [SP 8c9d2870] 0x8111c790-- [SP 8c9d28e8] 0x8048e214-- [SP 8c9d2928] 0x8046dc00-- [SP 8c9d2950] 0x80459848-- [SP 8c9d2988] 0x8027870c-- [SP 8c9d29d8] 0x8020de6c-- [SP 8c9d2a40] 0x809b14d8-- [SP 8c9d2a70] 0x809728b0-- [SP 8c9d2b90] 0x8098794c-- [SP 8c9d2c80] 0x80987b44-- [SP 8c9d2cf8] 0x809c1958-- [SP 8c9d2d48] 0x805df6c4-- [SP 8c9d2d68] 0x809c0ff4-- [SP 8c9d2e48] 0x805df6c4-- [SP 8c9d2e68] 0x805e2ae8-- [SP 8c9d2f48] 0x805e1308-- [SP 8c9d2f68] last switched in at 3e6248, now 3e6249 Stack for task HTTD(512 bytes) 8c9d2798: 8221e990 00000000 8c9d2ae0 f9f658cf 8c9d27a8: 00000003 808c6c14 8c9d2848 81135834 8c9d27b8: 00000000 8221e990 8221e990 81cd0000 8c9d27c8: 00000000 813a29f0 81aa0000 00000258 8c9d27d8: 00000001 8c8fe6a0 8c9d2ae0 f9f658cf 8c9d27e8: 00000003 00000024 8c9d2a90 81aa0000 8c9d27f8: 00000000 00000000 8c9d2808 81135b98 8c9d2808: 00000002 00000001 808c7324 00000000 8c9d2818: 00000001 8c9d2850 00000000 00000000 8c9d2828: 8c9d2830 81138ff4 00000002 8c9d2848 8c9d2838: 8c9d2ae0 f9f658cf 00000003 00000024 8c9d2848: 8c9d2a90 81134044 00001770 009d2870 8c9d2858: 0000cdd4 82a8ae8c 00000258 8acfecd0 8c9d2868: 8c9d2870 8112b658 00000001 00001770 8c9d2878: 00000000 00002898 00000000 865e6b00 8c9d2888: 82b3268c 82b1cdd4 00364671 8c9d2898 8c9d2898: 00000001 ffffffff 00000000 0000000c 8c9d28a8: 8acfecd8 813a29f0 00000008 ffffffff 8c9d28b8: 73646b5f 6d75745f 30303336 34363731 8c9d28c8: 00000003 00000024 82a8ae8c 82a8aea8 8c9d28d8: 00000000 00000001 8c9d28e8 8111c790 8c9d28e8: 81779808 00000202 00000000 000000ad 8c9d28f8: 00000008 00000000 8acfecd0 0000001f 8c9d2908: 00000002 0000000c 8acfecd0 8acfecd0 8c9d2918: ffffffff 81d1d168 00000000 8048e214 8c9d2928: 02022a90 000360c4 00240000 8c9d2938 8c9d2938: 00000001 81ff8cf0 00000003 8c9d2ae0 8c9d2948: 8b383eb0 8046dc00 813409e4 ffffffff 8c9d2958: 808c7324 808c745c 00000003 00000024 8c9d2968: 0070a56a 09442946 00000003 8a736fe8 8c9d2978: 00000202 00000000 80459848 03000202 8c9d2988: 00000000 00000027 0000001d 80276bd4 City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 36% Status:Normal City-OLT-1#show cpu-util cpu util threshold is 90% current cpu util is 37% Status:Normal City-OLT-1#show task httd CPU utilization for one second: 47%; one minute: 38%; five minutes: 28% P - Pending D - Delay R - Ready S - Suspend E - Estimated NAME ENTRY TID PRI PC Stk Ptr SP lmt ERR.NO ST CPU invoked ------------------------------------------------------------------------------- HTTD 80544f9c 8c9e4f00 128 813a4408 8c9d2888 8c94ef00 3d0002 P 0.04 121028 Gauge of sp reset from 8c9d1d00 to 8c9d2488,Max stack usage 13 task HTTD pc = 813a4408 ra = 808c0eac call procedure-- 0x813a4408-- [PC] 0x813a29f0-- [SP 8c9d28c0] 0x808c7324-- [SP 8c9d2900] 0x804660c4-- [SP 8c9d2930] 0x8046db74-- [SP 8c9d2950] 0x80459848-- [SP 8c9d2988] 0x8027870c-- [SP 8c9d29d8] 0x8020de6c-- [SP 8c9d2a40] 0x809b14d8-- [SP 8c9d2a70] 0x809728b0-- [SP 8c9d2b90] 0x8098794c-- [SP 8c9d2c80] 0x80987b44-- [SP 8c9d2cf8] 0x809c1958-- [SP 8c9d2d48] 0x805df6c4-- [SP 8c9d2d68] 0x809c0ff4-- [SP 8c9d2e48] 0x805df6c4-- [SP 8c9d2e68] 0x805e2ae8-- [SP 8c9d2f48] 0x805e1308-- [SP 8c9d2f68] 0x805e2324-- [SP 8c9d2fc8] 0x804ffd98-- [SP 8c9d38b8] 0x8052e228-- [SP 8c9d3970] last switched in at 3e7563, now 3e7564 Stack for task HTTD(512 bytes) 8c9d2888: 865e6b80 1000ff01 804ffb7c 81ff8cf0 8c9d2898: 00000000 00000000 00000000 0000000c 8c9d28a8: 8c9d2900 813a29f0 81aa0000 ffffffff 8c9d28b8: 00000001 865e6b80 30303336 813a2e34 8c9d28c8: 0000002f 8c9d2a90 81aa0000 00000000 8c9d28d8: 00000001 865e6b80 00000000 00000000 8c9d28e8: 00000001 808dd81c 808c7324 00000000 8c9d28f8: 00000001 00000000 00000001 0000000f 8c9d2908: 00000001 813a2e34 000000a3 81aa0000 8c9d2918: 0000000c 81d1d16c 00000001 00000022 8c9d2928: 8c9d2a90 804660c4 818e0000 81375a2c 8c9d2938: 00000001 81ff8cf0 00000001 8c9d2ae0 8c9d2948: 8046db74 8046dc00 813409e4 ffffffff 8c9d2958: 808c7324 808c745c 0000000a 81aa0000 8c9d2968: 00847973 ed0b5b41 00000001 8c0e08b8 8c9d2978: 00000101 00000000 80459848 03000101 8c9d2988: 00000000 00000021 00000010 80276bd4 8c9d2998: 00000013 00000000 00000001 819bf0b5 8c9d29a8: 8c9d2a90 8c9d2a90 00000000 00000021 8c9d29b8: 00000010 80209414 000003dc 00000002 8c9d29c8: 00000158 8c0e08b8 8c9d2a90 8027870c 8c9d29d8: 01000001 00000000 81426d64 ffffffff 8c9d29e8: 819bf36d 813415a8 00000006 00990000 8c9d29f8: 00000001 00000000 00000001 8198f9c0 8c9d2a08: 00000000 00000000 00000000 00000000 8c9d2a18: 00000010 8c9d2a90 40010022 8c9d2cd0 8c9d2a28: 8c9d2b50 00000030 81c10000 0000000a 8c9d2a38: 00000000 8020de6c 00000000 81340050 8c9d2a48: 0000000c 00000001 819c6974 00000000 8c9d2a58: 00000000 8258ae98 00000000 81fd8b48 8c9d2a68: 809b14d8 00000000 00000000 8198f9c0 8c9d2a78: 00000000 00000000 00000000 00000000 City-OLT-1#Connection closed by foreign host. Edited October 25, 2023 by nixx Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Nikita Devyatyarov Posted October 26, 2023 · Report post Спасибо, передал в bdcom Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nixx Posted December 21, 2023 · Report post чисто случайно сегодня тыркнул по data.nag.ru посмотреть, не завезли ли чего нового, и чисто случайно увидел там выложенные сегодня же прошивки )) скачал версию 120632 для P3600-08E, залил, перезагрузил, вижу всё те же тормоза в вебе без изменений (ну возможно их и не фиксили, конечно) попутно хочу добавить, что несмотря на слова про то, что утечку памяти исправили, прошивка 116911 все так же страдает увеличением используемой памяти со временем, как и упомянутая в первом посте 108820. до ребутов пока не дошло, слишком малый срок работы, но если это является симптомом утечки, то она не была исправлена. теперь посмотрю, как поведет себя 120632... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
the-jk Posted January 2 · Report post У вас в деревьях видимо зоопарк вендоров онушек. У меня подобное происходило когда смотрели маки на медных портах онушек и когда попадали не на бдком онушку, а на скажем cdata/netlink/fora (и прочее говно) эти не бдком маки не отдавали. Достаточно было штук 10-15 таких НЕ бдкомов спросить о маках за медными портами, чтобы намертво повесить управление олта (веб, телнет, ссш) с последующим полным фризом олта и отказе в обслуживании. приходилось ехать и ребутить руками. Вполне вероятно что у вас проблема именно в зоопарке. Мы перестали покупать левые онушки, теперь ставим только бдком и проблем нет вообще ни каких. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nixx Posted January 3 · Report post 21 час назад, the-jk сказал: У меня подобное происходило когда смотрели маки на медных портах онушек и когда попадали не на бдком онушку, а на скажем cdata/netlink/fora (и прочее говно) эти не бдком маки не отдавали. Достаточно было штук 10-15 таких НЕ бдкомов спросить о маках за медными портами, чтобы намертво повесить управление олта (веб, телнет, ссш) с последующим полным фризом олта и отказе в обслуживании. приходилось ехать и ребутить руками. скажите, на каких прошивках у вас были подобные проблемы? потому как у нас, как к нам приехали эти OLT с заводскими версиями 92596, так с ними и не было проблем на прошивках до 105375, и только при заливе 108820 и далее пошли глюки. вот подумываю сделать откат до беспроблемных версий, пусть и потеряю какие-то улучшения, внесенные в последние версии... но зато и ребутиться головы не будут, и наша техподдержка не будет на меня волками смотреть из-за проблем с вебом... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...