Перейти к содержимому
Калькуляторы

Скачки пингов и winbox Очень странная проблема.

Столкнулись мы в нашем небольшом ISP с забавной проблемой.

В качестве бордера у нас используется CCR1036-12g-4s.На нем же реализован шейпинг скорости, файрволл и проч.

Потом неожиданно начались проблемы с пакетлоссами и скачущими пингами. У всех пользователей, вне зав-ти от L2 сегмента, пула IP и тд.

Даже пинги с самого мтика скакали.

Делали всё, что вообще возможно, отключали юзеров, кидали конфиг на другой(идентичный) мтик, проверяли аплинк.Не помогало.

И вдруг заметили одну зависимость:

проблема возникает ТОЛЬКО когда кто-то из нас залогинен через winbox на этот мтик.

Т.е. для примера:

Если никто не залогинен

 

Ответ от 213.180.193.3: число байт=32 время=9мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=8мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=8мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=9мс TTL=55

 

Если кто-то залогинен через винбокс

 

Ответ от 213.180.193.3: число байт=32 время=9мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=9мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=30мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=9мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=9мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=9мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=55мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=117мс TTL=55

Ответ от 213.180.193.3: число байт=32 время=13мс TTL=55

 

Ну и соответственно, пакетлоссы могут выскочить, и до 600 пинги вырасти.

При доступе через ssh такой траблы не возникает.

ПОнятно что мониторинг через ssh это выход, но всё же проблему винбокса желательно бы решить.

Кто нибудь сталкивался?

P.S. менять прошивки на мтике пробовали, пересоздавать конфиги тоже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

/system resource cpu print

/tool profile

 

без подключения винбокса и с подключенным винбоксом показывайте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

/system resource cpu print

/tool profile

 

без подключения винбокса и с подключенным винбоксом показывайте.

Без винбокса

 

cpu print

# CPU LOAD IRQ DISK

0 cpu0 4% 4% 0%

1 cpu1 24% 24% 0%

2 cpu2 32% 32% 0%

3 cpu3 39% 39% 0%

4 cpu4 31% 31% 0%

5 cpu5 19% 19% 0%

6 cpu6 96% 27% 0%

7 cpu7 25% 25% 0%

8 cpu8 15% 15% 0%

9 cpu9 24% 24% 0%

10 cpu10 32% 32% 0%

11 cpu11 32% 32% 0%

12 cpu12 21% 19% 0%

13 cpu13 38% 37% 0%

14 cpu14 33% 33% 0%

15 cpu15 25% 25% 0%

16 cpu16 39% 39% 0%

17 cpu17 30% 30% 0%

18 cpu18 15% 15% 0%

19 cpu19 35% 33% 0%

20 cpu20 22% 22% 0%

21 cpu21 32% 32% 0%

22 cpu22 39% 39% 0%

23 cpu23 19% 19% 0%

24 cpu24 18% 18% 0%

25 cpu25 16% 16% 0%

26 cpu26 10% 10% 0%

27 cpu27 20% 20% 0%

28 cpu28 20% 20% 0%

29 cpu29 2% 2% 0%

30 cpu30 29% 29% 0%

31 cpu31 35% 35% 0%

32 cpu32 35% 35% 0%

33 cpu33 27% 27% 0%

34 cpu34 41% 41% 0%

35 cpu35 23% 23% 0%

 

 

 

tool profile

ethernet all 0%

console all 0%

firewall all 10.4%

networking all 11.3%

management all 1.4%

routing all 2%

idle all 69.3%

profiling all 0%

queuing all 5.2%

telnet all 0%

unclassified all 0%

 

 

С винбоксом

 

cpu print

0 cpu0 31% 31% 0%

1 cpu1 37% 37% 0%

2 cpu2 47% 47% 0%

3 cpu3 62% 56% 0%

4 cpu4 39% 39% 0%

5 cpu5 49% 49% 0%

6 cpu6 44% 44% 0%

7 cpu7 45% 45% 0%

8 cpu8 50% 50% 0%

9 cpu9 41% 41% 0%

10 cpu10 39% 39% 0%

11 cpu11 51% 51% 0%

12 cpu12 39% 38% 0%

13 cpu13 49% 49% 0%

14 cpu14 42% 42% 0%

15 cpu15 35% 35% 0%

16 cpu16 38% 38% 0%

17 cpu17 41% 41% 0%

18 cpu18 43% 43% 0%

19 cpu19 41% 41% 0%

20 cpu20 29% 29% 0%

21 cpu21 45% 41% 0%

22 cpu22 40% 40% 0%

23 cpu23 65% 46% 0%

24 cpu24 45% 45% 0%

25 cpu25 45% 45% 0%

26 cpu26 50% 50% 0%

27 cpu27 50% 37% 0%

28 cpu28 46% 46% 0%

29 cpu29 31% 1% 0%

30 cpu30 40% 40% 0%

31 cpu31 65% 46% 0%

32 cpu32 67% 48% 0%

33 cpu33 39% 39% 0%

34 cpu34 39% 39% 0%

35 cpu35 45% 45% 0%

 

 

 

tool profile

NAME CPU USAGE

firewall-mgmt all 0%

ethernet all 0%

console all 0%

firewall all 11.8%

networking all 14.3%

winbox all 0%

management all 0.4%

routing all 1.7%

idle all 62.3%

dhcp all 0%

profiling all 1.4%

queuing all 5.6%

bridging all 0%

unclassified all 1.9%

 

 

Изменено пользователем hard1mpulse

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

уверены что зависимость от винбокса не совпадение?

 

6 cpu6 96% 27% 0%

вот это как-то не очень. в 100% ядра не залипают?

 

давно уже заметил что при утиле одного из ядер на CCR близком к 80-90% начанают плавать задержки, а при 100% одного из ядер, сыпят лосы, что как бы логично.

Для себя сделал вывод что CCRы более-менее сносно работают при утиле ядер не более 40-50%, причем не усредненной по всем ядрам, а именно по каждому в отдельности.

 

У вас либо большой PPS, либо фаервол с шейпером хреново настроены. Если настроено все норм, то имхо, вы эту железку уже переросли.

 

отключали юзеров

или у вас и без нагрузки та же картина?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

уверены что зависимость от винбокса не совпадение?

Точно. Заметили сегодня с утра. Тестили весь день.

вот это как-то не очень. в 100% ядра не залипают?

Периодически одно из них может залипнуть до сотни,да.

Но ведь разница в средней загрузке CPU с подключенным винбоксом и без очевидна, и это самое странное.Ну почему ж так грузит процы винбокс?Это ж не нормально

или у вас и без нагрузки та же картина?

Тестили и без нагрузки, то же самое.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А у вас в винбоксе не открыты окна типа conntrack-а, routing table и т.п., которые могут сильно грузить CPU?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А у вас в винбоксе не открыты окна типа conntrack-а, routing table и т.п., которые могут сильно грузить CPU?

Углубились мы в проблему,помониторили и заметили:

Если кто-то в винбокс залогинен, но никаких вкладок не открывает, то загрузка ЦПУ стабильна.

Если мы пытаемся открыть пустые вкладки(к примеру Interfaces-GRE Tunnel), то загрузка стабильна.

Если мы открываем вкладки которые единовременно выгружают какую то инфу( т.е. инфа на этой вкладке не апдейтится часто, например АРП таблица),то возникает единовременный скачок в загрузке ЦПУ до x2 от средней.

Если мы открываем постоянно обновляющуюся инфу, типа interfaces(а у нас их около 20),или допустим запускаем Torch аплинка до магистрального провайдера, то загрузка стабильно скачет с некой периодичностью до x2-x3

PPS в пики через наш мтик-около 100-150 к.И при нормальной работе,средняя загрузка в пики 30-35%.

Вопрос-неужели выгрузка данных в винбокс настолько грузит проц? Это же не нормально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы переросли железку нужен 2 тик я больше 80к ППС не сажу ток загрузка в районе 20%

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы переросли железку нужен 2 тик я больше 80к ППС не сажу ток загрузка в районе 20%

Дело в том что в отсутствии нагрузки проблема тоже наблюдалась, даже с 1 пользователем, подключеным в мтик.

Да и собсна вот график загрузки cpu за год.

На нем очевиден скачок. Тогда и началась проблема,сосбна говоря

653b2ff472b0907af1e746a5e53896c1.gif

 

Количество PPS и до скачка и после было плюс-минус одинаковое. А загрузка CPU резко возросла.

Изменено пользователем hard1mpulse

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ап темы.

Проблему всё еще не решили. Общаюсь с техподдержкой микротика, их ответ примерно таков:

1) Это норма, что использование винбокса грузит ЦПУ, винбокс мол выгружает много инфы, и т.д. и т.п.

2) Предложили забавный костыль, с добавлением в Queue Tree специальной высокоприоритетной очереди для винбоксового траффика.

Костыль был мною протестирован, траблы он не решил. Всё по прежнему-открываем Интерфейс лист или другие мноинформативные вкладки-начинает скакать загрузка ЦПУ и,соответственно, теряться пакеты и скакать пинги.

 

Сегодня еще попробуем обновиться до тестовой RouterOS 6.37rc, но,боюсь, это не пофиксит проблему.

Соответственно, вопрос к спецам по микротику: неужели реально генерация винбокс-траффика настолько сильно нагружает проц, сильнее чем 100к пакетов в секунду, которые он форвардит?Действительно ли это норма для ROS?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На x86 у меня не было никаких проблем с винбоксом. Но всё равно выкинули по другим причинам.

Это для SOHO, а не для провайдерства.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На x86 у меня не было никаких проблем с винбоксом. Но всё равно выкинули по другим причинам.

Это для SOHO, а не для провайдерства.

Допускаю, что мы переросли железку, однако она нам верой и правдой служила с делекого 2009го, с крошечного местячкового ISP с тремя сотнями абонентов,проблем не было и тогда, когда мы достигли 3х тыс. абонентов. Проблема с винбоксом вылезла, так сказать, из ниоткуда, просто вдруг неожиданно началась. И саппорт микротика меня обрадовал: "это так и должно быть, генерация большого кол-ва винбоксового траффика грузит девайс, поставьте лимит на траффик, будет чуть лучше, но на самом деле всё так и будет, смиритесь."

Кстати, небольшой апдейт по симптомам: как я понимаю, наш роутер грузится из-за необходимости предоставления большого кол-ва инфы. Я выше писал что при подключении через SSH проблемы нет, но это не так. Оказалось, что, как и в винбоксе, при необходимости предоставления большого кол-ва инфы(/interface print stats,например) загрузка ЦПУ скачет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Глупый вопрос - а с питанием, кондерами как?

Если честно, "железную" проблему сразу отмели ибо первым делом решили заменить мтик, пробовали 2 аналогичных, и проблема осталась.

Поэтому даже не рассматривали этот вариант.

По всему видно, что проблема софтовая.

Кстати, из саппорта мтика пришёл невнятный ответ а-ля: "Проблема есть, но вы там держитесь..." и т.д.

Но при этом официально признавать это багом отказались.

Уже вот хз чё делать, переходить на какое-то более крутое оборудование типа джунипера или киски бюджет не позволяет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А не пробовали логиниться с чистых машин, на которых ничего кроме ОС нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

странный вы человек, зачем юзать винбокс, когда есть веб интерфейс?

да и заканчивать пора: "бордер , шейпинг скорости, файрволл и прочее"- не для этого данная железяка.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

странный вы человек, зачем юзать винбокс, когда есть веб интерфейс?

Странный вы человек, зачем юзать веб-интерфейс, когда есть винбокс?

да и заканчивать пора: "бордер , шейпинг скорости, файрволл и прочее"- не для этого данная железяка.

Отлично справляется со всем, вопрос в объеме трафика.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

зачем юзать винбокс, когда есть веб интерфейс?

 

Например вы внесли не верные настройки IP адресов и доступ пропал, как попасть в веб интерфейс?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

отключите winbox, юзайте ssh+snmp.

что в winbox такого что нельзя делать в ssh ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Перезалить ROS с помощью netinstall с переносом конфига через экспорт, а не бэкап.

Если не помогло то:

Отключить все правила и по одному включать и мониторить пинг, или отключать по одному и наблюдать, или залить часть конфига которая обеспечивает доступ в интернет, и дальше по одному или несколько правил добавлять и наблюдать.

 

Отключите в IP/Neihbors в закладке Discovery interfaces все интерфейсы.

 

Еще проверить наличие какого нибудь флуда со стороны провайдера или сети.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

соединится по мак. Очень напоминает работу шейпера. видимо там и ошибка.

Изменено пользователем user71

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Уже вот хз чё делать, переходить на какое-то более крутое оборудование типа джунипера или киски бюджет не позволяет.

Я извиняюсь, а вас, что, на ebay забанили?

Там, вполне за прbемлемые деньги, даже с учетом доставки, можно купить хорошее железо.

Это как пожелание.

Изменено пользователем Brainiac

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.