Временный рост CPU на mikrotik 4.2

iValera · November 18, 2009

До этого стоял rb1000 с ROs 3.10, заменили его только что на сервер.

Сервер на кваде 9400, 2 гига оперативы, хард твёрдотельный, ROs 4.2

Сервер в роли роутера, принимаем 2 bgp провайдера, один из них отдаёт нам 13к маршрутов.

Загрузка CPU при 200мбитах 10%, проходит 10 минут и CPU растёт до 40-50%, через 5 минут снова падает до 10%, итак уже 6 часов.

Куда копать?

[admin@xxx] > routing bgp instance print
Flags: X - disabled
0 name="default" as=xxxxx router-id=0.0.0.0 redistribute-connected=no redistribute-static=no redistribute-rip=no
redistribute-ospf=no redistribute-other-bgp=no out-filter=default_out client-to-client-reflection=yes ignore-as-path-len=yes

[admin@xxx] > routing bgp network print
Flags: X - disabled, A - active
# NETWORK SYNCHRONIZE
0 xxx.xxx.xxx.xxx/xx no

[admin@xxx] > routing bgp peer print
Flags: X - disabled, E - established
# INSTANCE REMOTE-ADDRESS REMOTE-AS
0 E default xxx.xxx.xxx.xxx 21xxx
1 E default xxx.xxx.xxx.xxx 20xxx

Edited November 18, 2009 by iValera

Alexspils · November 19, 2009

я бы послал мейл в суппорт микротика с supout.rif файлом и описанием проблемы и графиками

SmalleR · November 19, 2009

Поддерживаю.

iValera · November 19, 2009

Да, спасибо, вчера к такому же выводу пришёл. Сегодня отошлю.

a0d75 · November 20, 2009

Когда устанете бороться с их техподдержкой - поставьте юникс с квагой

SmalleR · November 20, 2009

Когда устанете бороться с их техподдержкой - поставьте юникс с квагой

Если бы в жизни были идеальные решения, то других бы просто не осталось.

А пока есть много вариантов, значит ни одно из них не идеально.

P.S.

Когда перестанете верить в чудеса, будет уже поздно ;)

a-tc · November 20, 2009

Пакеты уберите лишние из системы.

Ночью то же? Посмотрите на предмет.. м.. грязного трафика?

Как бэ на 4 полет нормальный, нагрузка больше вашей. Конфиг железа такой же.

Что в системе то-происходит каждые 10 минут, должна быть закономерность. Чудес не бывает.

iValera · November 20, 2009

Пакеты уберите лишние из системы.
Ночью то же? Посмотрите на предмет.. м.. грязного трафика?

Как бэ на 4 полет нормальный, нагрузка больше вашей. Конфиг железа такой же.

Что в системе то-происходит каждые 10 минут, должна быть закономерность. Чудес не бывает.

Пакеты щас посмотрю, ночью тоже самое http://img5.imageshack.us/img5/5404/graphimage.png] так 24 часа в сутки.

Трафик как обычно, началось сразу как сервер поставили, заменили rb1000.

Сейчас сделал так, что скажете?

Edited November 20, 2009 by iValera

Alexspils · November 20, 2009

лучше сделай uninstall

a-tc · November 20, 2009

лучше сделай uninstall

дада, верно

у вас там зацикленных скриптов нет случайно?

SmalleR · November 20, 2009

Такое впечатление, что интервал замера 5 минут.

Есть другие графики? За 15 минут, за 24 часа.

iValera · November 20, 2009

Такое впечатление, что интервал замера 5 минут.

Есть другие графики? За 15 минут, за 24 часа.

Кактус опрашивает раз в 5 минут, но что удивительно мониторя system resource - данные совпадают, 5 минут загрузка, 10 минут обычный режим работы. Пакеты сейчас отюнисталю, кстати synchronous можно тоже отключать?

у вас там зацикленных скриптов нет случайно?

Система голая.

a-tc · November 21, 2009

synchronous - для работы не требуется.

Чем пользуетесь, кроме бгп?

Что в логах?

На англицком форуме советуют убрать сторонние сенсоры snmp

Edited November 21, 2009 by a-tc

iValera · November 21, 2009

synchronous - для работы не требуется.

Чем пользуетесь, кроме бгп?

Что в логах?

На англицком форуме советуют убрать сторонние сенсоры snmp

Онли бгп, принимаем 2 канала и третьим патчкордом к себе в lan.

Файрвол по минимум, виндовые порты и

0   chain=tcp action=drop protocol=tcp dst-port=111 

1   chain=tcp action=drop protocol=tcp dst-port=135 

2   chain=tcp action=drop protocol=tcp dst-port=137-139 

3   chain=tcp action=drop protocol=tcp dst-port=445 

4   chain=udp action=drop protocol=udp dst-port=69 

5   chain=udp action=drop protocol=udp dst-port=111 

6   chain=udp action=drop protocol=udp dst-port=137-139 

7   chain=ICMP action=accept protocol=icmp icmp-options=0:0-255 limit=50,50 

8   chain=ICMP action=accept protocol=icmp icmp-options=8:0-255 limit=100,100 

9   chain=ICMP action=accept protocol=icmp icmp-options=3:3 

10   chain=ICMP action=accept protocol=icmp icmp-options=3:4 

11   chain=ICMP action=accept protocol=icmp icmp-options=3:0 

12   chain=ICMP action=accept protocol=icmp icmp-options=3:1 

13   chain=ICMP action=accept protocol=icmp icmp-options=3:2 

14   chain=ICMP action=accept protocol=icmp icmp-options=4:0 

15   chain=ICMP action=accept protocol=icmp icmp-options=11:0 

16   chain=ICMP action=accept protocol=icmp icmp-options=12:0 

17   chain=ICMP action=drop protocol=icmp 

20   chain=forward action=drop connection-state=invalid protocol=tcp 

21   chain=forward action=drop src-address=10.0.0.0/8 

22   chain=forward action=drop src-address=172.16.0.0/12 

23   chain=forward action=drop src-address=192.168.0.0/16 

24   chain=forward action=jump jump-target=tcp protocol=tcp 

25   chain=forward action=jump jump-target=udp protocol=udp 

26   chain=forward action=jump jump-target=ICMP protocol=icmp 

28 X;;; icmp
     chain=forward action=accept protocol=icmp 

29;;; jump to chain ICMP
     chain=input action=jump jump-target=ICMP protocol=icmp 

30;;; invalid
     chain=input action=drop connection-state=invalid 

31;;; established
     chain=input action=accept connection-state=related 

32;;; related
     chain=input action=accept connection-state=established 

33;;;
     chain=input action=accept src-address=192.168.xx.1 in-interface=xx-local 

34;;; 
     chain=input action=accept src-address=192.168.xx.1 in-interface=xx-local 

35;;; 
     chain=input action=accept src-address=192.168.254.0/24 in-interface=xx-local 

36   chain=input action=log log-prefix="Filter:" 

37;;; drop everything else
     chain=input action=drop

На англицком форуме советуют убрать сторонние сенсоры snmp

Тут не совсем понял, если про кактус, то активировали его уже позже, тоесть загрузка уже была до того как им стали снимать данные.

В логах тишина, тоесть стандартный листинг, что во время загрузки, что без неё.

Пакетам сделал uninstall, сегодня ночью попробуем ребут.

Edited November 21, 2009 by iValera

a-tc · November 21, 2009

дебаги включите бгпшные в логах, может у вас там сессия резетится каждые 5 минут

iValera · November 21, 2009

дебаги включите бгпшные в логах, может у вас там сессия резетится каждые 5 минут

Дебаги смотрел, сессию вы имеете в виду bgp? Пиры не разрываются, вот дебаг:

Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp: UPDATE Message
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:     MessageLength=70
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Received UPDATE packet
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=70
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 46 02 00 00 00 1F 40 01 01 00 40 02 0A 02 02
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 50 05 00 00 31 E4 40 03 04 D9 96 36 D2 C0
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     08 04 50 05 2D DA 16 5E 1C 10 18 57 F1 F9 17 57
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     F1 D0 17 4F 7A C0
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:     PathAttributes
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-origin=IGP
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-as-path=20485,12772
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-as-path-len=2
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-communities={20485:11738}
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:     NLRI=94.28.16.0/22,87.241.249.0/24,87.241.208.0/23,79.122.192.0/23
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp: UPDATE Message
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:     MessageLength=39
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Received UPDATE packet
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=39
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 27 02 00 10 16 5E 1C 10 18 57 F1 F9 17 57 F1
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     D0 17 4F 7A C0 00 00
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:
Nov 21 18:49:18 192.168.254.137 route,bgp,debug,packet bgp_bgp:     WithdrawnRoutes=94.28.16.0/22,87.241.249.0/24,87.241.208.0/23,79.122.192.0/23
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,timer bgp_bgp: KeepaliveTimer expired
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,timer bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Sent KEEPALIVE message
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=19
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 13 04
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet bgp_bgp: Sent KEEPALIVE message
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:49:29 192.168.254.137 route,bgp,debug,packet bgp_bgp:     Length=19
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet bgp_bgp: KEEPALIVE Message
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=80.80.80.80
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet bgp_bgp:     MessageLength=19
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Received KEEPALIVE packet
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=80.80.80.80
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=19
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:49:41 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 13 04

...

Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp: UPDATE Message
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:     MessageLength=102
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Received UPDATE packet
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=102
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 66 02 00 00 00 4B 40 01 01 00 40 02 36 02 0D
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 50 05 00 00 0C 90 00 00 70 DA 00 00 A8 11
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 A8 11 00 00 A8 11 00 00 A8 11 00 00 A8 11
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 A8 11 00 00 A8 11 00 00 A8 11 00 00 A8 11
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 A8 11 40 03 04 D9 96 36 D2 C0 08 04 50 05
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     9D B9 18 C1 C8 C7
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:     PathAttributes
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-origin=IGP
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-as-path=20485,3216,28890,43025,43025,43025,43025,43025,43025,43025,43025,43025,4302
5
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-as-path-len=13
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-communities={20485:40377}
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:
Nov 21 18:55:43 192.168.254.137 route,bgp,debug,packet bgp_bgp:     NLRI=193.200.199.0/24
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp: UPDATE Message
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:     MessageLength=102
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Received UPDATE packet
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=90.90.90.90
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=102
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 66 02 00 00 00 4B 40 01 01 00 40 02 36 02 0D
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 50 05 00 00 0C 90 00 00 70 DA 00 00 A8 11
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 A8 11 00 00 A8 11 00 00 A8 11 00 00 A8 11
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 A8 11 00 00 A8 11 00 00 A8 11 00 00 A8 11
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 00 A8 11 40 03 04 D9 96 36 D2 C0 08 04 50 05
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     9D B9 18 C1 C8 C7
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:     PathAttributes
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-origin=IGP
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-as-path=20485,3216,28890,43025,43025,43025,43025,43025,43025,43025,43025,43025,4302
5
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-as-path-len=13
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:         bgp-communities={20485:40377}
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:
Nov 21 18:55:47 192.168.254.137 route,bgp,debug,packet bgp_bgp:     NLRI=193.200.199.0/24
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,timer bgp_bgp: KeepaliveTimer expired
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,timer bgp_bgp:     RemoteAddress=80.80.80.80
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Sent KEEPALIVE message
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=80.80.80.80
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=19
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 13 04
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet bgp_bgp: Sent KEEPALIVE message
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=80.80.80.80
Nov 21 18:55:50 192.168.254.137 route,bgp,debug,packet bgp_bgp:     Length=19
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet bgp_bgp: KEEPALIVE Message
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet bgp_bgp:     RemoteAddress=80.80.80.80
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet bgp_bgp:     MessageLength=19
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp: Received KEEPALIVE packet
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     RemoteAddress=80.80.80.80
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     Length=19
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF FF
Nov 21 18:55:55 192.168.254.137 route,bgp,debug,packet,raw bgp_bgp:     00 13 04

Может погрепать чего в файлах логов на предмет ошибок?

a-tc · November 22, 2009

попробуйте пакет routing-test, забекапьте все перед ним

а может, хер с ней, с нагрузкой? не 100 же ;)

iValera · November 22, 2009

попробуйте пакет routing-test, забекапьте все перед ним

а может, хер с ней, с нагрузкой? не 100 же ;)

Извиняюсь, а что даёт routing-test?

Fog · November 22, 2009

флешка дохлая. или медленая скорость записи.

iValera · November 22, 2009

флешка дохлая. или медленая скорость записи.

Новый Патриот 32Gb по сате.

Edited November 22, 2009 by iValera

a-tc · November 23, 2009

Извиняюсь, а что даёт routing-test?

предрелизная версия пакета, войдет в следующую версию. там мб будут исправления, связанные с вашей проблемой. но вообще, у них на форуме нет подобных проблем.

флешка дохлая. или медленая скорость записи.

это с каких таких пор бгпшные маршруты пишутся на винт?

Edited November 23, 2009 by a-tc

iValera · February 1, 2010

Ситуация нормализовалась следующим образом, от обоих провайдеров получили фуул-вью, исходящий трафик пошёл через одного прова, скачки продолжали идти, затем на этом прове задропали половину префиксов, в следствии чего исходящий трафик сбалансировался и скачки пропали с падением загрузки ~5%.

Sign In

Временный рост CPU на mikrotik 4.2

Recommended Posts

iValera

Alexspils

SmalleR

iValera

a0d75

SmalleR

a-tc

iValera

Alexspils

a-tc

SmalleR

iValera

a-tc

iValera

a-tc

iValera

a-tc

iValera

Fog

iValera

a-tc

iValera

Join the conversation