Выросла нагрузка на узел, помогите разобраться

[yKpon]

24 марта около 17 часов плавно выросла нагрузка на узел, в ядре CCR1009-7G-1C-1S+, нагрузка на проц выросла с обычных 40-50% до 70-80%, появились потери внутри сети 2-3%, и случайно но заметил что плавно вырос netflow трафик на биллинг, с обычных 1-3 мегабит стал 7-10, в коллекторе стоит правило all, льёт всё

до ядра аплоад проходит через centos с фильром nfqfilter и там тоже выросла нагрузка

 

по графикам вышеописанных ресурсов это произошло одновременно

 

предполагаю что идёт мощный флуд пакетами, но найти не могу, через torch на тике толком не могу посмотреть, общий трафик порядка 450 мегабит

 

как можно найти? через iptraf толком не смог ничего отсортировать и понять

 

спасибо

 

на тычёк не смотрите, эти лились бекапы

график ломаный это я нетфлоу отключал/включал

[alibek]

Графики аплинков и агрегации по трафику и pps есть?

Графики по pps скорее всего локализуют источник.

[yKpon]

@alibek по трафику есть, pps нет =(

[alibek]

Тогда добавляйте графики по pps.

Если это флуд, то определенные виды флуда на трафике почти не видны.

[yKpon]

@alibek не пойму, кактус умеет?

[alibek]

Cacti? Ему все равно, что рисовать.

Если Микротик или коммутаторы умеют отдавать статистику в pps, то нужно просто добавить соответствующие графики.

Стандартные MIB-ы: if[In|Out]*Pkts

[VolanD666]

Ну дык посмотрите что за трафик то, в чем проблема то?

[yKpon]

@VolanD666 ну так посоветуйте как посмотреть! как выяснить какой именно трафик "паразитный"?

[yKpon]

pps сейчас 50к на даун и 40к на ап, думаю это много

 

аплинк 500 мегабит

[adron2]

21 минуту назад, yKpon сказал:

pps сейчас 50к на даун и 40к на ап, думаю это много

 

аплинк 500 мегабит

Да вроде норм значения. У меня вот так на одном из брасов:

[yKpon]

Только что, adron2 сказал:

Да вроде норм значения. У меня вот так на одном из брасов:

может в не pps тогда дело, в разы вырос трафик netflow, с чего бы?

[adron2]

3 минуты назад, yKpon сказал:

может в не pps тогда дело, в разы вырос трафик netflow, с чего бы?

На сколько я понимаю NetFlow сообщает о начале и конце tcp/udp сессии. Когда сессия закрывается - идет сообщение о том, сколько данных в ней было передано. У вас почему то открывается и закрывается куча сессий. Намного больше чем обычно.

[adron2]

Нат на микротике включен?

[pingz]

Имхо для 1009 это потолок, может помочь отключить лишние пакеты в системе, сокращение времени трансляций. Фильтры на коммутаторе по езернет тайп пропускать пакеты только пппое.

Поиграться с шейперами клиентов. 

Клиенты которые забллкированны надеюсь авторизируются?

[yKpon]

3 часа назад, adron2 сказал:

Нат на микротике включен?

нет, абонентам адреса белые

наты есть но для служебных целей

2 часа назад, pingz сказал:

Имхо для 1009 это потолок, может помочь отключить лишние пакеты в системе, сокращение времени трансляций. Фильтры на коммутаторе по езернет тайп пропускать пакеты только пппое.

Поиграться с шейперами клиентов. 

Клиенты которые забллкированны надеюсь авторизируются?

то есть потолок произошёл внезапно? в выходной в субботу резко выросла нагрузка на 30% на всё, на ccr и на сервер фильтрации

[vurd]

Призываю сааба и его любимый инструмент подьназванием Torch, благодаря которому можно посмотреть трафик и нихрена не понять.

[yKpon]

26 минут назад, vurd сказал:

инструмент подьназванием Torch, благодаря которому можно посмотреть трафик и нихрена не понять.

плюсую, судя по торчу глядя им на аплинк у меня 30 мегабит на вход, а по факту около 450, в общем торч не панацея

 

пытался через trafshow что-то увидеть и отсортировать, но особо не понял 

[adron2]

2 часа назад, pingz сказал:

Имхо для 1009 это потолок, может помочь отключить лишние пакеты в системе, сокращение времени трансляций. Фильтры на коммутаторе по езернет тайп пропускать пакеты только пппое.

Поиграться с шейперами клиентов. 

Клиенты которые забллкированны надеюсь авторизируются?

500 мегабит для такой железки это ничто! ! У нее 9 ядер по 1.2 ггц и пакетная производительность 2MPPS !

 

Тут проблема в чем то другом. Попробуйте отключить NetFlow и посмотреть как снизится нагрузка.

Да и неплохо было бы скрин Tools->Profile увидеть.

 

Про torch забудьте. Он для домашних роутеров и потоков 10-20 мегабит.

 

И еще покажите скрин System->Resources->CPU

[yKpon]

@adron2 отключаю Traffic Flow и трафик падает сразу на биллинг

https://gyazo.com/44d339d0eaa939c3245ac4b670c47fec

 

 

[adron2]

PPPOE на нем есть?

В фаерволе много правил. Нужно оптимизировать.

[dignity]

6 часов назад, adron2 сказал:

500 мегабит для такой железки это ничто! ! У нее 9 ядер по 1.2 ггц и пакетная производительность 2MPPS !

Не вижу связи между ядрами, pps и конкретным кейсом... На pc, например, производительность определяется, в первую очередь, nic, а на свиче вообще cpu не участвует, поэтому давайте что-то поубедительнее. Может у ТС все на одно ядро падает каким-то чудом.

 

А я бы тс посоветовал ребутнуть железку и посмотреть будет ли разница, а то может быть софт ту-ту.

[VolanD666]

13 часов назад, yKpon сказал:

@VolanD666 ну так посоветуйте как посмотреть! как выяснить какой именно трафик "паразитный"?

Встроенный сниффер или замирорить порт? Трафик идет всем абонентам или кто-то один качает?

[pingz]

@adron2 Не кто не спорит про PC все знают, если правильно затюнить ядро будет огонь, я не умею этого. 

 

По поводу микротика если на железке поднять PPPoE сервер+NAT(маскарад)+NetFlow+Правила фаервола 3-5 штук+Шейпер.

 

На 1036 у меня получалось поднять 800-1000 сессий с общим трафиком 800-900 мб\с и 140-180к пакетов работает это всё не стабильно(роутер не уходит в ребут и т.д.) Но клиенты начинают жаловаться на низкую скорость и высокие пинги и потери в играх. 

 

Если использовать схему саба:

1 микротик находится в р-н близко к абонентам (авторизация, флоу, шейпер)

2 микротик в серверной занимается натом 

Производительность вырастает 2-2.5 раза 

 

 

Возможны схемы, где микротиков будет больше каждый будет, выполнять свой функционал, но как это привязать к билингу это хороший вопрос. 

 

 

 

З.Ы. Нужно больше микротиков. 

[VolanD666]

Может сначала разобраться в чем проблема, а потом ее решать?

[pppoetest]

Господи, сливается нетфло на какой нить nfdump, на какой нить перле пишется анализатор и натравливается на дампы. Всё.

 

ПС. 6 мбит/с нетфло явно многовато на 500мбит

 

ПС.ПС. И вообще, тему в загончик, пусть сааб отдувается.