Jump to content
Калькуляторы

CCR1009-7G-1C неадекватная нагрузка

Приветствую!

 

Дано:

CCR1009-7G-1C,  v6.48.1

На портах ether1-4 собран бондинг - для надежности и производительности.

На бондинг навешиваются внутренние и внешние вланы.

Железка служит PPTP и PPPoE сервером, авторизация радиусом.

Шифрование и сжатие запрещено.

на VPN сессии создаются simple queue, типа PCQ, с параметрами рекомендованными тут на форуме.

 

Проблема - изначально после присоединения порядка 100 пользователей нагрузка показалась великовата - в среднем около 20-30% при трафике мегабит до 200 всего.

Потом через несколько часов, при 120 сессиях - вообще взлетела до 100% по всем ядрам.

PPS по интерфейсам нормальный, флудов, досов не видно.

По результату профайлинга - основной источник нагрузки - firewall.

По ядрам если смотреть - основная нагрузка в IRQ.

 

Откуда нагрузка в файрволе - непонятно.

NATа нет!

Tracking по понятным причинам отключить не могу.

Правила файрвола обычные самые, содержимое пакетов вроде не анализирую, самые частые правила - вверху.

Ситуация кажется мне не очень нормальной, не может же быть 200мбит и 100 клиентов потолком для этой железки, бред же какой-то?

Посоветуйте, где копать-то?

 

2021-02-16_18-38-28.png

2021-02-16_18-39-13.png

2021-02-16_18-40-32.png

Share this post


Link to post
Share on other sites

Что, без НАТа 200 человек - предел???

Тогда непонятно, почему на картинке профайлера выше firewall - 75.5%, а queueing - 3%.

Share this post


Link to post
Share on other sites

Просто надо бондинг убрать, а так же почикать большую часть правил на последней картинке с зелеными галочками.

Share this post


Link to post
Share on other sites

Так, про бондинг да, были подозрения. Надо попробовать.

А что, есть информация, что жрет ресурсы? Я искал, ничего не нашел на эту тему.

Про почикать - это простите как? Да и зачем, если 99% пакетов пропускаются правилами 1 или 2, и дальше не идут по цепочке?

Share this post


Link to post
Share on other sites

21 час назад, seagull сказал:

Про почикать - это простите как? Да и зачем, если 99% пакетов пропускаются правилами 1 или 2, и дальше не идут по цепочке?

Это убрать все не нужное. Разрешающие правила вообще не нужны, и блокировать все не нужно.

 

Достаточно закрыть порт винбокса, и заблокировать абонентам доступ на роутер (если требуется), так же закрыть порт ДНС с инета, если используется. Так же правило блокировки должников, по сути это 4-5 правил.

В НАТ так же достаточно 2-х правил, первое для самого НАТ, второе для переадресации на веб прокси должников.

В манглах ничего быть не должно, максимум схема для предоставления бесплатного доступа в сеть для должников. Это 4 правила.

 

21 час назад, seagull сказал:

А что, есть информация, что жрет ресурсы? Я искал, ничего не нашел на эту тему.

Жрет ресурсы у вас файрвол.

 

21 час назад, seagull сказал:

Так, про бондинг да, были подозрения. Надо попробовать.

Вместо бондинга хорошо работает SFP+ порт.

Share this post


Link to post
Share on other sites

Писал же, чему там жрать в файрволе, если большинство пакетов дальше 1-2 правила не проходят по цепочке???

Если делать по вашему - default accept, а перед ними все запрещать, наоборот длиннее путь получится.

Вообще кстати, best practice все же закрывать все, а открывать только нужное, а не наоборот.

НАТа и мангла нет - опять же писал.

А SFP+ порта там нет.

Share this post


Link to post
Share on other sites

В 16.02.2021 в 17:44, seagull сказал:

Ситуация кажется мне не очень нормальной, не может же быть 200мбит и 100 клиентов потолком для этой железки, бред же какой-то?

это некротик, детка. там пптп нифига не ядерный, а юзерспейсный. потому - еще как может...

Share this post


Link to post
Share on other sites

20 минут назад, NiTr0 сказал:

это некротик, детка. там пптп нифига не ядерный, а юзерспейсный. потому - еще как может...

Так по профайлинге жрет не пптп, а файрвол...

Share this post


Link to post
Share on other sites

2 часа назад, seagull сказал:

Писал же, чему там жрать в файрволе, если большинство пакетов дальше 1-2 правила не проходят по цепочке???

 

2 часа назад, seagull сказал:

Вообще кстати, best practice все же закрывать все, а открывать только нужное, а не наоборот.

Как в этом случае по цепочке проходят правила? В этом случае 100 процентов пакетов, проходящих через оборудования, проходят через файрвол.

 

Вот во вложении картинка, всего 9 правил:

 

0-2 выделено синим это защита от пропуска в сеть вирусных портов 445 и 1900. Блокируется входящий и исходящий трафик по ним.

3-5 блокировка ограничения доступа на микротик, разрешено только с админской подсети. С остальных адресов на него попасть нельзя (запустить пинг, зайти в винбокс).

6 правило блокировки возврата трафика, то есть нельзя отправлять в интернет трафик с IP назначения = IP своих белых подсетей.

7 блокировка доступа на веб прокси всем, кроме адресов абонентов.

8 блокировка доступа на микротик через ssh всех, кроме биллинга.

9 блокировка доступа в интернет абонентов, IP которых есть в адрес листе.

 

Все службы кроме винбокса и ссш отключены.

 

В пиках проходит до 5г трафика, CCR1036, никаких проблем не возникает.

fire-wall.png

Share this post


Link to post
Share on other sites

18 минут назад, Saab95 сказал:

Как в этом случае по цепочке проходят правила? В этом случае 100 процентов пакетов, проходящих через оборудования, проходят через файрвол.

Нет, не так.

Может конечно у микротика какой-то свой, особенный iptables, но по классике, правило accept является терминирующим, то есть после него пакет выходит из таблицы FILTER.

То есть, в моем случае, большинство пакетов проходят 1-2 правила, а вашем - 9.

А у вас conntrack работает?

Share this post


Link to post
Share on other sites

2 часа назад, seagull сказал:

НАТа и мангла нет - опять же писал.

Если НАТа нет, conntrack не нужен, его следует выключать.

В моем примере он включен, т.к. на этом устройстве NAT происходит.

 

17 минут назад, seagull сказал:

Может конечно у микротика какой-то свой, особенный iptables, но по классике, правило accept является терминирующим, то есть после него пакет выходит из таблицы FILTER.

Так и есть, только через это правило опять же проходит весь трафик.

Если перейти на схему разрешено все, что на запрещено, то 95 процентов трафика вообще не будут файрволом обрабатываться. Это сильно снижает нагрузку на оборудование.

 

Share this post


Link to post
Share on other sites

4 часа назад, seagull сказал:

Так по профайлинге жрет не пптп, а файрвол...

а вы уверены что профайлинг там нормально время считает, а не %SI из линукса, который там под капотом? :)

 

2 часа назад, Saab95 сказал:

Если перейти на схему разрешено все, что на запрещено, то 95 процентов трафика вообще не будут файрволом обрабатываться. Это сильно снижает нагрузку на оборудование.

бред же. пакет сначала проходит ВСЕ проверки на запреты, и только потом попадает в accept.

Share this post


Link to post
Share on other sites

3 часа назад, Saab95 сказал:

Если НАТа нет, conntrack не нужен, его следует выключать.

Да, можно отключить,  но тогда stateful функционал в файрволе не будет работать.

Что выгодней по ресурсам - вопрос...

 

55 минут назад, NiTr0 сказал:

а вы уверены что профайлинг там нормально время считает, а не %SI из линукса, который там под капотом? :)

Нет, не уверен - просто опираюсь на то, что есть...

Но если я правильно понимаю, userspace процессы как раз таки в SI не должны попадать.

SI - это же что-то вроде сетевых драйверов, и тд, процессов ядра в общем?

Share this post


Link to post
Share on other sites

21 минуту назад, seagull сказал:

Но если я правильно понимаю, userspace процессы как раз таки в SI не должны попадать. 

там же основной затык-то не в юзерспейсе как таковом, а в передаче из кернел спейса в юзерспейс и наоборот, с переключением контекста. именно тут и наступает боль для pptp, и именно оно и попадает в SI.

Share this post


Link to post
Share on other sites

В 18/02/2021 в 10:45, NiTr0 сказал:

это некротик, детка. там пптп нифига не ядерный, а юзерспейсный.

А L2TP ядерный или userspace? 

Share this post


Link to post
Share on other sites

4 часа назад, starik-i-more сказал:

А L2TP ядерный или userspace? 

вроде как ядерный должен быть, но я его особо не гонял.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.