Оптимальная конфигурация RouterOS для x86 тазика

[lousx]

On 4/9/2023 at 2:24 AM, Saab95 said:

Total Dropped не несет никакой смысловой нагрузки, не надо смотреть этот параметр.

 

Увеличивайте общий буфер на каждого абонента и общий на всех. Это где 5к написано буфер на абонента, строчка ниже можно и нолик добавить. Можно два.

 

Нат и шейпер не рекомендуется держать на одном роутере, лучше разносить на разные.

 

Может это правило вообще убрать? Оно только ресурсы жрет (что бы узнать попытки соединения). В настройках НАТ можно уменьшить таймеры активности сессий, поставьте там везде секунд по 30, по 20 и посмотрите на изменения.

В какой-то момент PCQ очередя стали выжирать всю ОЗУ.  Как бы не менял размер - меняется только скорость, с которой всё съедается...

[Saab95]

В 16.11.2023 в 19:35, lousx сказал:

В какой-то момент PCQ очередя стали выжирать всю ОЗУ.  Как бы не менял размер - меняется только скорость, с которой всё съедается...

Нужно добавить дополнительные столбики в шейперах и сортировать по ним, что бы найти тех, кто создает слишком много потоков.

 

В настройках нужно уменьшить полный объем буфера.

 

Такое бывает, когда какие-то абоненты рассылают флуд или что-то подобное на тысячи разных IP адресов, и для каждого создается свой поток в PCQ очередях. Он и занимает память.

 

Но памяти можно добавить, если установить более быструю и роутер станет работать быстрее.

[lousx]

23 hours ago, Saab95 said:

Нужно добавить дополнительные столбики в шейперах и сортировать по ним, что бы найти тех, кто создает слишком много потоков.

Есть вот такой клиент, оба адреса его, оба адреса белые.

 

23 hours ago, Saab95 said:

В настройках нужно уменьшить полный объем буфера.

Уменьшен на много меньше объема ОЗУ, всё равно съедает.

 

 

[HarDik]

Ребят, вообще на сегодняшний момент есть у кого сервак под х86 ROS которые 2500 пользователе PPPOE прожёвывает? Реально ли? трафика примерно до 10г ) страшно не много звучит 

[sdy_moscow]

@HarDik accel + ANAT + i7 12го поколения - 10Гб легко

[TheUser]

8 минут назад, sdy_moscow сказал:

10Гб легко

Для общего развития интересуюсь: с какими сетевыми картами и как сейчас обстоят дела с раскладыванием PPPoE по прерываниям?

[sdy_moscow]

раскладывает ядро, карты 10 / 40 intel. ядра 4.х - проблем нет

[nicodemus]

11 часов назад, HarDik сказал:

Ребят, вообще на сегодняшний момент есть у кого сервак под х86 ROS которые 2500 пользователе PPPOE прожёвывает? Реально ли? трафика примерно до 10г ) страшно не много звучит 

12гбит трафика, x520-da2 2шт, 5900x, новые амд наверное еще больше пережуют.

[Saab95]

12 часов назад, HarDik сказал:

Ребят, вообще на сегодняшний момент есть у кого сервак под х86 ROS которые 2500 пользователе PPPOE прожёвывает? Реально ли? трафика примерно до 10г ) страшно не много звучит 

А не страшно все 10Г запихивать на один сервер? Вдруг отключится и все без интернета останутся. Ведь сама суть PPPoE подразумевает наличие нескольких серверов, которые работают параллельно и распределяют нагрузку.

 

10 часов назад, sdy_moscow сказал:

accel + ANAT + i7 12го поколения - 10Гб легко

На микротике, если без шейпера, то и на i5 любого поколения, с быстрой двухканальной оперативкой, сетевухой 2х10Г можно транзитом почти 10Г получить.

 

58 минут назад, nicodemus сказал:

12гбит трафика, x520-da2 2шт, 5900x, новые амд наверное еще больше пережуют.

Слабый результат. Вообще для роутера и для PPPoE важна высокая частота ядер, а не их количество.

 

На картинке 24 ядра, частота 4454мгц - это лишь попугаи. Процессор не сможет полностью нагрузить все ядра, он просто перегреется, не хватит питания.

 

Тот же интел на 6-8 ядрах и частоте 3500 спокойно пропускает 10Г с шейпером. Нагрузка 50-60 процентов.

 

12 часов назад, HarDik сказал:

страшно не много звучит 

Мы, когда много лет назад, еще использовали PPPoE и переезжали в другую серверную, набрали разных б/у десктопных компьютеров, установили микротик и сетевушки (более, в некоторых даже интегрированные использовались). И этот старый хлам спокойно обрабатывал трафик клиентов, даже celeron-ы двухядерные поболее гига выдавали. Работало все несколько месяцев, пока кабельную инфраструктуру нормально не подтянули и красиво стойки с оборудованием не собрали.

 

Это я пишу к тому - что нагрузка на оборудование растет не линейно, до 1000 абонентов она маленькая, дальше нагрузка увеличивается все быстрее и быстрее, те же 2000 абонентов потребуют ресурсов раза в 4-6 больше. Поэтому лучше держать много слабых серверов, чем 1-2 мощных.

[sdy_moscow]

1 час назад, Saab95 сказал:

На микротике, если без шейпера, то и на i5 любого поколения, с быстрой двухканальной оперативкой, сетевухой 2х10Г можно транзитом почти 10Г получить.

 

1 час назад, Saab95 сказал:

А не страшно все 10Г запихивать на один сервер? Вдруг отключится и все без интернета останутся. Ведь сама суть PPPoE подразумевает наличие нескольких серверов, которые работают параллельно и распределяют нагрузку.

А на тазике i7-12700 можно с шейпингом и до 40Гб (пока хватает ширины PCI-E)... и кто мешает 2 сервера поставить?

 

1 час назад, Saab95 сказал:

Процессор не сможет полностью нагрузить все ядра, он просто перегреется, не хватит питания.

бредите... как обычно....

[HarDik]

Дак конечно можно и два и три, если что то произойдет то нагрузку хотя бы не долго должен один мог приварить, по этому думаю стоит зачитывать с запасом на ЧС.

Вот еще мысли какие, есть ли смысл допустим сервер  2 процессорами с одной сетевой на 2 или 4 порта? ведь шины разные, не будет ли проблем?

Вообще англ язычное  комьюнити микротика говорят NUMA - ЗЛО под ROS х86, кто что думает?

Вообще выбираю сейчас железо остановился на HP dl360 gen9 и выбираю CPU между Intel Xeon E5 2697A v4 или  Xeon E5 2687w, ну вот не решил 1 или 2 процессора, думаю что буду ставить один...

Кто на путь истинный поставит?  ) а то может дурь какую делаю ... (((

Edited March 31 by HarDik

[nicodemus]

10 часов назад, Saab95 сказал:

Слабый результат. Вообще для роутера и для PPPoE важна высокая частота ядер, а не их количество.

 

На картинке 24 ядра, частота 4454мгц - это лишь попугаи. Процессор не сможет полностью нагрузить все ядра, он просто перегреется, не хватит питания.

Покажи лучше. 

 

Для нас это нормально с firewall+nat+simple queue. И что за не хватит питания и проц полностью не нагружен, как определяешь? Зачем его вообще полностью нагружать, что бы дропы начались? Проходили такое на 1036 при нагрузке чуть больше 50%.

 

Человек интересовался потянет ли х86 ROS 2500 пользователей.

 

17 минут назад, HarDik сказал:

Вот еще мысли какие, есть ли смысл допустим сервер  2 процессорами с одной сетевой на 2 или 4 порта? ведь шины разные, не будет ли проблем?

 

Там в начале темы тесты были и вроде лучше не использовать два процессора, мы пробовали, но он захлебывался на низком трафике.

 

Резервировать тоже не проблема, но за столько лет проблем с ним не было. Конечно если делать на б/у то оно может и вылетать.

Edited March 31 by nicodemus

[HarDik]

Вообще говорят что топ конфиг на 1 сокетном AMD EPYC 74хх но пока только слухи )

[HarDik]

33 минуты назад, nicodemus сказал:

 

Там в начале темы тесты были и вроде лучше не использовать два процессора, мы пробовали, но он захлебывался на низком трафике.

 

Резервировать тоже не проблема, но за столько лет проблем с ним не было. Конечно если делать на б/у то оно может и вылетать.

Уже не много потерял суть темы, тоже за ней давно смотрю... Но да логично предположить что будут проблемы из за шины и прочее... 

 

В общем думаю об х1 проце Intel Xeon E5 2697A и 4 каналах DDR4 2400 и Mellanox ConnectX-4... Взять пару и смотреть уже по нагрузке... не знаю пока что дельная ли это мысль...

[sdy_moscow]

4 часа назад, HarDik сказал:

Вообще англ язычное  комьюнити микротика говорят NUMA - ЗЛО под ROS х86, кто что думает?

NUMA - ЗЛО при любой неизолированной обработке больших массивов данных. Для роутера - точно лишнее, ну или вы должны быть асом в настройке железа и ядра линуха. Для понимания, рассматривайте 2-х процессорные системы как 2 ПК соединенные быстрым каналом связи.

[Saab95]

22 часа назад, sdy_moscow сказал:

А на тазике i7-12700 можно с шейпингом и до 40Гб (пока хватает ширины PCI-E)... и кто мешает 2 сервера поставить?

Тогда лучше всего купить новое десктопное железо (материнку, процессор), нормальную сетевушку и собрать на этом.

 

13 часов назад, HarDik сказал:

Вообще выбираю сейчас железо остановился на HP dl360 gen9 и выбираю CPU между Intel Xeon E5 2697A v4 или  Xeon E5 2687w, ну вот не решил 1 или 2 процессора, думаю что буду ставить один...

Кто на путь истинный поставит?  ) а то может дурь какую делаю ... (((

А не покупать устаревшее барахло, которое потребляет электричество как обогреватель. С кучей медленных ядер.

 

13 часов назад, nicodemus сказал:

Покажи лучше. 

 

Проблема не в лучше - посмотрите тесты нагрузки таких процессоров, там все ядра не могут работать на 100% процессор перегревается и скидывает частоты.

 

13 часов назад, nicodemus сказал:

Для нас это нормально с firewall+nat+simple queue. И что за не хватит питания и проц полностью не нагружен, как определяешь? Зачем его вообще полностью нагружать, что бы дропы начались? Проходили такое на 1036 при нагрузке чуть больше 50%.

У нас используются 1036 и нагрузка порой 100%, никаких дропов нет.

 

Просто не нужно на одном устройстве делать НАТ и Шейпер, т.к. включение НАТ увеличивает нагрузку в 2-3 раза просто своим присутствием. На сквозном трафике 1036 НАТ + 1036 Шейпер пропускают 10Г, т.к. у них всего 2 порта 10Г. При этом нагрузка не 100%, можно, при желании, еще через гиговые порты что-то подкинуть по трафику.

 

13 часов назад, HarDik сказал:

В общем думаю об х1 проце Intel Xeon E5 2697A и 4 каналах DDR4 2400 и Mellanox ConnectX-4... Взять пару и смотреть уже по нагрузке... не знаю пока что дельная ли это мысль...

 

Дельные мысли идут так:

 

1. Найти серверную материнку с удаленным управлением, если оно надо.

1.1. Взять обычную материнку без удаленки, если удаленка не нужна.

 

2. Воткнуть в нее современный процессор с быстрой шиной, с максимальной частотой и минимальным количеством ядер.

 

3. Воткнуть максимально быструю оперативную память в многоканальном режиме.

 

Так получим современную систему на вырост, которая 5 и более лет сможет обеспечивать потребности в работе, естественно масштабировать.

 

Другие дельные мысли это использовать много медленных серверов, разделив задачи, 2 делают НАТ, 2 делают Шейпер, еще 2-4 собирают абонентов PPPoE. Тогда будет полностью отказоустойчивая система, какая она и должна быть.

 

Много бывает ситуаций, когда одна большая железка начинает работать не стабильно, или ее нужно перезагрузить для какой-то цели. Абоненты не смогут работать в моменты перезапуска или будет снижено качество услуги при неполадках. Если устройств много и одно работает не стабильно, страдает часть абонентов, можно его перезагрузить, вывести из работы, всех абонентов пустить через оставшиеся роутеры.

[TheUser]

10 часов назад, Saab95 сказал:

На сквозном трафике 1036 НАТ + 1036 Шейпер пропускают 10Г, т.к. у них всего 2 порта 10Г

А в конфигурации Router-on-stick пропустит 20 суммарного (вход+выход)?

[nicodemus]

А как вы сделаете Router-on-stick на двух ccr? Если делать всё на одном то не больше 3-4гбит/с, точно сказать не могу, уже не помню.

Edited April 1 by nicodemus

[Saab95]

1036 в режиме НАТ + Шейпер пропускает около 4-6Г трафика, в зависимости от размера пакета и т.п.

 

[sirmax]

2 часа назад, Saab95 сказал:

1036 в режиме НАТ + Шейпер пропускает около 4-6Г трафика, в зависимости от размера пакета и т.п.

 

Цены с eBay 

микрот  1036 - 400-500 (4-6 гиг)

Asr1001x - от 450 (20 гиг)

При таком соотношении цен, я думаю выбор очевиден и он не в пользу микрота.

 

да, это для микротика есть своя ниша, но пока это не его уровень.

 

 

[sdy_moscow]

@sirmax и микрот и аср имеют ограничения по функционалу и гибкости.... а сравнивать цены на б/у - можно, но зачем!

[sirmax]

2 часа назад, sdy_moscow сказал:

@sirmax и микрот и аср имеют ограничения по функционалу и гибкости.... а сравнивать цены на б/у - можно, но зачем!

Тут вы смешали 2 вопроса

1 - понятно что линукс + толковый админ даст фору по гибкости почти чему угодно (ну в разумных пределах - там с MPLS  вроде бы не все хорошо было но я подзабыл уже) НО вопрос в админе, который должен быть более-менее постоянно доступен, а лучше что бы он был еще и не один. 

С другой стороны микрот/циску при наличии бекапа конфига настроит и ребенок - залить конфиг, и вперед
И это пожалуй главный плюс. 

Ну и еще - не всегда нужна такая гибкость, к счастью время когда надо было давать тарифы "локалка на одной скорости, инет на другой, цена за мегабайт зависит от времени суток а обменка локальная бесплатно, тарификация посекундная" - прошли. Сейчас все предельно просто - "вот вам 10/100/1000мбит  на месяц, все" (ну по крайне мере так у нас)

2 - сранвнивают цену БУ что бы иметь какой-то уровень понимания,  если БУ  достатоно надежно то почему нет?

Лично мне нравится ASR тем что "поставил и забыл" кроме тех случаев когда нужно IOS обновить
 

[Saab95]

23 часа назад, sirmax сказал:

микрот  1036 - 400-500 (4-6 гиг)

Asr1001x - от 450 (20 гиг)

При таком соотношении цен, я думаю выбор очевиден и он не в пользу микрота.

Забыли потребление электричества и шум сравнить=)

 

Ранее в дата центрах, например на М9 той же - в стойках были и циски, и много чего подобного. Последнее время почти в каждой стойке уже имеется микротик, а порой и не один. Люди потихоньку их покупают и используют, т.к. в разы дешевле (новое оборудование).

[sirmax]

9 минут назад, Saab95 сказал:

Забыли потребление электричества и шум сравнить=)

 

Ранее в дата центрах, например на М9 той же - в стойках были и циски, и много чего подобного. Последнее время почти в каждой стойке уже имеется микротик, а порой и не один. Люди потихоньку их покупают и используют, т.к. в разы дешевле (новое оборудование).

Шум для дц стал аргументом????

как давно???

 

так то дайте фото м9, посмотрим что там стоит, я там не был никогда 

[fractal]

4 часа назад, Saab95 сказал:

например на М9

Часто там бываю, в основном cisco, элтекс, микрот по пальцам пересчитать