[Be_HaPPY]

В заначке нашлось несколько четырехпортовых сетевушек INTEL PRO/1000 MT и двухпроцессорный IBM x345. Решили сделать маршрутизатор.

Поставили на него RouterOS и одну плату (intel pro/1000 mt) воткнули в Zyxel 4012F, объединив при этом интерфейсы парами (Bounding). Завели несколько сетей и попробовали гонять между ними трафик:

На этом принтскрине роутер натит в сторону сервера, с которого тянется по ftp файло и запущен iperf. Уже при такой маленькой нагрузке CPU Load достигает немыслимых высот.

Почему так происходит? Обычный дебиан на том же железе и такой же нагрузке грузит проц на единицы процентов.

[Antares]

У меня даже при меньшей нагрузке уходил в ребут...так и не смог победить. Пробовал разные версии, без толку

[BETEPAH]

Менять сетевухи на многоочередные. Например 82574

[Saab95]

И версию ПО на самую последнюю из 5-й ветки, либо искать подходящую из 6-й, но там можно на глюки нарваться, зато производительность выше.

[NiTr0]

Менять сетевухи на многоочередные. Например 82574

82574 - толку у нее с отдельной тх очереди?

[xxxupg]

tools\profile\total покажите

[biox]

у нас на 2-х юнитовом борту 2 6 ядерных XEONa, сетевуха Intel с распараллеливанием потоков, Router OS 5.1.

Сие жуёт сейчас до 700 мегабит в секунду при 75000 pps, при суммарной загрузке проца около 25%.

 

NiTr0 толк появляется когда TX не одним потоком, а 3-мя параллельными одновременно, и каждый их потоков обрабатывается СВОИМ отдельным (ну или на пару ещё с чем) ядром проца.

И само по себе оно не заработает, это треба настраивать в system/resources/irq

Edited February 16, 2013 by biox

[BETEPAH]

Менять сетевухи на многоочередные. Например 82574

82574 - толку у нее с отдельной тх очереди?

4 ядерник xeon и 3 сетевухи на 82574:

Edited February 16, 2013 by BETEPAH

[NiTr0]

у нас на 2-х юнитовом борту 2 6 ядерных XEONa, сетевуха Intel с распараллеливанием потоков, Router OS 5.1.

Сие жуёт сейчас до 700 мегабит в секунду при 75000 pps, при суммарной загрузке проца около 25%.

Что там крутится?

Голый роутинг + немного ната + несложный файрвол - 70-80кппс пережевывал спокойно древний 2-головый атлон на forcedeth, причем - затыкался по прерываниям (нет на forcedeth нормальной модерации прерываний).

 

NiTr0 толк появляется когда TX не одним потоком, а 3-мя параллельными одновременно, и каждый их потоков обрабатывается СВОИМ отдельным (ну или на пару ещё с чем) ядром проца.

Я что-то пропустил, и i82574 отрастили несколько потоков уже? Вроде как только отделили RX/TX с неведомой целью друг от друга...

 

4 ядерник xeon и 3 сетевухи на 82574:

И? Что на него навешано? Если голый роутинг - дофига однако нагрузка.

[BETEPAH]

NiTr0

NAT + 2 FullView BGP

 

Упорство отрицания возведённое в абсолют.

[martini]

2 BETEPAH - к сожалению это почти полная загрузка ЦПУ у тебя ) у микрика болезнь с многоядерками, он считает заргузку ЦПУ не правильно, 35-50% загрузки у тебя будет равняться 100% загрузки, а учитывая что почти ничего у микрика не паралелится - вообще печалька.

А при 2 FullView BGP - меня добивает поиск какого то маршрута на роутере )) - делаешь запрос и гадаешь : зависнет или нет )))

[Be_HaPPY]

Дальнейшие эксперименты и гугление показали, что данная проблема не лечится. Покупать новый сервер с хорошими сетевухами ради RouterOS в своем случае считаю глупыми тратами, т.к. на этом же железе обычный debian справится с функциями маршрутизация+фаервол значительно лучше без избыточной нагрузки на железо.

RouterOS ставили ради удобно настраиваемого шейпера (приходится в реальном времени менять скорость до разных ip-адресов), поэтому сейчас просто заказали CCR1036-12G-4S, который включим между маршрутизатором и провайдерами в качестве шейпера. Не справится или сгорит - просто выкинем из цепочки и продолжим работу.

 

Я снова приведу свой пример - 2х4 CPU Xeon 5420, тоесть 8 ядер + 2х2 сетевые 82576 , + нат + шейпинг + 3000 юзеров - итог :

на микротике любой версии поток 1-1.5 гига, загрузка одного ядра 100 процентов, загрузка остальных ядер прерываниями - 50-60%, у клиентов дропы, шейпинг не справляется, жопа полная.

на линуксе с тем же железом - поток 2-2.5 гигабита, загрузка всех ядер вечерами 35-50% , дропов нет, шейпы работают идеально, все счастливы.

http://local.com.ua/forum/topic/37129-hp-dl380g4-mikrotik-100-cpu/

[BETEPAH]

2 BETEPAH - к сожалению это почти полная загрузка ЦПУ у тебя ) у микрика болезнь с многоядерками, он считает заргузку ЦПУ не правильно, 35-50% загрузки у тебя будет равняться 100% загрузки, а учитывая что почти ничего у микрика не паралелится - вообще печалька.

А при 2 FullView BGP - меня добивает поиск какого то маршрута на роутере )) - делаешь запрос и гадаешь : зависнет или нет )))

Насчёт 82574 я конечно погорячился, но обновив сервер другими сетевухами и включив HT, я не вижу особых перекосов по прерываниям и загрузке цп:

[NiTr0]

NiTr0

NAT + 2 FullView BGP

Сколько сессий натится? Сколько пакетов в секунду в каждую из сторон ходит?

 

RouterOS ставили ради удобно настраиваемого шейпера (приходится в реальном времени менять скорость до разных ip-адресов)

Ну собссно раз написать или взять готовый скрипт для генерации htb дерева с хеш-фильтрами и модификации классов (типа того, что в LEAF я прикрутил в первую очередь для себя), и будет счастье... Хотя - можете конечно стать бета-тестером CCR :)

[martini]

2.6 гига сумарно и есть дропы + загрузка,

у меня сейчас на линуксе 15 гиг суммарно + 7000 правил шейпера + НАТ + Bgp FW и загрузка 30%. И я могу написать любой скрипт и изменить любые параметры и поставить любой пакет ))

[BETEPAH]

Речь не о том. Вы утверждали, что тик не умеет параллелить нагрузку. Я показал, что умеет. А дропы - так они правилами файрволла генерятся.

[sherwood]

к сожалению это почти полная загрузка ЦПУ у тебя ) у микрика болезнь с многоядерками, он считает заргузку ЦПУ не правильно, 35-50% загрузки у тебя будет равняться 100% загрузки, а учитывая что почти ничего у микрика не паралелится - вообще печалька.

из чего следую такие выводы? если вы смотрите общую загрузку то да она показывает совсем не то что надо на многоядерных системах,а вот если заглянуть в system-resoursec-cpu то там прекрасно все видно, а именно если чипсет не поддерживает распределение нагрузки по ядрам то общая нагрузка будет например 25-30% а на одно ядро из 4 70-80 как например в случае с атомом 525, если чипсет поддерживает распределение нагрузки по ядрам то в IRQ это делается и все работает как надо.

[NiTr0]

Вы утверждали, что тик не умеет параллелить нагрузку. Я показал, что умеет.

Так параллелится новыми сетевухами, или же МТ самим?

Линь параллелить нагрузку на уровне ядра научился еще года 2 назад к слову...

[BETEPAH]

Это уже троллинг начинается. Почитайте название топика.

[martini]

BETEPAH - я вкурсе что они обновили ядро на 6х ветке и там вроде как паралет уже нагрузку, но ставить бету на трафик больше гига - самоубийство )

Дропы от фаервола ??? ухты ) это с какого переругу фаервол сьал влиять на дропы ? )) Ты Нормиса больше слущай, им нужно сейчас больше ЦЦР продать и навешать лапши клиентам, чтобы те ждали пока они что то исправят.

[BETEPAH]

Дропы от фаервола ??? ухты ) это с какого переругу фаервол сьал влиять на дропы ? )) Ты Нормиса больше слущай, им нужно сейчас больше ЦЦР продать и навешать лапши клиентам, чтобы те ждали пока они что то исправят.

Это я ступил, пьяный писал :) С дропами разберусь попозжее, проц жду.

[NiTr0]

Это уже троллинг начинается. Почитайте название топика.

Нет. Вы заявляли, что МТ параллелит нагрузку норм независимо от сетевух даже на 82574. Далее -

но обновив сервер другими сетевухами и включив HT, я не вижу особых перекосов по прерываниям

Вот и возник вопрос: кто же нагрузку-то параллелит по ядрам - МТ или сетевухи очередями RX прерываний?

[BETEPAH]

Не передёргивайте мои слова:

Менять сетевухи на многоочередные. Например 82574

А позже я сказал, что погорячился, лет пять назад бордер собирал, уже подзабыл на сколько очередные сетевухи в нём стоят, я был уверен, что у них по две очереди на rx и tx. Оказалось, что по одной. Но несмотря на это, тик уже параллелил нагрузку.

Вот счас как раз поставил 82576, параллелность стала ещё параллельнее.

Edited February 26, 2013 by BETEPAH

[BETEPAH]

Вот вы покажите мне параллелность нагрузки на лине, на сетевухах, у которых вообще очередей нету, хотя бы таких как на 82574. Тогда я сразу выброшу тик и соберу бордер на реалтек 8139 и центосе.

[Ivan_83]

Фря параллелит через ISR (софтварная фича в ядре).