Перейти к содержимому
Калькуляторы

Результаты тестов Mikrotik (RouterOS) в виртуальных средах / X86 / CCR1072 / CCR1036

Ну у нас две сетевые, одна на вход, а другая на выход, обе x520-da2. На 6 росе все норм. Почти 10гбит спокойно переваривает. Вот когда пихали в одну сетевую x520-da2 в один порт вход, а в другой выход, тогда было плохо.

Изменено пользователем nicodemus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А XL710 кто-то проверил? То что на 40gig? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

Ну у нас две сетевые, одна на вход, а другая на выход, обе x520-da2. На 6 росе все норм. Почти 10гбит спокойно переваривает. Вот когда пихали в одну сетевую x520-da2 в один порт вход, а в другой выход, тогда было плохо.

А чем объясняете такое поведение? Не хватает пропускной способности PCI-e слота? Вряд ли...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

А XL710 кто-то проверил? То что на 40gig? 

Зачем оно вам? У микротика есть роутер в виде платы в комп, на ней уже есть 2 сетевых адаптера - микротик полностью поддерживает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 29.03.2023 в 09:25, starik-i-more сказал:

А чем объясняете такое поведение? Не хватает пропускной способности PCI-e слота? Вряд ли...

Не могу сказать.

Проверили еще раз с другими сетевыми и с multi-queue-ethernet-default и зафиксировали частоту. IRQ по одному, двум ядрам уходить в 100% и всё. Остальные практически в простое.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не пробовали разносить IRQ очередей вручную по разным ядрам?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пробовали, там как будто на одну очередь всё вешается и она умирает. Походу проблема именно в пппое сервере, так как в самом начале  на 7.1 или где то там пробовали, микрот уходил в циклическую перезагрузку. Если абоны не подключены, то сервер работает.
image.thumb.png.74a45c6050d5964082c07d56d68e7e76.png 

Изменено пользователем nicodemus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хмм...

А вы не изучали вопрос, по какому критерию X520-DA2 распределяет пакеты по очередям?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На ros 6 такой проблемы нет, а на 7 не охота на людях экспериментировать, там 10 минут простоя было, а криков на пару часов. Этот же комп попробуем проверить на 6 версии и посмотрим, мб проц чет выделывается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У вас АМД процессор, на интеле нет описываемых вами проблем с точно такой же сетевухой. PPPoE нормально работало с шейпером (по интерфейсам pppoe клиентов) выдавало порядка 5 гигов трафика в 7 версии при тестировании, но т.к. возникли проблемы с OSPF (роутер продолжал анонсировать от себя IP отключившихся клиентов), в работе не оставили. Нашли много микротиков CCR1036 с 10Г портами и все собрали на них, проблем никаких.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так у нас на 6 версии с 5900 тоже проблем никаких, 9гбит на 40% нагрузки. Просто в 7 частоты в динамике работали, сетевая встроенная в последних версиях тоже заработала, usb клава, мышь тоже едут. Новый тип очереди появился интересный, тоже хотели посмотреть. Вчера подкинул на древнюю машину на АМД ссд для переустановки, так там оказывается и health работает. Просто интересно разобраться почему всё скидывает в одну очередь и на одно ядро. Значит будем ждать новых версий.
image.thumb.png.0f3e1dfdd8655dadd839397125dd8e54.png

Изменено пользователем nicodemus

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Из всей длинной темы не смог понять, есть ли тут те, у кого mikrotik CHR тянет больше 4-5гбит? Никак не могу выжать на vmware с CHR 7.5-7.8 версии (другие не пробовал) более чем 4-5гбит на простом конфиге ротуинг+нат на паре интерфейсов. При превышении некоего порога начинаются дропы трафика на 0.5-1 секунду практически до нуля с последующим восстановлением до 4-5гбит, затем через 2-3 сек снова дроп и т.д. Использую 8 ядер для микрота, процессоры xeon и amd, на микроте ни одно ядро не упирается в 100%. Не пойму в чем дело. И да, тесты между двумя такими микротами при помощи встроенной измерилки скорости вполне показывают 10гбит, но при реальном трафике (десятки тысяч пользователей, tcp+udp) - проблема.

Изменено пользователем xeonz

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А виртуальный адаптер для машины какой выбран?  См. также Large packet loss in the guest OS using VMXNET3 in ESXi (2039495) (vmware.com)

VMXNET3 RX Ring Buffer Exhaustion and Packet Loss – vswitchzero

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

А виртуальный адаптер для машины какой выбран?

vmxnet3. Ссылки посмотрю, спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

Просто интересно разобраться почему всё скидывает в одну очередь и на одно ядро. Значит будем ждать новых версий.

А вы в биосе компьютера все просмотрели на предмет корректной настройки? Например разделы UEFI/Legasy, всякие там PNP?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Машины все одинаковые (тут только процессор 5950), биос настроен одинаково, версия биоса одна. Разве что только виртуализация выключена была на этой машине, на остальных не помню. Сегодня попробуем на ней 6 версию и посмотрим как будет работать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

Работает пару брасов на х86, но IPoE. V7 показала себя с лучшей стороны. Особенно их новый тип очередей FQ_Codel.

Что помимо новых очередей лучше?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

Зачем оно вам? У микротика есть роутер в виде платы в комп, на ней уже есть 2 сетевых адаптера - микротик полностью поддерживает.

Это ты про это?

https://mikrotik.com/product/ccr2004_1g_2xs_pcie

Так тут 2*25G. А xl710 это 2х40Г за те же 200 баксов.

Логичный вопрос - зачем платить столько же за почти в 2 раза меньшую скорость порта?

Изменено пользователем TriKS

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

Логичный вопрос - зачем платить столько же за почти в 2 раза меньшую скорость порта?

Нет проблем с поддержкой микротика.

Второй плюс можно сделать большой программный буфер порта средствами этой платы с микротиком и уже получать на вход самого сервера трафик без потерь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата

Нет проблем с поддержкой микротика.

Т.е. за умение админа работать только с РОС, собственнику нужно заплатить возможностью юзать более скоростные железки за те же деньги? :)

Цитата

Второй плюс можно сделать большой программный буфер порта средствами этой платы с микротиком и уже получать на вход самого сервера трафик без потерь.

Звучит как бред с будуна, учитывая проц АРМ, работу РОС в целом и невозможность срезать трафик по паттернам прям на сетевой, как у интелов :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 27.03.2023 в 18:00, morf сказал:

Работает пару брасов на х86, но IPoE. V7 показала себя с лучшей стороны. Особенно их новый тип очередей FQ_Codel.

Попробуйте IRQ везде auto поставить и включить RPS на сетевухах.

 

А вы делали замер по пингу с fq_codel? Какой то интересный график получается. Поставил ограничение на 100мбит, включил загрузку и замер делал через пингплоттер. На микрот потерь нет, после него есть и довольно сильные на промежуточных узлах, а вот на конечный хост уже нет.

image.thumb.png.c7e2374834f1872cbd13e9c586fe735c.png

 

С 5950х не срослось, он нормально не захотел работать в мамке где стоял 5900, возможно что то с ним или он просто не хочет с микротом работать, в винде с ним проблем под нагрузкой нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

fq_codel при нагрузке очень равномерно распределяет нагрузку по выделенной полосе с ограничем скорости. Если при PCQ/pfifo при наргрузке пинг возрастал и мог теряться, то с использованием fq_codel он стабильный.

То, что до конечного хоста потерь нет, а на промежуточных хопах есть потери, возможно, говорит о том, что input-трафик  для этих марщрутизаторов дропается из-за того, что обрабатывается CPU, а forward-трафик проходит без проблем.

Изменено пользователем morf

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Здравствуйте! Посоветуйте на чём сейчас можно собрать x86. Надо 11гига трафика, BGP, NAT, OSPF, bonding. Есть две карточки x520-da2.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А вид для 11гиг вам надо 40гиг карта, ну примерно XL710 к примеру. Мне самому тоже интересно такое конфигурация под микротик... 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.