[jffulcrum]

11 Gb/s = ~22 GHz надо, какой-нибудь 10-ядерник, один, не надо вам NUMA. Платформа любая последних лет 6-7 сойдет. По памяти все влезет в 32 Гб со свистом. 

[Timax]

19 часов назад, Qlobus сказал:

А вид для 11гиг вам надо 40гиг карта, ну примерно XL710 к примеру. Мне самому тоже интересно такое конфигурация под микротик... 

Так разве есть карты которые 40г на микроте работают?

 

19 часов назад, morf сказал:

10g в LACP. На кой 40G?

Так же интересно кто LACP поднимал на микротике X86, сильно CPU кушает? Проблемы есть с LACP?

 

16 часов назад, jffulcrum сказал:

11 Gb/s = ~22 GHz надо, какой-нибудь 10-ядерник, один, не надо вам NUMA. Платформа любая последних лет 6-7 сойдет. По памяти все влезет в 32 Гб со свистом. 

Это вы про routeros говорите? 10 ядер хватит на микротике?

[Qlobus]

Да есть, просто микротик сможет на х86 платформе пропустить 20+гиг in 20+гин out траффика...??? 

Изменено 17 июня, 2023 пользователем Qlobus

[Saab95]

Цитата

10g в LACP. На кой 40G?

При использовании таких скоростей разве не начинают задумываться, как уйти от L2 на транспорте и сделать резервирование? Можно же просто через один порт брать 10, через второй 10 посредством маршрутизации.

 

Цитата

Да есть, просто микротик сможет на х86 платформе пропустить 20+гиг in 20+гин out траффика...??? 

Сможет, конечно, даже просто на винде можно такие скорости утилизировать по сети, если записывать данные на ссд или рам диск.

 

Цитата

Это вы про routeros говорите? 10 ядер хватит на микротике?

Если выбираете процессор для роутера, то ядра должны быть максимально быстрыми, и их количество не должно влиять на быстродействие. Например 10 ядер по 4ггц будут лучше, чем 20 ядер по 3ггц.

Так же оперативная память должна быть максимально быстрой, и чипсет по линиям должен нормально поддерживать полную производительность каждого сетевого адаптера.

[AKim]

В 17.06.2023 в 21:43, Qlobus сказал:

Да есть, просто микротик сможет на х86 платформе пропустить 20+гиг in 20+гин out траффика...??? 

я экспериментировал на райзене 5600x и 20г lacp.

18 гбит только ната он прокачал, но качество после 14 Гбит упало. Выражалось, что больше каких-то показателей спидтест не мог прокачать. 

В проц оно не упёрлось.

Сетевая карта была двухпортовая. 

 

Возможно с разными картами по одному порту будет лучше. Или проц intel будет лучше.

 

 

 

[Saab95]

Цитата

18 гбит только ната он прокачал, но качество после 14 Гбит упало. Выражалось, что больше каких-то показателей спидтест не мог прокачать. 

В проц оно не упёрлось.

Так производительность порта pci-e второй версии x8 всего 32 Гбит? Скорее всего что-то по пропускной способности шины мешало нормальной работе, или на этих линиях шины что-то еще висело.

 

На процессорах интел не было никаких проблем при работе с сетевыми адаптерами, сетевушка 2 порта по 10Г спокойно транзитом абонентский трафик пропускала. Когда стало не хватать то 2 адаптера по 2х10 транзитом по тестам выдавали 20Г трафика (абонентский трафик нагружался тестом на исходящем и немного входящего трафика). Линии pci-e с используемых слотов шли напрямую в процессор.

[Timax]

А как работает qinq на микроте x86? видел что там какой то косяк с л2мту?

[morf]

Все отлично работает. Теги видит, в т.ч. и двойные. Хоть тройные.

[Saab95]

Проблема была что на некоторых сетевых картах размер МТУ не определяется автоматически и нужно его вручную указывать. А в целом никаких проблем с вланами нет, но мусор со всей сети на него не надо тащить - это снижает производительность и может нарушить стабильную работу, особенно когда на сети кольца возникают и мусорный трафик.

[Qlobus]

 Лично меня интересует не 2х10g, а  2 штуки 1х40g карта с микротик х86... BGP+Static Routing (ну OSPF на будущее)... 

[nicodemus]

8 часов назад, Qlobus сказал:

 Лично меня интересует не 2х10g, а  2 штуки 1х40g карта с микротик х86... BGP+Static Routing (ну OSPF на будущее)... 

 

Silicom PE340G2Qi71-QX4, еще не проверял но система увидела и линк пошел.

 

Изменено 22 июня, 2023 пользователем nicodemus

[Saab95]

Цитата

а  2 штуки 1х40g карта с микротик х86

Смотрите на линии PCI-E доступные на процессоре и как они разведены на материнской плате. А линии потребуются и для других устройств, например встроенная видеокарта, встроенные сетевые адаптеры, другие компоненты системы и т.п.

 

Далее контроллер памяти - хорошо бы 4-х канальный, вот такую систему и собирайте. Не из б/у же барахла собирать роутер на 80г. суммарного трафика.

[Qlobus]

14 часов назад, nicodemus сказал:

Silicom PE340G2Qi71-QX4, еще не проверял но система увидела и линк пошел.

А тест на какой траффик успел проверить?

 

2 часа назад, Saab95 сказал:

Смотрите на линии PCI-E доступные на процессоре и как они разведены на материнской плате. А линии потребуются и для других устройств, например встроенная видеокарта, встроенные сетевые адаптеры, другие компоненты системы и т.п.

Мне один товарищ сильно рекомендует CPU Offloads карты. Примеру от Mellanox. А так Я планирую траффик 16/18gig in 2/4gig out - суммарно 18/22gig траффика. 

Изменено 22 июня, 2023 пользователем Qlobus

[Qlobus]

2 часа назад, Saab95 сказал:

Не из б/у же барахла собирать роутер на 80г. суммарного трафика.

А может на юникс или что-то на другом линуксе сделать роутера... 

[sirmax]

2 часа назад, Qlobus сказал:

А тест на какой траффик успел проверить?

 

Мне один товарищ сильно рекомендует CPU Offloads карты. Примеру от Mellanox. А так Я планирую траффик 16/18gig in 2/4gig out - суммарно 18/22gig траффика. 

Ну расскажите как там с меланоксом 

Я это немного кушал и впечатление не оч, но пока думаю что это недостаточно моей квалификации 

 

[nicodemus]

9 часов назад, Saab95 сказал:

Смотрите на линии PCI-E доступные на процессоре и как они разведены на материнской плате. А линии потребуются и для других устройств, например встроенная видеокарта, встроенные сетевые адаптеры, другие компоненты системы и т.п.

 

Далее контроллер памяти - хорошо бы 4-х канальный, вот такую систему и собирайте. Не из б/у же барахла собирать роутер на 80г. суммарного трафика.

b550e gaming с 5900x (в данный момент работает на х520 сетевых, качает до 10гб и нагрузка около 30%, множитель зажат на 4.4ггц на 6 росе, на 7 еще будем проверять, но там показатели вроде лучше. Pppoe, nat, simple queue. Больше не качали так как в порт упирались, можно было бы разнести по двум портам на входе и выходе, но пока не требовалось.

1 x PCIe 3.0 x16 (x4 mode) * - через чипсет, можно подключить видюху, если она так нужна.
2 x PCIe 3.0 x1
2 x PCIe 4.0 x16 (x16 or dual x8) - с проца, как раз 2 сетевые (Silicom PE340G2Qi71-QX4 - х8)

и встройка есть на 2.5г, которая в 7 росе работает.

7 часов назад, Qlobus сказал:

А тест на какой траффик успел проверить?

 

Мне один товарищ сильно рекомендует CPU Offloads карты. Примеру от Mellanox. А так Я планирую траффик 16/18gig in 2/4gig out - суммарно 18/22gig траффика. 

Пока ничего не проверял, просто воткнул, времени не было. Еще интересно что он FEC подтянул с сетевой, жалко только что sfp вкладки для них нет, как и для х520.

[Qlobus]

15 часов назад, sirmax сказал:

Ну расскажите как там с меланоксом 

У вы нет. Потому что не использовал. Но мне очень сильно рекомендовали из-за RDMA и CPU Offloads... 

[jffulcrum]

Offload эффективен, только если у вас CPU действительно есть чему занять, потому как современные CPU все это обычно считают быстрее дохлых ядер в сетевухах (за исключением сетевух самых последних поколений).

 

Что касается RDMA, то Mellanox поддерживает только ROCE. Для ROCE очень желательная поддержка активным оборудованием протоколов, имеющих маркетинговое обозначение DCB, ничего такого коммутаторы и маршрутизаторы от MT пока не поддерживают. 

 

Что касается RDMA в RouterOS как клиента/сервера, то с этим пока тоже глушняк. Вроде пилится поддержка для пакета SMB сервера (rose-storage), но когда там рак на горе засвистит...

[Saab95]

Цитата

Мне один товарищ сильно рекомендует CPU Offloads карты. Примеру от Mellanox.

Для роутеров эти карты не особо подходят. Вот для разных там баз данных и прочих задач, но это не та цель использования.

 

Цитата

2 x PCIe 4.0 x16 (x16 or dual x8) - с проца, как раз 2 сетевые (Silicom PE340G2Qi71-QX4 - х8)

Разве сетевые PCIe 4.0 поддерживают?

 

 

[nicodemus]

В 24.06.2023 в 00:56, Saab95 сказал:

Разве сетевые PCIe 4.0 поддерживают?

Я написал какие слоты есть в мамке. Будут они работать в режиме PCIe 3.0 х8 для двух сетевых карт. x520 вообще PCIe 2.0, но им это никак не мешает работать в этих слотах.

[Qlobus]

В 23.06.2023 в 08:59, nicodemus сказал:

качает до 10гб и нагрузка около 30%, множитель зажат на 4.4ггц на 6 росе, на 7 еще будем проверять, но там показатели вроде лучше. Pppoe, nat, simple queue. Больше не качали так как в порт упирались, можно было бы разнести по двум портам на входе и выходе, но пока не требовалось.

А можно посмотреть? 

[nicodemus]

20 часов назад, Qlobus сказал:

А можно посмотреть? 

На то что написал, нет. Почему сам думал что такие цифры, сегодня глянул и немного всё печальнее.

 

Это было в ноябре, но с того времени вроде конфиг немного поменяли.

 

На днях проверю рос 7 и 40г карту, правда нужно будет придумать как еще 10г нагрузить, можно iperf, но это всё таки не живой трафик.

 

[fractal]

7 часов назад, nicodemus сказал:

На то что написал, нет. Почему сам думал что такие цифры, сегодня глянул и немного всё печальнее.

 

Это было в ноябре, но с того времени вроде конфиг немного поменяли.

 

На днях проверю рос 7 и 40г карту, правда нужно будет придумать как еще 10г нагрузить, можно iperf, но это всё таки не живой трафик.

 

T-Rex попробуйте, у него есть профили imix

[sirmax]

18 часов назад, fractal сказал:

T-Rex попробуйте, у него есть профили imix

Можно virsh dumpxml для вм ? 
 

[fractal]

21 час назад, sirmax сказал:

Можно virsh dumpxml для вм ? 
 

У отдела по внедрению, не дают свои проекты, я в эксплуатации им только перед внедрением на тесты железо даю