Перейти к содержимому
Калькуляторы

Новые сетевые от Intel на чипсете XL710 Это просто революция! :)

Это хорошо, вопрос кто из форумчан использует ее

Пользуем пол года, 3шт X710, 5шт XL710. С наговскими модулями SNR-SFP+SR и элтексом MES5324 все работает нормально.
Изменено пользователем k0ste

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А аппаратный обработчик MPLS-пакетов есть?

Изменено пользователем ne-vlezay80

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пользуем пол года, 3шт X710, 5шт XL710. С наговскими модулями SNR-SFP+SR и элтексом MES5324 все работает нормально.

А вы для этого правили NVRAM на ваших XL710?

Как здесь писали выше, у нас так же карточка отказалась принимать сторонние Opticin SFP-Plus-SR.LC.03, думаем покупать совместимые трансиверы от Intel Совместимые модули SFP+

Изменено пользователем spamm

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Интел уже стал ботами продвигать свои продукты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А вы для этого правили NVRAM на ваших XL710?

Как здесь писали выше, у нас так же карточка отказалась принимать сторонние Opticin SFP-Plus-SR.LC.03, думаем покупать совместимые трансиверы от Intel

Анлокнули конечно.

Богато живете, если так думаете.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А кто-нибудь пробовал тестить задержки на этих картах? У 520 я смог добиться RTT 20мкс, интересно, эти карты способны выдать меньше?

Изменено пользователем edo

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А кто-нибудь пробовал тестить задержки на этих картах? У 520 я смог добиться RTT 20мкс, интересно, эти карты способны выдать меньше?

Если есть методика тестирования, то узнать не составляет проблем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Методика простая.

 

0. Найти два компьютера с этими сетевушками и (желательно) не очень тормозными процессорами;

 

1. Зафиксировать частоту на максимуме, я использую

pstate-frequency -S -p max

(утилитка гуглится на гитхабе, компиляции не требует)

 

2. Поставить netperf на оба компьютера

 

3. Запустить на одном

netperf -t omni -H IP2 -l 30 -- -d rr -r 1400 -O "THROUGHPUT,MEAN_LATENCY,P90_LATENCY,P99_LATENCY"

(вместо IP2 адрес второго компьютера)

 

3a. Если терпение не иссякло, сделать на обоих компьютерах

ethtool -C eth0 rx-usecs 0

(вместо eth0 имя интерфейса)

и повторить

 

4. Отписаться о конфигурации (процессор, интерфейс сетевой, …) и результатах здесь.

Изменено пользователем edo

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2. Поставить netperf3 на оба компьютера

Это и есть netperf3 или '3' это что-то другое?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

упс, меня заглючило, нужна версия netperf от 2.5 (как я полнял, в 2.5 появился omni)

 

версия из гитхаба подойдёт, конечно, но и так есть сборки подо все популярные дистрибутивы

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

версия из гитхаба подойдёт, конечно, но и так есть сборки подо все популярные дистрибутивы

Для EL7 нифига нету. Собрал, возможно не со всеми нужными опциями, но на ваши не ругнулся.

Я так понимаю, еще влияет чем занята карта. Не занятых конечно же нет, попробуем на максимально свободных машинах.

 

Результат CentOS7 3.10.0-514.16.1.el7.x86_64 (vlan@bond(Intel X710) -> Eltex MES5324 (4.0.5) <- vlan@bond(Intel X710)):

[k0ste@ceph-mon1 ~]$ netperf -t omni -H 192.168.100.4 -l 30 -- -d rr -r 1400 -O "THROUGHPUT,MEAN_LATENCY,P90_LATENCY,P99_LATENCY"
OMNI Send|Recv TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.100.4 () port 0 AF_INET
Throughput Mean         90th         99th         
          Latency      Percentile   Percentile   
          Microseconds Latency      Latency      
                       Microseconds Microseconds 
39595.57   25.20        28           29           

 

Железо: DELL PowerEdge R330, Xeon 1220v5, 16Gb@2133 Samsung DDR4 ECC. Все cstate, aspm, iommu отключены, governor в performance. В iperf выжимает 40G (или 1,1mpps) на PCI-E 3.0 x4. Собственно без тюннинга там максимум 30G было.

 

[k0ste@ceph-mon1 ~]$ sudo cpupower frequency-info                                                                                                     
analyzing CPU 0:
 driver: intel_pstate
 CPUs which run at the same hardware frequency: 0
 CPUs which need to have their frequency coordinated by software: 0
 maximum transition latency:  Cannot determine or is not supported.
 hardware limits: 800 MHz - 3.80 GHz
 available cpufreq governors: performance powersave
 current policy: frequency should be within 800 MHz and 3.80 GHz.
                 The governor "performance" may decide which speed to use
                 within this range.
 current CPU frequency: 3.40 GHz (asserted by call to hardware)
 boost state support:
   Supported: no
   Active: no

[k0ste@ceph-mon1 ~]$ ethtool -g ten0
Ring parameters for ten0:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

[k0ste@ceph-mon1 ~]$ ethtool -c ten0                                                                                                         
Coalesce parameters for ten0:
Adaptive RX: off  TX: off
stats-block-usecs: 0
sample-interval: 0
pkt-rate-low: 0
pkt-rate-high: 0

rx-usecs: 0
rx-frames: 0
rx-usecs-irq: 0
rx-frames-irq: 256

tx-usecs: 0
tx-frames: 0
tx-usecs-irq: 0
tx-frames-irq: 256

rx-usecs-low: 0
rx-frame-low: 0
tx-usecs-low: 0
tx-frame-low: 0

rx-usecs-high: 0
rx-frame-high: 0
tx-usecs-high: 0
tx-frame-high: 0

[k0ste@ceph-mon1 ~]$ ethtool -l ten0                                                                                                         
Channel parameters for ten0:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       64
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       4

[k0ste@ceph-mon1 ~]$ ethtool -x ten0                                                                                                         
RX flow hash indirection table for ten0 with 4 RX ring(s):
   0:      0     1     2     3     0     1     2     3
   8:      0     1     2     3     0     1     2     3
  16:      0     1     2     3     0     1     2     3
  24:      0     1     2     3     0     1     2     3
  32:      0     1     2     3     0     1     2     3
  40:      0     1     2     3     0     1     2     3
  48:      0     1     2     3     0     1     2     3
  56:      0     1     2     3     0     1     2     3
  64:      0     1     2     3     0     1     2     3
  72:      0     1     2     3     0     1     2     3
  80:      0     1     2     3     0     1     2     3
  88:      0     1     2     3     0     1     2     3
  96:      0     1     2     3     0     1     2     3
 104:      0     1     2     3     0     1     2     3
 112:      0     1     2     3     0     1     2     3
 120:      0     1     2     3     0     1     2     3
 128:      0     1     2     3     0     1     2     3
 136:      0     1     2     3     0     1     2     3
 144:      0     1     2     3     0     1     2     3
 152:      0     1     2     3     0     1     2     3
 160:      0     1     2     3     0     1     2     3
 168:      0     1     2     3     0     1     2     3
 176:      0     1     2     3     0     1     2     3
 184:      0     1     2     3     0     1     2     3
 192:      0     1     2     3     0     1     2     3
 200:      0     1     2     3     0     1     2     3
 208:      0     1     2     3     0     1     2     3
 216:      0     1     2     3     0     1     2     3
 224:      0     1     2     3     0     1     2     3
 232:      0     1     2     3     0     1     2     3
 240:      0     1     2     3     0     1     2     3
 248:      0     1     2     3     0     1     2     3
 256:      0     1     2     3     0     1     2     3
 264:      0     1     2     3     0     1     2     3
 272:      0     1     2     3     0     1     2     3
 280:      0     1     2     3     0     1     2     3
 288:      0     1     2     3     0     1     2     3
 296:      0     1     2     3     0     1     2     3
 304:      0     1     2     3     0     1     2     3
 312:      0     1     2     3     0     1     2     3
 320:      0     1     2     3     0     1     2     3
 328:      0     1     2     3     0     1     2     3
 336:      0     1     2     3     0     1     2     3
 344:      0     1     2     3     0     1     2     3
 352:      0     1     2     3     0     1     2     3
 360:      0     1     2     3     0     1     2     3
 368:      0     1     2     3     0     1     2     3
 376:      0     1     2     3     0     1     2     3
 384:      0     1     2     3     0     1     2     3
 392:      0     1     2     3     0     1     2     3
 400:      0     1     2     3     0     1     2     3
 408:      0     1     2     3     0     1     2     3
 416:      0     1     2     3     0     1     2     3
 424:      0     1     2     3     0     1     2     3
 432:      0     1     2     3     0     1     2     3
 440:      0     1     2     3     0     1     2     3
 448:      0     1     2     3     0     1     2     3
 456:      0     1     2     3     0     1     2     3
 464:      0     1     2     3     0     1     2     3
 472:      0     1     2     3     0     1     2     3
 480:      0     1     2     3     0     1     2     3
 488:      0     1     2     3     0     1     2     3
 496:      0     1     2     3     0     1     2     3
 504:      0     1     2     3     0     1     2     3
RSS hash key:
be:76:39:59:3c:00:75:9c:4b:ac:c6:83:c8:73:d5:6c:21:ce:73:6a:6e:5b:54:04:4a:30:77:e1:5e:00:b0:48:5e:21:03:f9:f5:73:27:8c:c7:b5:08:5b:db:4a:6f:be:b3:6b:a6:50

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну в общем результат на уровне 520, только равномерность радует.

 

вот для сравнения что я получил на mellanox 50G

root@debian:~# netperf -t omni -H 192.168.100.2 -l 30 -- -d rr -r 1400 -O "THROUGHPUT,MEAN_LATENCY,P90_LATENCY,P99_LATENCY"
OMNI Send|Recv TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.100.2 () port 0 AF_INET : demo
Throughput Mean         90th         99th         
          Latency      Percentile   Percentile   
          Microseconds Latency      Latency      
                       Microseconds Microseconds 
80782.10   12.31        17           34           

в два раза больше пакетов успевает проскочить в секунду. и дело не в 10G vs 50G, используется меньше гигабита (тест на latency, а не на пропускную способность).

 

P.S. для провайдерских применений оно роли не играет - что 10 микросекунд, что 30, всё одно, пользователи и миллисекунду не заметят ;)

Изменено пользователем edo

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У меня перед этим был IB 20G медный.

Жаль что уже разобран, интересно было бы посмотреть на результат.

Так же интересно X710 сравнить на 40G, т.к. чип-то один и тот же.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

интересно было бы посмотреть на результат.

очень интересно, нигде не нашёл нормальных тестов IPoIB

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

0. Найти два компьютера с этими сетевушками и (желательно) не очень тормозными процессорами;

Фейл.

Как минимум ты не подумал обо всяких экономайзерах сбрасывающих частоту и усыпляющих PCI шины.

Ещё есть всякие отложенные прерывания и прочая в самих сетевухах.

Ещё пакет в ядре может ходить немного разными путями.

И тп.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как минимум ты не подумал обо всяких экономайзерах сбрасывающих частоту и усыпляющих PCI шины.

подумал. половину побеждает pstate-frequency, остальное надо в bios отключать. человек же написал, что отключил.

 

Ещё есть всякие отложенные прерывания и прочая в самих сетевухах.

так я же писал про

ethtool -C eth0 rx-usecs 0

это вроде как самая большая крутилка.

 

 

Ещё пакет в ядре может ходить немного разными путями.

что именно имеется в виду?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Фейл.

Блин, ну конечно фейл. Собственно мне и edo понятно, что значения получились среднепотолочные, т.к. лабораторные условия создать все равно невозможно (нет свободного железа).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день!

Кто нибудь делал анлок на новых прошивка (6.0.1)?

Пользовался этим анлокером, но все равно пишет unsupported sfp.

# ethtool -i enp6s0f0
driver: i40e
version: 2.4.10
firmware-version: 6.01 0x80003493 0.0.0

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите сколько прерываний на этой карточке

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите плиз.

 

Приехала эа чудная карта x710-da2

По аналогии с x520 сделал

options i40e RSS=16,16 LRO=0,0 allow_unsupported_sfp=1,1

 

Драйвер i40e-2.7.12 стянутый с Intel

 

в dmesg пишет

[  747.825063] i40e: unknown parameter 'RSS' ignored
[  747.825064] i40e: unknown parameter 'LRO' ignored
[  747.825066] i40e: unknown parameter 'allow_unsupported_sfp' ignored

 

как в ней количество очередей настроить?

Изменено пользователем Стич

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В ‎16‎.‎10‎.‎2018 в 15:17, FATHER_FBI сказал:

Подскажите сколько прерываний на этой карточке

 Под виндой 16 прерываний, но за счет MSI-X фактически может быть до 64 (реальная конфигурация зависит, похоже, от числа ядер).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Только как в linux'е колличество прерываний поменять?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 минуты назад, Стич сказал:

Только как в linux'е колличество прерываний поменять?

разве так не работает?

Цитата

Changing the number of Rx or Tx queues with ethtool -L while traffic is flowing
and the interface is up may cause a kernel panic. Bring the interface down first
to avoid the issue. For example:
  ip link set ethx down
  ethtool -L ethx combined 4

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

24 минуты назад, jffulcrum сказал:

 Под виндой 16 прерываний, но за счет MSI-X фактически может быть до 64 (реальная конфигурация зависит, похоже, от числа ядер).

Это из личной практики? Если да, сколько ядер в винде было когда Вы смотрели?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

34 минуты назад, Mystray сказал:

ethtool -L ethx combined 4

Спасибо. Просто в x520 параметром к драйверу менялось.

 

Подскажите, а как LRO отключить?

А то

ethtool -K eth3 lro off
Cannot change large-receive-offload

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.