k0ste Опубликовано 24 апреля, 2017 (изменено) · Жалоба Это хорошо, вопрос кто из форумчан использует ее Пользуем пол года, 3шт X710, 5шт XL710. С наговскими модулями SNR-SFP+SR и элтексом MES5324 все работает нормально. Изменено 25 апреля, 2017 пользователем k0ste Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 27 апреля, 2017 (изменено) · Жалоба А аппаратный обработчик MPLS-пакетов есть? Изменено 27 апреля, 2017 пользователем ne-vlezay80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
spamm Опубликовано 19 июня, 2017 (изменено) · Жалоба Пользуем пол года, 3шт X710, 5шт XL710. С наговскими модулями SNR-SFP+SR и элтексом MES5324 все работает нормально. А вы для этого правили NVRAM на ваших XL710? Как здесь писали выше, у нас так же карточка отказалась принимать сторонние Opticin SFP-Plus-SR.LC.03, думаем покупать совместимые трансиверы от Intel Совместимые модули SFP+ Изменено 19 июня, 2017 пользователем spamm Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 19 июня, 2017 · Жалоба Интел уже стал ботами продвигать свои продукты? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
k0ste Опубликовано 19 июня, 2017 · Жалоба А вы для этого правили NVRAM на ваших XL710? Как здесь писали выше, у нас так же карточка отказалась принимать сторонние Opticin SFP-Plus-SR.LC.03, думаем покупать совместимые трансиверы от Intel Анлокнули конечно. Богато живете, если так думаете. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 19 июня, 2017 (изменено) · Жалоба А кто-нибудь пробовал тестить задержки на этих картах? У 520 я смог добиться RTT 20мкс, интересно, эти карты способны выдать меньше? Изменено 19 июня, 2017 пользователем edo Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
k0ste Опубликовано 20 июня, 2017 · Жалоба А кто-нибудь пробовал тестить задержки на этих картах? У 520 я смог добиться RTT 20мкс, интересно, эти карты способны выдать меньше? Если есть методика тестирования, то узнать не составляет проблем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 20 июня, 2017 (изменено) · Жалоба Методика простая. 0. Найти два компьютера с этими сетевушками и (желательно) не очень тормозными процессорами; 1. Зафиксировать частоту на максимуме, я использую pstate-frequency -S -p max (утилитка гуглится на гитхабе, компиляции не требует) 2. Поставить netperf на оба компьютера 3. Запустить на одном netperf -t omni -H IP2 -l 30 -- -d rr -r 1400 -O "THROUGHPUT,MEAN_LATENCY,P90_LATENCY,P99_LATENCY" (вместо IP2 адрес второго компьютера) 3a. Если терпение не иссякло, сделать на обоих компьютерах ethtool -C eth0 rx-usecs 0 (вместо eth0 имя интерфейса) и повторить 4. Отписаться о конфигурации (процессор, интерфейс сетевой, …) и результатах здесь. Изменено 20 июня, 2017 пользователем edo Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
k0ste Опубликовано 20 июня, 2017 · Жалоба 2. Поставить netperf3 на оба компьютера Это и есть netperf3 или '3' это что-то другое? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 20 июня, 2017 · Жалоба упс, меня заглючило, нужна версия netperf от 2.5 (как я полнял, в 2.5 появился omni) версия из гитхаба подойдёт, конечно, но и так есть сборки подо все популярные дистрибутивы Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
k0ste Опубликовано 20 июня, 2017 · Жалоба версия из гитхаба подойдёт, конечно, но и так есть сборки подо все популярные дистрибутивы Для EL7 нифига нету. Собрал, возможно не со всеми нужными опциями, но на ваши не ругнулся. Я так понимаю, еще влияет чем занята карта. Не занятых конечно же нет, попробуем на максимально свободных машинах. Результат CentOS7 3.10.0-514.16.1.el7.x86_64 (vlan@bond(Intel X710) -> Eltex MES5324 (4.0.5) <- vlan@bond(Intel X710)): [k0ste@ceph-mon1 ~]$ netperf -t omni -H 192.168.100.4 -l 30 -- -d rr -r 1400 -O "THROUGHPUT,MEAN_LATENCY,P90_LATENCY,P99_LATENCY" OMNI Send|Recv TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.100.4 () port 0 AF_INET Throughput Mean 90th 99th Latency Percentile Percentile Microseconds Latency Latency Microseconds Microseconds 39595.57 25.20 28 29 Железо: DELL PowerEdge R330, Xeon 1220v5, 16Gb@2133 Samsung DDR4 ECC. Все cstate, aspm, iommu отключены, governor в performance. В iperf выжимает 40G (или 1,1mpps) на PCI-E 3.0 x4. Собственно без тюннинга там максимум 30G было. [k0ste@ceph-mon1 ~]$ sudo cpupower frequency-info analyzing CPU 0: driver: intel_pstate CPUs which run at the same hardware frequency: 0 CPUs which need to have their frequency coordinated by software: 0 maximum transition latency: Cannot determine or is not supported. hardware limits: 800 MHz - 3.80 GHz available cpufreq governors: performance powersave current policy: frequency should be within 800 MHz and 3.80 GHz. The governor "performance" may decide which speed to use within this range. current CPU frequency: 3.40 GHz (asserted by call to hardware) boost state support: Supported: no Active: no [k0ste@ceph-mon1 ~]$ ethtool -g ten0 Ring parameters for ten0: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 [k0ste@ceph-mon1 ~]$ ethtool -c ten0 Coalesce parameters for ten0: Adaptive RX: off TX: off stats-block-usecs: 0 sample-interval: 0 pkt-rate-low: 0 pkt-rate-high: 0 rx-usecs: 0 rx-frames: 0 rx-usecs-irq: 0 rx-frames-irq: 256 tx-usecs: 0 tx-frames: 0 tx-usecs-irq: 0 tx-frames-irq: 256 rx-usecs-low: 0 rx-frame-low: 0 tx-usecs-low: 0 tx-frame-low: 0 rx-usecs-high: 0 rx-frame-high: 0 tx-usecs-high: 0 tx-frame-high: 0 [k0ste@ceph-mon1 ~]$ ethtool -l ten0 Channel parameters for ten0: Pre-set maximums: RX: 0 TX: 0 Other: 1 Combined: 64 Current hardware settings: RX: 0 TX: 0 Other: 1 Combined: 4 [k0ste@ceph-mon1 ~]$ ethtool -x ten0 RX flow hash indirection table for ten0 with 4 RX ring(s): 0: 0 1 2 3 0 1 2 3 8: 0 1 2 3 0 1 2 3 16: 0 1 2 3 0 1 2 3 24: 0 1 2 3 0 1 2 3 32: 0 1 2 3 0 1 2 3 40: 0 1 2 3 0 1 2 3 48: 0 1 2 3 0 1 2 3 56: 0 1 2 3 0 1 2 3 64: 0 1 2 3 0 1 2 3 72: 0 1 2 3 0 1 2 3 80: 0 1 2 3 0 1 2 3 88: 0 1 2 3 0 1 2 3 96: 0 1 2 3 0 1 2 3 104: 0 1 2 3 0 1 2 3 112: 0 1 2 3 0 1 2 3 120: 0 1 2 3 0 1 2 3 128: 0 1 2 3 0 1 2 3 136: 0 1 2 3 0 1 2 3 144: 0 1 2 3 0 1 2 3 152: 0 1 2 3 0 1 2 3 160: 0 1 2 3 0 1 2 3 168: 0 1 2 3 0 1 2 3 176: 0 1 2 3 0 1 2 3 184: 0 1 2 3 0 1 2 3 192: 0 1 2 3 0 1 2 3 200: 0 1 2 3 0 1 2 3 208: 0 1 2 3 0 1 2 3 216: 0 1 2 3 0 1 2 3 224: 0 1 2 3 0 1 2 3 232: 0 1 2 3 0 1 2 3 240: 0 1 2 3 0 1 2 3 248: 0 1 2 3 0 1 2 3 256: 0 1 2 3 0 1 2 3 264: 0 1 2 3 0 1 2 3 272: 0 1 2 3 0 1 2 3 280: 0 1 2 3 0 1 2 3 288: 0 1 2 3 0 1 2 3 296: 0 1 2 3 0 1 2 3 304: 0 1 2 3 0 1 2 3 312: 0 1 2 3 0 1 2 3 320: 0 1 2 3 0 1 2 3 328: 0 1 2 3 0 1 2 3 336: 0 1 2 3 0 1 2 3 344: 0 1 2 3 0 1 2 3 352: 0 1 2 3 0 1 2 3 360: 0 1 2 3 0 1 2 3 368: 0 1 2 3 0 1 2 3 376: 0 1 2 3 0 1 2 3 384: 0 1 2 3 0 1 2 3 392: 0 1 2 3 0 1 2 3 400: 0 1 2 3 0 1 2 3 408: 0 1 2 3 0 1 2 3 416: 0 1 2 3 0 1 2 3 424: 0 1 2 3 0 1 2 3 432: 0 1 2 3 0 1 2 3 440: 0 1 2 3 0 1 2 3 448: 0 1 2 3 0 1 2 3 456: 0 1 2 3 0 1 2 3 464: 0 1 2 3 0 1 2 3 472: 0 1 2 3 0 1 2 3 480: 0 1 2 3 0 1 2 3 488: 0 1 2 3 0 1 2 3 496: 0 1 2 3 0 1 2 3 504: 0 1 2 3 0 1 2 3 RSS hash key: be:76:39:59:3c:00:75:9c:4b:ac:c6:83:c8:73:d5:6c:21:ce:73:6a:6e:5b:54:04:4a:30:77:e1:5e:00:b0:48:5e:21:03:f9:f5:73:27:8c:c7:b5:08:5b:db:4a:6f:be:b3:6b:a6:50 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 20 июня, 2017 (изменено) · Жалоба ну в общем результат на уровне 520, только равномерность радует. вот для сравнения что я получил на mellanox 50G root@debian:~# netperf -t omni -H 192.168.100.2 -l 30 -- -d rr -r 1400 -O "THROUGHPUT,MEAN_LATENCY,P90_LATENCY,P99_LATENCY" OMNI Send|Recv TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.100.2 () port 0 AF_INET : demo Throughput Mean 90th 99th Latency Percentile Percentile Microseconds Latency Latency Microseconds Microseconds 80782.10 12.31 17 34 в два раза больше пакетов успевает проскочить в секунду. и дело не в 10G vs 50G, используется меньше гигабита (тест на latency, а не на пропускную способность). P.S. для провайдерских применений оно роли не играет - что 10 микросекунд, что 30, всё одно, пользователи и миллисекунду не заметят ;) Изменено 20 июня, 2017 пользователем edo Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
k0ste Опубликовано 20 июня, 2017 · Жалоба У меня перед этим был IB 20G медный. Жаль что уже разобран, интересно было бы посмотреть на результат. Так же интересно X710 сравнить на 40G, т.к. чип-то один и тот же. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 20 июня, 2017 · Жалоба интересно было бы посмотреть на результат. очень интересно, нигде не нашёл нормальных тестов IPoIB Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 20 июня, 2017 · Жалоба 0. Найти два компьютера с этими сетевушками и (желательно) не очень тормозными процессорами; Фейл. Как минимум ты не подумал обо всяких экономайзерах сбрасывающих частоту и усыпляющих PCI шины. Ещё есть всякие отложенные прерывания и прочая в самих сетевухах. Ещё пакет в ядре может ходить немного разными путями. И тп. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
edo Опубликовано 20 июня, 2017 · Жалоба Как минимум ты не подумал обо всяких экономайзерах сбрасывающих частоту и усыпляющих PCI шины. подумал. половину побеждает pstate-frequency, остальное надо в bios отключать. человек же написал, что отключил. Ещё есть всякие отложенные прерывания и прочая в самих сетевухах. так я же писал про ethtool -C eth0 rx-usecs 0 это вроде как самая большая крутилка. Ещё пакет в ядре может ходить немного разными путями. что именно имеется в виду? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
k0ste Опубликовано 21 июня, 2017 · Жалоба Фейл. Блин, ну конечно фейл. Собственно мне и edo понятно, что значения получились среднепотолочные, т.к. лабораторные условия создать все равно невозможно (нет свободного железа). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kraew2006 Опубликовано 10 сентября, 2018 · Жалоба Добрый день! Кто нибудь делал анлок на новых прошивка (6.0.1)? Пользовался этим анлокером, но все равно пишет unsupported sfp. # ethtool -i enp6s0f0 driver: i40e version: 2.4.10 firmware-version: 6.01 0x80003493 0.0.0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 16 октября, 2018 · Жалоба Подскажите сколько прерываний на этой карточке Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 16 ноября, 2018 (изменено) · Жалоба Подскажите плиз. Приехала эа чудная карта x710-da2 По аналогии с x520 сделал options i40e RSS=16,16 LRO=0,0 allow_unsupported_sfp=1,1 Драйвер i40e-2.7.12 стянутый с Intel в dmesg пишет [ 747.825063] i40e: unknown parameter 'RSS' ignored [ 747.825064] i40e: unknown parameter 'LRO' ignored [ 747.825066] i40e: unknown parameter 'allow_unsupported_sfp' ignored как в ней количество очередей настроить? Изменено 16 ноября, 2018 пользователем Стич Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 16 ноября, 2018 · Жалоба В 16.10.2018 в 15:17, FATHER_FBI сказал: Подскажите сколько прерываний на этой карточке Под виндой 16 прерываний, но за счет MSI-X фактически может быть до 64 (реальная конфигурация зависит, похоже, от числа ядер). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 16 ноября, 2018 · Жалоба Только как в linux'е колличество прерываний поменять? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Mystray Опубликовано 16 ноября, 2018 · Жалоба 3 минуты назад, Стич сказал: Только как в linux'е колличество прерываний поменять? разве так не работает? Цитата Changing the number of Rx or Tx queues with ethtool -L while traffic is flowing and the interface is up may cause a kernel panic. Bring the interface down first to avoid the issue. For example: ip link set ethx down ethtool -L ethx combined 4 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
FATHER_FBI Опубликовано 16 ноября, 2018 · Жалоба 24 минуты назад, jffulcrum сказал: Под виндой 16 прерываний, но за счет MSI-X фактически может быть до 64 (реальная конфигурация зависит, похоже, от числа ядер). Это из личной практики? Если да, сколько ядер в винде было когда Вы смотрели? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 16 ноября, 2018 · Жалоба 34 минуты назад, Mystray сказал: ethtool -L ethx combined 4 Спасибо. Просто в x520 параметром к драйверу менялось. Подскажите, а как LRO отключить? А то ethtool -K eth3 lro off Cannot change large-receive-offload Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...