sash_ko Опубликовано 7 октября, 2013 · Жалоба Добрый день! Столкнулся со следующей проблемой: Имеется сервер IBM x3650 M2, в нём карточка Intel 82599EB (10 Gigabit). На сервере стоял Debian Squeeze, iperf демонстрировал 4.5Gbps TCP и 9.5Gbps UDP. Возникла необходимость обновить дебиан, и после обновления тесты iperf показывают 9.2Gbps TCP (что очень порадовало), НО 800Mbps UDP. Эту планку в 800 мегабит не удалось переплюнуть ни новым скомпилированным ядром, ни новым драйвером, не различными тюнингами sysctl и прочего. Доп инфа: на старом дебиане ядро 2.6.35, на новом 3.2.0, все последующие версии 3.х выдают одинаковый результат. Вопрос: что я делаю не так? Существует ли какое-либо ограничение в ядрах 3.х на UDP траффик? Как обойти? P.S.: Всё бы ничего, если бы это был бы только IPERF, но в продакшене с онлайном 2000+ людей он тоже упирается в потолок 800Mbits, при этом никаких нагрузок на CPU не замечено. При этом деб сквизи спокойно тащит 1.5Gbps root@HOSTNAME:/usr/local/etc/boot_config# uname -a Linux HOSTNAME 2.6.32-5-amd64 #1 SMP Fri May 10 08:43:19 UTC 2013 x86_64 GNU/Linux root@HOSTNAME:/usr/local/etc/boot_config# iperf -u -s ------------------------------------------------------------ Server listening on UDP port 5001 Receiving 1470 byte datagrams UDP buffer size: 24.0 MByte (default) ------------------------------------------------------------ [ 3] local IP_ADDR_HERE port 5001 connected with IP_ADDR_HERE port 34826 [ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams [ 3] 0.0-30.0 sec 13.4 GBytes 3.84 Gbits/sec 0.005 ms 0/9805393 (0%) [ 3] 0.0-30.0 sec 1 datagrams received out-of-order root@HOSTNAME:~# uname -a Linux HOSTNAME 3.11.3 #2 SMP Mon Oct 7 10:52:20 EEST 2013 x86_64 GNU/Linux root@HOSTNAME:~# iperf -u -s ------------------------------------------------------------ Server listening on UDP port 5001 Receiving 1470 byte datagrams UDP buffer size: 24.0 MByte (default) ------------------------------------------------------------ [ 3] local IP_ADDR_HERE port 5001 connected with IP_ADDR_HERE port 50755 [ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams [ 3] 0.0-30.2 sec 2.82 GBytes 801 Mbits/sec 15.121 ms 10811465/12870830 (84%) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
srg555 Опубликовано 7 октября, 2013 · Жалоба выключение офлодов на сетевых тоже не помогает? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sash_ko Опубликовано 7 октября, 2013 (изменено) · Жалоба выключение офлодов на сетевых тоже не помогает? Нет, картина вообще никак не меняется при любых манипуляциях. Что интересно, iperf упирается в потолок в обоих сторонах, и на приём и на отдачу. Так же интересен фантастическая потеря пакетов (84% по вывод iperf), хотя если не снимая с места сверер откатить его до 2.6.35 ядра, никаких потерь и прочего непонятного поведения не наблюдается PS: заметил что при коспиляции драйвера от Интел, он жалуется на отсутствие функций DCA (direct cache access) root@HOSTNAME:~/ixgbe-3.17.3/src# make make -C /lib/modules/3.11.3/build SUBDIRS=/root/ixgbe-3.17.3/src modules make[1]: Entering directory `/home/USERNAME/linux-3.11.3' Building modules, stage 2. MODPOST 1 modules WARNING: "dca3_get_tag" [/root/ixgbe-3.17.3/src/ixgbe.ko] undefined! WARNING: "dca_register_notify" [/root/ixgbe-3.17.3/src/ixgbe.ko] undefined! WARNING: "dca_unregister_notify" [/root/ixgbe-3.17.3/src/ixgbe.ko] undefined! WARNING: "dca_add_requester" [/root/ixgbe-3.17.3/src/ixgbe.ko] undefined! WARNING: "dca_remove_requester" [/root/ixgbe-3.17.3/src/ixgbe.ko] undefined! make[1]: Leaving directory `/home/USERNAME/linux-3.11.3' но ведь со стандартным драйвером из коробки WHEEZY всё тоже самое :( Изменено 7 октября, 2013 пользователем sash_ko Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
evil-man Опубликовано 8 октября, 2013 · Жалоба Ядра всё-таки дистрибутивные или самосборные? Попробуйте запустить профайлер какой-нибудь (oprofile) или хотя бы perf top, и посмотреть, что за функции на первых местах. Это маршрутизатор или конечный хост? Написать письмо в мейл-лист сетевой подсистемы, возможно там что-нибудь смогут подсказать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 9 октября, 2013 · Жалоба 1. возьмите свежее ядро. 2.6.32 плохо пахнет. давно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Painter Опубликовано 9 октября, 2013 · Жалоба 2x Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) ixgbe - 3.17.3 Ядро 3.10.12 с модифицированным конфигом 4х ядерный Xeon E31220 3.10GHz со стороны клиента Core2 Quad и 82566DM-2 Gigabit Network Connection (rev 02) и 82572EI Gigabit Ethernet Controller (Copper) (rev 06) cat /proc/interrupts | grep -E "(eth0|eth1)" 55: 27938908 0 0 0 PCI-MSI-edge eth1-TxRx-0 56: 37 26069987 0 0 PCI-MSI-edge eth1-TxRx-1 57: 33 0 22079340 0 PCI-MSI-edge eth1-TxRx-2 58: 33 0 0 27743055 PCI-MSI-edge eth1-TxRx-3 59: 1138 0 0 0 PCI-MSI-edge eth1 66: 27448673 0 0 0 PCI-MSI-edge eth0-TxRx-0 67: 34 24922850 0 0 PCI-MSI-edge eth0-TxRx-1 68: 31 0 21369116 0 PCI-MSI-edge eth0-TxRx-2 69: 31 0 0 27589854 PCI-MSI-edge eth0-TxRx-3 70: 1065 0 0 0 PCI-MSI-edge eth0 Сейчас есть возможность провести тест только на гигабитной скорости, клиента запускал так "iperf -u -c 10.10.10.2 -b 1000M -i 1": iperf -s -u ------------------------------------------------------------ Server listening on UDP port 5001 Receiving 1470 byte datagrams UDP buffer size: 208 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.10.2 port 5001 connected with 10.10.10.1 port 33920 [ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams [ 3] 0.0-10.0 sec 970 MBytes 813 Mbits/sec 0.082 ms 93/691721 (0.013%) Потерь практически нет. Попробовал собрать это же ядро с конфигом из 3.2.0 и отдельный тест с самим ядром 3.2.0 входящим в дебиан - такой же результат по скорости и потерь нет. Включение/выключение оффлоадингов тоже не дало результата "ethtool --offload eth1 gso on gro on lro on tso on" Так же пробовал собирать модуль с LRO и без LRO (в ридми написано это не влияет на UDP) - скорость таже и потерь нет. Дополнительные 10G сетевые карты приедут в течении следующей недели, тогда потестю и отпишусь. Еще можно посмотреть ethtool -S, может там будет что-то интересное (dropped, missed, failed и т.п.) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sash_ko Опубликовано 9 октября, 2013 · Жалоба 2 Painter Проверил на эти сетевые карты с заданием полосы пропускания -b 1000M и 800M, и теперь если честно я вообще перестал понимать происходящее root@HOSTNAME:~# iperf -u -c IP_ADDR_HERE -i5 -t30 -b1G ------------------------------------------------------------ Client connecting to IP_ADDR_HERE, UDP port 5001 Sending 1470 byte datagrams UDP buffer size: 24.0 MByte (default) ------------------------------------------------------------ [ 3] local IP_ADDR_HERE port 7147 connected with IP_ADDR_HERE port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 5.0 sec 637 MBytes 1.07 Gbits/sec ............................................................................... [ 3] Sent 2727068 datagrams [ 3] Server Report: [ 3] 0.0-30.3 sec 2.83 GBytes 803 Mbits/sec 7.799 ms 660674/2726945 (24%) root@HOSTNAME:~# iperf -u -c IP_ADDR_HERE -i5 -t30 -b800M ------------------------------------------------------------ Client connecting to IP_ADDR_HERE, UDP port 5001 Sending 1470 byte datagrams UDP buffer size: 24.0 MByte (default) ------------------------------------------------------------ [ 3] local IP_ADDR_HERE port 29892 connected with IP_ADDR_HERE port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 5.0 sec 501 MBytes 840 Mbits/sec [ 3] Sent 2142771 datagrams [ 3] Server Report: [ 3] 0.0-30.1 sec 2.83 GBytes 807 Mbits/sec 0.012 ms 76506/2142770 (3.6%) [ 3] 0.0-30.1 sec 1 datagrams received out-of-order Потери уменьшаются с уменьшением траффика. Тобиж если всё-таки сгенерировать чистые 800Мбит, он их спокойно съест/пропустит, всё что выше улетит в ошибки. Причём интересно, что "ethtool -S" показывает, что ошибок ниразу нет, но при этом root@HOSTNAME:/home/USERNAME/ixgbe-3.17.3/src# netstat -su IcmpMsg: InType0: 1 InType3: 6 InType8: 72113 InType11: 2 OutType0: 72113 OutType3: 80 Udp: 7007437 packets received 4815420 packets to unknown port received. 14629383 packet receive errors 631 packets sent root@HOSTNAME:/home/USERNAME/ixgbe-3.17.3/src# uname -a Linux HOSTNAME 3.11.3 #15 SMP Tue Oct 8 13:24:34 EEST 2013 x86_64 GNU/Linux Сделал вывод что виноват Дебиан. Куда копать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Painter Опубликовано 9 октября, 2013 · Жалоба С "packet receive errors" я сталкивался только когда не хватало места в сокете. Например когда прилетало много netflow pdu на коллектор. net.core.rmem_max и net.core.rmem_default параметры в sysctl. Судя по предыдущему выводу у вас этот буфер размером 24 мбайта, а в моем тесте 208 кбайт... наверное проблема в чем-то еще. Еще раз запустил тест, "packet receive errors" увеличилось на число "lost" из вывода iperf. Eще у iperf есть параметр "-l, --len #[KM] length of buffer to read or write (default 8 KB)". Можно его изменять, но я таким не занимался. Еще есть вариант сравнить "sysctl -a" из работающего варианта и не работающего. ну и посмотреть профайлером что нагружено в момент теста.. perf top например запустить и dstat и включить модуль dca в ядре, чтобы не было ворнингов при сборке модуля. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Painter Опубликовано 16 октября, 2013 · Жалоба Приехали сетевые карты... iperf -u -c 10.10.20.2 -i 1 -b5000m ------------------------------------------------------------ Client connecting to 10.10.20.2, UDP port 5001 Sending 1470 byte datagrams UDP buffer size: 1024 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.20.1 port 37231 connected with 10.10.20.2 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 1.0- 2.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 2.0- 3.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 3.0- 4.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 4.0- 5.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 5.0- 6.0 sec 96.7 MBytes 811 Mbits/sec [ 3] 6.0- 7.0 sec 96.1 MBytes 806 Mbits/sec [ 3] 7.0- 8.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 8.0- 9.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 9.0-10.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 0.0-10.0 sec 968 MBytes 812 Mbits/sec [ 3] Sent 690362 datagrams [ 3] Server Report: [ 3] 0.0-10.0 sec 633 MBytes 531 Mbits/sec 0.009 ms 238891/690361 (35%) [ 3] 0.0-10.0 sec 1 datagrams received out-of-order Теперь нас двое с этой проблемой :) Почему-то клиент не генерирует больше 813 мбит, но сервер и этого не пережевывает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Painter Опубликовано 16 октября, 2013 · Жалоба Все таки я был прав насчет параметра -l iperf -u -c 10.10.20.1 -i 1 -b10000M -l 32k ------------------------------------------------------------ Client connecting to 10.10.20.1, UDP port 5001 Sending 32768 byte datagrams UDP buffer size: 208 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.20.2 port 45630 connected with 10.10.20.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 1.03 GBytes 8.84 Gbits/sec [ 3] 1.0- 2.0 sec 1.02 GBytes 8.80 Gbits/sec [ 3] 2.0- 3.0 sec 1.02 GBytes 8.80 Gbits/sec [ 3] 3.0- 4.0 sec 1.03 GBytes 8.83 Gbits/sec [ 3] 4.0- 5.0 sec 1.02 GBytes 8.79 Gbits/sec [ 3] 5.0- 6.0 sec 1.03 GBytes 8.86 Gbits/sec [ 3] 6.0- 7.0 sec 1.03 GBytes 8.81 Gbits/sec [ 3] 7.0- 8.0 sec 1.03 GBytes 8.81 Gbits/sec [ 3] 8.0- 9.0 sec 1.03 GBytes 8.83 Gbits/sec [ 3] 9.0-10.0 sec 1.04 GBytes 8.89 Gbits/sec [ 3] 0.0-10.0 sec 10.3 GBytes 8.83 Gbits/sec [ 3] Sent 336679 datagrams [ 3] Server Report: [ 3] 0.0-10.0 sec 472 MBytes 396 Mbits/sec 0.026 ms 183/336678 (0.054%) [ 3] 0.0-10.0 sec 2 datagrams received out-of-order iperf -c 10.10.20.1 -i 1 -l 32k ------------------------------------------------------------ Client connecting to 10.10.20.1, TCP port 5001 TCP window size: 21.4 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.20.2 port 60839 connected with 10.10.20.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 628 MBytes 5.27 Gbits/sec [ 3] 1.0- 2.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 2.0- 3.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 3.0- 4.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 4.0- 5.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 5.0- 6.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 6.0- 7.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 7.0- 8.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 8.0- 9.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 9.0-10.0 sec 630 MBytes 5.29 Gbits/sec [ 3] 0.0-10.0 sec 6.15 GBytes 5.28 Gbits/sec Производительность TCP Это уже другая проблема. потому что это роутер и тут выключены всякие LRO, оффлоадинги, и sysctl не настроены. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Painter Опубликовано 17 октября, 2013 · Жалоба Еще интересное наблюдение: Ставим на сервере и клиенте iperf 2.0.5 # iperf -u -c 10.10.20.1 -i 1 -b10000M ------------------------------------------------------------ Client connecting to 10.10.20.1, UDP port 5001 Sending 1470 byte datagrams UDP buffer size: 512 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.20.2 port 58724 connected with 10.10.20.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 1.0- 2.0 sec 96.9 MBytes 813 Mbits/sec [ 3] 2.0- 3.0 sec 96.9 MBytes 813 Mbits/sec # iperf -u -s ------------------------------------------------------------ Server listening on UDP port 5001 Receiving 1470 byte datagrams UDP buffer size: 1024 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.20.1 port 5001 connected with 10.10.20.2 port 45133 [ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams [ 3] 0.0-10.0 sec 316 MBytes 265 Mbits/sec 0.092 ms 464361/689627 (67%) [ 3] 0.0-10.0 sec 1 datagrams received out-of-order Ставим на клиенте iperf 2.0.4: iperf -u -c 10.10.20.1 -i 1 -b10000M ------------------------------------------------------------ Client connecting to 10.10.20.1, UDP port 5001 Sending 1470 byte datagrams UDP buffer size: 512 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.20.2 port 40572 connected with 10.10.20.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 782 MBytes 6.56 Gbits/sec [ 3] 1.0- 2.0 sec 778 MBytes 6.52 Gbits/sec [ 3] 2.0- 3.0 sec 781 MBytes 6.55 Gbits/sec [ 3] Server Report: [ 3] 0.0-12.0 sec 1.11 GBytes 796 Mbits/sec 15.105 ms 5722958/6535650 (88%) Ставим iperf 2.0.4 и на сервер на клиента: # iperf -u -c 10.10.20.1 -i 1 -b10000M -t 10 ------------------------------------------------------------ Client connecting to 10.10.20.1, UDP port 5001 Sending 1470 byte datagrams UDP buffer size: 512 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.20.2 port 37995 connected with 10.10.20.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0- 1.0 sec 781 MBytes 6.55 Gbits/sec [ 3] 1.0- 2.0 sec 778 MBytes 6.53 Gbits/sec [ 3] 2.0- 3.0 sec 781 MBytes 6.55 Gbits/sec [ 3] Server Report: [ 3] 0.0-10.0 sec 4.22 GBytes 3.62 Gbits/sec 0.007 ms 2481051/5561277 (45%) [ 3] 0.0-10.0 sec 1 datagrams received out-of-order Как-то так... я не знаю, с чем это связано, 2.0.4 показывает результаты в разы выше. У меня нет возможности проверить с ядром 2.6.32 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vitalyb Опубликовано 17 октября, 2013 · Жалоба У меня с iperf'ом всегда какие-то чудеса были, если оно вообще работало. Попробуйте померить этим - http://www.nuttcp.net/ . Поледняя бета даже количество ретрансмитов в TCP тесте показывает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Painter Опубликовано 17 октября, 2013 · Жалоба Попробуйте померить этим - http://www.nuttcp.net/ Попробовал: Со стороны сервера запущено вот так "nuttcp -1 -N2" nuttcp -v -u -i1 -R10000m -T10 -N2 10.10.10.1 nuttcp-t: v6.1.2: socket nuttcp-t: buflen=1024, nstream=2, port=5001 udp -> 10.10.10.1 nuttcp-t: time limit = 10.00 seconds nuttcp-t: rate limit = 10000.000 Mbps (aggregate), 1220703 pps nuttcp-t: send window size = 212992, receive window size = 212992 nuttcp-t: available send window = 106496, available receive window = 106496 nuttcp-r: v6.1.2: socket nuttcp-r: buflen=1024, nstream=2, port=5001 udp nuttcp-r: interval reporting every 1.00 second nuttcp-r: send window size = 229376, receive window size = 229376 nuttcp-r: available send window = 114688, available receive window = 114688 471.8301 MB / 1.00 sec = 3957.9303 Mbps 0 / 483154 ~drop/pkt 0.00 ~%loss 471.8438 MB / 1.00 sec = 3958.0133 Mbps 0 / 483168 ~drop/pkt 0.00 ~%loss 471.2344 MB / 1.00 sec = 3953.1428 Mbps 0 / 482544 ~drop/pkt 0.00 ~%loss 471.1270 MB / 1.00 sec = 3951.8899 Mbps 0 / 482434 ~drop/pkt 0.00 ~%loss 472.9834 MB / 1.00 sec = 3967.8072 Mbps 0 / 484335 ~drop/pkt 0.00 ~%loss 479.0117 MB / 1.00 sec = 4018.3179 Mbps 0 / 490508 ~drop/pkt 0.00 ~%loss 479.0039 MB / 1.00 sec = 4017.9831 Mbps 0 / 490500 ~drop/pkt 0.00 ~%loss 478.9834 MB / 1.00 sec = 4018.1968 Mbps 0 / 490479 ~drop/pkt 0.00 ~%loss 479.0693 MB / 1.00 sec = 4018.7128 Mbps 0 / 490567 ~drop/pkt 0.00 ~%loss 479.3184 MB / 1.00 sec = 4020.8178 Mbps 0 / 490822 ~drop/pkt 0.00 ~%loss 0.0000 MB / 1.00 sec = 0.0000 Mbps 0 / 0 ~drop/pkt 0.00 ~%loss nuttcp-t: 4754.4053 MB in 10.00 real seconds = 486850.42 KB/sec = 3988.2786 Mbps nuttcp-t: 4868518 I/O calls, msec/call = 0.00, calls/sec = 486851.12 nuttcp-t: 0.4user 8.8sys 0:10real 93% 0i+0d 1076maxrss 0+1pf 0+47csw nuttcp-r: 4754.4053 MB in 10.00 real seconds = 486837.91 KB/sec = 3988.1761 Mbps nuttcp-r: 0 / 4868511 drop/pkt 0.00% data loss nuttcp-r: 4868514 I/O calls, msec/call = 0.00, calls/sec = 486838.21 nuttcp-r: 0.9user 6.8sys 0:11real 71% 0i+0d 454maxrss 0+7pf 80021+361csw 4 гигабита и больше никак, одно ядро со стороны клиента загружено на 100% процессом nuttcp. Подскажите как попросить nuttcp использовать несколько потоков или процессов для отправки пакетов? чтобы он использовал свободные ядра. Пока что получилось запустить только вот так: "nuttcp -1 -N1 -P 5000 -p 5001 && nuttcp -1 -N1 -P 5002 -p 5003 && nuttcp -1 -N1 -P 5004 -p 5005 && nuttcp -1 -N1 -P 5006 -p 5007" соответственно со стороны клиентов такие же номера портов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vitalyb Опубликовано 17 октября, 2013 · Жалоба Не уверен, что оно умеет работать с несколькими ядрами кроме как запуском нескольких копий клиента. Можно увеличить размер пакета параметром -l - трафика должно пролезть больше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 19 октября, 2013 · Жалоба Виртуализация в биос отключена? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sash_ko Опубликовано 22 октября, 2013 · Жалоба Виртуализация в биос отключена? Да. Народ, вобщем запилил ядро 3.11.4 на Debian 6 Squeeqe. И блин всё нормально! 5 Gbps UDP & 9.2 Gbps TCP. Так что теперь склоняюсь больше к написанию багрепорта на дебиановский багтрекер... Видимо есть какой-то неведомый процесс, который всё портит... Ибо на Debian 7 Wheezy никакие манипуляции с ядром и дровами не помагают, и не могу понять почему это именно 807 Mbps. Возможно это тупо баг, о котором никто не знает т.к., я думаю, не так много людей может поставить дистр на 10Г и потестить, зато 1Г есть у многих... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sash_ko Опубликовано 22 октября, 2013 · Жалоба И ещё один момент, если заменить в sources.list слова squeeze на wheezy и сделать apt-get upgrade, у вас сразу же нарисуется потолок в 807 Mbps даже без перезагрузки. Сперва я думал что это из-за обновления iperf, но ведь как маршрутизатор он тоже понижает пропускную способность до тех же самых 807 Mbps... таких боков, тем более от дебиановцев, я точно не ожидал :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
micol Опубликовано 22 октября, 2013 (изменено) · Жалоба Может они мегаБиты с мегаБайтами попутали? ;) По теме: а что если использовать ядерный генератор трафика и vnstat -l ? Изменено 22 октября, 2013 пользователем micol Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sash_ko Опубликовано 23 октября, 2013 · Жалоба Может они мегаБиты с мегаБайтами попутали? ;) По теме: а что если использовать ядерный генератор трафика и vnstat -l ? Огромное спасибо за подсказку ;) Вобщем, перепробывал кучу методов, и получилось только в таком порядке: 1. Устанавил старый Debian 6.0 Squeeze 2. apt-get install iperf 3. Заменил squeeze на wheezy в sources.list 4. echo iperf hold | dpkg --set-selections 5. apt-get update 6. apt-get upgrade По началу была проблема с увеличением потерь UDP пакетов, решил её раскидыванием irq по ядрам + sysctl тюнинг. Сейчас iperf выдаёт вменяемые 5 Гб/с, но раньше всё ломалось и при использовании серва как маршрутизатора, что, к сожалению, пока что проверить не могу. Запущу пользователей как-нибудь, и поняблюдаю, о результатах обязательно отпишусь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...