[toropyga]

Доброго времени суток. Есть 2 сервера на Freebsd 11.2, оба подключены в extreme x670 твинаксиальными кабелями, линк на 10Gb/s. Случайно столкнулся с непонятной проблемой, при тестировании iperf3 с одного сервера до другого выдает максимум 5Gb/s, если запускаю наоборот( меняю местами клиент и сервер) то скорость упирается в 3,8Gb/s. Прошу помощи у знатоков, может кто сталкивался.

[jffulcrum]

В 07.02.2022 в 10:59, toropyga сказал:

Есть 2 сервера на Freebsd 11.2

Есть возможность их напрямую воткнуть, минуя коммутатор?

[toropyga]

К сожалению нет, да и дело не в коммутаторе. Взял обычный комп с Шиндовсом, поставил в него такую же карту, с него тест iperf3 до серверов выдает 9Gb/s. Тут дело в настройке самой Фри, поэтому и спрашиваю.

[orlik]

посмотрите на загрузку cpu, не упирается ли всё в производительность одного ядра

[toropyga]

Загрузка процессоров при выполнении теста:

Скрытый текст

Первый сервер:

up 365+04:50:32 16:27:11

last pid: 31903;  load averages:  5.59,  4.52,  3.88                                                                                                                                                                
35 processes:  2 running, 33 sleeping
CPU 0:   0.0% user,  0.0% nice,  0.0% system, 61.2% interrupt, 38.8% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system, 66.7% interrupt, 33.3% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system, 27.1% interrupt, 72.9% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system, 31.4% interrupt, 68.6% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system, 53.5% interrupt, 46.5% idle
CPU 5:   0.0% user,  0.0% nice,  0.0% system, 85.3% interrupt, 14.7% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 7:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 8:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 9:   1.2% user,  0.0% nice, 53.5% system,  0.0% interrupt, 45.3% idle
CPU 10:  1.9% user,  0.0% nice, 39.5% system,  0.0% interrupt, 58.5% idle
CPU 11:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 12:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 13:  0.0% user,  0.0% nice,  4.2% system,  0.0% interrupt, 95.8% idle
CPU 14:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 15:  0.0% user,  0.0% nice,  1.9% system,  0.0% interrupt, 98.1% idle
Mem: 135M Active, 2727M Inact, 2366M Wired, 1090M Buf, 26G Free
 

Второй:

up 4+02:52:41  16:28:06

last pid: 38043;  load averages:  5.92,  2.17,  0.91                                                                                                                                                               
33 processes:  2 running, 31 sleeping
CPU 0:  0.0% user,  0.0% nice, 19.7% system, 61.8% interrupt, 18.5% idle
CPU 1:  0.4% user,  0.0% nice, 27.2% system, 55.5% interrupt, 16.9% idle
CPU 2:  0.0% user,  0.0% nice, 33.1% system, 49.2% interrupt, 17.7% idle
CPU 3:  0.4% user,  0.0% nice, 15.7% system, 66.1% interrupt, 17.7% idle
CPU 4:  0.0% user,  0.0% nice, 19.7% system, 54.3% interrupt, 26.0% idle
CPU 5:  0.0% user,  0.0% nice, 18.9% system, 54.7% interrupt, 26.4% idle
CPU 6:  0.0% user,  0.0% nice, 20.5% system, 57.9% interrupt, 21.7% idle
CPU 7:  0.0% user,  0.0% nice, 18.1% system, 59.8% interrupt, 22.0% idle
Mem: 9568K Active, 2165M Inact, 2106M Wired, 1556M Buf, 19G Free
Swap: 3413M Total, 3413M Free
 

 

[roysbike]

В 08.02.2022 в 16:29, toropyga сказал:

Загрузка процессоров при выполнении теста:

  Скрыть содержимое

Первый сервер:

up 365+04:50:32 16:27:11

last pid: 31903;  load averages:  5.59,  4.52,  3.88                                                                                                                                                                
35 processes:  2 running, 33 sleeping
CPU 0:   0.0% user,  0.0% nice,  0.0% system, 61.2% interrupt, 38.8% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system, 66.7% interrupt, 33.3% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system, 27.1% interrupt, 72.9% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system, 31.4% interrupt, 68.6% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system, 53.5% interrupt, 46.5% idle
CPU 5:   0.0% user,  0.0% nice,  0.0% system, 85.3% interrupt, 14.7% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 7:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 8:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 9:   1.2% user,  0.0% nice, 53.5% system,  0.0% interrupt, 45.3% idle
CPU 10:  1.9% user,  0.0% nice, 39.5% system,  0.0% interrupt, 58.5% idle
CPU 11:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 12:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 13:  0.0% user,  0.0% nice,  4.2% system,  0.0% interrupt, 95.8% idle
CPU 14:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 15:  0.0% user,  0.0% nice,  1.9% system,  0.0% interrupt, 98.1% idle
Mem: 135M Active, 2727M Inact, 2366M Wired, 1090M Buf, 26G Free
 

Второй:

up 4+02:52:41  16:28:06

last pid: 38043;  load averages:  5.92,  2.17,  0.91                                                                                                                                                               
33 processes:  2 running, 31 sleeping
CPU 0:  0.0% user,  0.0% nice, 19.7% system, 61.8% interrupt, 18.5% idle
CPU 1:  0.4% user,  0.0% nice, 27.2% system, 55.5% interrupt, 16.9% idle
CPU 2:  0.0% user,  0.0% nice, 33.1% system, 49.2% interrupt, 17.7% idle
CPU 3:  0.4% user,  0.0% nice, 15.7% system, 66.1% interrupt, 17.7% idle
CPU 4:  0.0% user,  0.0% nice, 19.7% system, 54.3% interrupt, 26.0% idle
CPU 5:  0.0% user,  0.0% nice, 18.9% system, 54.7% interrupt, 26.4% idle
CPU 6:  0.0% user,  0.0% nice, 20.5% system, 57.9% interrupt, 21.7% idle
CPU 7:  0.0% user,  0.0% nice, 18.1% system, 59.8% interrupt, 22.0% idle
Mem: 9568K Active, 2165M Inact, 2106M Wired, 1556M Buf, 19G Free
Swap: 3413M Total, 3413M Free
 

 

ht отключен на 1-м ? Очереди раскидайте по остальным ядрам. 5 гбит у меня было межу свичем cisco 4900m (уперлись в переподписку)

[orlik]

На коммутаторе проверьте дропы, может микробёрсты.

 

Судя по всему iperf запускаете не на этих серверах , поэтому проверьте загрузку проца на тех машинках где запускаете.

 

Попробуйте ещё udp тест и посмотрите какой процент дропов будет 

[jffulcrum]

iperf3 на самой FreeBSD работает плохо. Отсюда хорошие результаты на машине с Windows. Поставьте с двух сторон машины с Win/Linux и проверьте - скорее всего покажет, что со скоростью все в порядке.

[Ivan_83]

В 13.02.2022 в 15:19, jffulcrum сказал:

iperf3 на самой FreeBSD работает плохо.

Подозреваю что дело может быть в дефолтах фри, они там так себешные.

[toropyga]

В 13.02.2022 в 12:17, orlik сказал:

На коммутаторе проверьте дропы, может микробёрсты.

 

Судя по всему iperf запускаете не на этих серверах , поэтому проверьте загрузку проца на тех машинках где запускаете.

 

Попробуйте ещё udp тест и посмотрите какой процент дропов будет 

X670.5 # show port 46 txerrors
Port Tx Error Monitor                                  Mon Feb 14 09:02:17 2022
Port      Link      Tx          Tx          Tx          Tx       Tx       Tx
          State     Coll        Late coll   Deferred    Errors   Lost     Parity
================================================================================
46        R         0            0           0         0         0         0
 

X670.5 # show port 46 txerrors
Port Tx Error Monitor                                  Mon Feb 14 09:02:17 2022
Port      Link      Tx          Tx          Tx          Tx       Tx       Tx
          State     Coll        Late coll   Deferred    Errors   Lost     Parity
================================================================================
46        R         0            0           0         0         0         0
 

Ошибок на портах нет. Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел.

 

В 14.02.2022 в 05:00, Ivan_83 сказал:

Подозреваю что дело может быть в дефолтах фри, они там так себешные.

Не подскажите какие дефолтные значения подкрутить? На одном стоит Quagga, используется как пограничный bgp (2 full view). На втором MPD+ядерный нат+dummynet. 

[orlik]

On 2/14/2022 at 12:14 PM, toropyga said:

Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел.

странно , у вас в выводе top утилизация userspace около нуля , при том что iperf должен очень не плохо нагружать и должно быть видно на каком cpu он висит 

[jffulcrum]

В 14.02.2022 в 09:14, toropyga сказал:

Ошибок на портах нет. Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел.

Есть возможность ЗА серверами поставить что-нибудь, и с него проверить iperf? Ну или на сами сервера попробовать поставить GitHub - udhos/goben: goben is a golang tool to measure TCP/UDP transport layer throughput between hosts. , от автора nepim Просто iperf3 после изменения ядра в районе FreeBSD 10 стало очень тяжело раскачать на фряхе

[Ivan_83]

В 14.02.2022 в 06:14, toropyga сказал:

Не подскажите какие дефолтные значения подкрутить? На одном стоит Quagga, используется как пограничный bgp (2 full view). На втором MPD+ядерный нат+dummynet. 

http://www.netlab.linkpc.net/download/software/os_cfg/FBSD/13/base/etc/sysctl.conf

вот мои настройки, там рядом остальное лежит.

[toropyga]

В 14.02.2022 в 19:38, jffulcrum сказал:

Есть возможность ЗА серверами поставить что-нибудь, и с него проверить iperf? Ну или на сами сервера попробовать поставить GitHub - udhos/goben: goben is a golang tool to measure TCP/UDP transport layer throughput between hosts. , от автора nepim Просто iperf3 после изменения ядра в районе FreeBSD 10 стало очень тяжело раскачать на фряхе

 

В 15.02.2022 в 06:25, Ivan_83 сказал:

http://www.netlab.linkpc.net/download/software/os_cfg/FBSD/13/base/etc/sysctl.conf

вот мои настройки, там рядом остальное лежит.

Спасибо, буду пробовать.

[h3ll1]

On 2/14/2022 at 4:00 AM, Ivan_83 said:

Подозреваю что дело

jffulcrum

никогда не слИшал про hping (3)

99.99%

 

https://www.kali.org/tools/hping3/

128 Tx and Rx Queues (per port) • Queues provide QoS for virtualization, DCB, RSS, L2 Ethertype, FCoE Redirection, L3/4 5-tuple filters, Flow Director and TCp SYN filters

Edited February 16, 2022 by h3ll1