Jump to content
Калькуляторы

Intel x520-da2 10Gb на FreeBSD проблема со скоростью

Reply to this topic

toropyga   

toropyga
Posted · Report post

Доброго времени суток. Есть 2 сервера на Freebsd 11.2, оба подключены в extreme x670 твинаксиальными кабелями, линк на 10Gb/s. Случайно столкнулся с непонятной проблемой, при тестировании iperf3 с одного сервера до другого выдает максимум 5Gb/s, если запускаю наоборот( меняю местами клиент и сервер) то скорость упирается в 3,8Gb/s. Прошу помощи у знатоков, может кто сталкивался.

Share this post

Link to post
Share on other sites

toropyga   

toropyga
Posted · Report post

К сожалению нет, да и дело не в коммутаторе. Взял обычный комп с Шиндовсом, поставил в него такую же карту, с него тест iperf3 до серверов выдает 9Gb/s. Тут дело в настройке самой Фри, поэтому и спрашиваю.

Share this post

Link to post
Share on other sites

toropyga   

toropyga
Posted · Report post

Загрузка процессоров при выполнении теста:

Скрытый текст

Первый сервер:

up 365+04:50:32 16:27:11

last pid: 31903;  load averages:  5.59,  4.52,  3.88                                                                                                                                                                
35 processes:  2 running, 33 sleeping
CPU 0:   0.0% user,  0.0% nice,  0.0% system, 61.2% interrupt, 38.8% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system, 66.7% interrupt, 33.3% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system, 27.1% interrupt, 72.9% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system, 31.4% interrupt, 68.6% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system, 53.5% interrupt, 46.5% idle
CPU 5:   0.0% user,  0.0% nice,  0.0% system, 85.3% interrupt, 14.7% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 7:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 8:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 9:   1.2% user,  0.0% nice, 53.5% system,  0.0% interrupt, 45.3% idle
CPU 10:  1.9% user,  0.0% nice, 39.5% system,  0.0% interrupt, 58.5% idle
CPU 11:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 12:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 13:  0.0% user,  0.0% nice,  4.2% system,  0.0% interrupt, 95.8% idle
CPU 14:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 15:  0.0% user,  0.0% nice,  1.9% system,  0.0% interrupt, 98.1% idle
Mem: 135M Active, 2727M Inact, 2366M Wired, 1090M Buf, 26G Free
 

Второй:

up 4+02:52:41  16:28:06

last pid: 38043;  load averages:  5.92,  2.17,  0.91                                                                                                                                                               
33 processes:  2 running, 31 sleeping
CPU 0:  0.0% user,  0.0% nice, 19.7% system, 61.8% interrupt, 18.5% idle
CPU 1:  0.4% user,  0.0% nice, 27.2% system, 55.5% interrupt, 16.9% idle
CPU 2:  0.0% user,  0.0% nice, 33.1% system, 49.2% interrupt, 17.7% idle
CPU 3:  0.4% user,  0.0% nice, 15.7% system, 66.1% interrupt, 17.7% idle
CPU 4:  0.0% user,  0.0% nice, 19.7% system, 54.3% interrupt, 26.0% idle
CPU 5:  0.0% user,  0.0% nice, 18.9% system, 54.7% interrupt, 26.4% idle
CPU 6:  0.0% user,  0.0% nice, 20.5% system, 57.9% interrupt, 21.7% idle
CPU 7:  0.0% user,  0.0% nice, 18.1% system, 59.8% interrupt, 22.0% idle
Mem: 9568K Active, 2165M Inact, 2106M Wired, 1556M Buf, 19G Free
Swap: 3413M Total, 3413M Free
 

 

Share this post

Link to post
Share on other sites

roysbike   

roysbike
Posted · Report post
В 08.02.2022 в 16:29, toropyga сказал:

Загрузка процессоров при выполнении теста:

  Скрыть содержимое

Первый сервер:

up 365+04:50:32 16:27:11

last pid: 31903;  load averages:  5.59,  4.52,  3.88                                                                                                                                                                
35 processes:  2 running, 33 sleeping
CPU 0:   0.0% user,  0.0% nice,  0.0% system, 61.2% interrupt, 38.8% idle
CPU 1:   0.0% user,  0.0% nice,  0.0% system, 66.7% interrupt, 33.3% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system, 27.1% interrupt, 72.9% idle
CPU 3:   0.0% user,  0.0% nice,  0.0% system, 31.4% interrupt, 68.6% idle
CPU 4:   0.0% user,  0.0% nice,  0.0% system, 53.5% interrupt, 46.5% idle
CPU 5:   0.0% user,  0.0% nice,  0.0% system, 85.3% interrupt, 14.7% idle
CPU 6:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 7:   0.0% user,  0.0% nice,  0.0% system, 38.8% interrupt, 61.2% idle
CPU 8:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 9:   1.2% user,  0.0% nice, 53.5% system,  0.0% interrupt, 45.3% idle
CPU 10:  1.9% user,  0.0% nice, 39.5% system,  0.0% interrupt, 58.5% idle
CPU 11:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 12:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 13:  0.0% user,  0.0% nice,  4.2% system,  0.0% interrupt, 95.8% idle
CPU 14:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 15:  0.0% user,  0.0% nice,  1.9% system,  0.0% interrupt, 98.1% idle
Mem: 135M Active, 2727M Inact, 2366M Wired, 1090M Buf, 26G Free
 

Второй:

up 4+02:52:41  16:28:06

last pid: 38043;  load averages:  5.92,  2.17,  0.91                                                                                                                                                               
33 processes:  2 running, 31 sleeping
CPU 0:  0.0% user,  0.0% nice, 19.7% system, 61.8% interrupt, 18.5% idle
CPU 1:  0.4% user,  0.0% nice, 27.2% system, 55.5% interrupt, 16.9% idle
CPU 2:  0.0% user,  0.0% nice, 33.1% system, 49.2% interrupt, 17.7% idle
CPU 3:  0.4% user,  0.0% nice, 15.7% system, 66.1% interrupt, 17.7% idle
CPU 4:  0.0% user,  0.0% nice, 19.7% system, 54.3% interrupt, 26.0% idle
CPU 5:  0.0% user,  0.0% nice, 18.9% system, 54.7% interrupt, 26.4% idle
CPU 6:  0.0% user,  0.0% nice, 20.5% system, 57.9% interrupt, 21.7% idle
CPU 7:  0.0% user,  0.0% nice, 18.1% system, 59.8% interrupt, 22.0% idle
Mem: 9568K Active, 2165M Inact, 2106M Wired, 1556M Buf, 19G Free
Swap: 3413M Total, 3413M Free
 

 

ht отключен на 1-м ? Очереди раскидайте по остальным ядрам. 5 гбит у меня было межу свичем cisco 4900m (уперлись в переподписку)

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post

На коммутаторе проверьте дропы, может микробёрсты.

 

Судя по всему iperf запускаете не на этих серверах , поэтому проверьте загрузку проца на тех машинках где запускаете.

 

Попробуйте ещё udp тест и посмотрите какой процент дропов будет 

Share this post

Link to post
Share on other sites

jffulcrum   

jffulcrum
Posted · Report post

iperf3 на самой FreeBSD работает плохо. Отсюда хорошие результаты на машине с Windows. Поставьте с двух сторон машины с Win/Linux и проверьте - скорее всего покажет, что со скоростью все в порядке.

Share this post

Link to post
Share on other sites

Ivan_83   

Ivan_83
Posted · Report post
В 13.02.2022 в 15:19, jffulcrum сказал:

iperf3 на самой FreeBSD работает плохо.

Подозреваю что дело может быть в дефолтах фри, они там так себешные.

Share this post

Link to post
Share on other sites

toropyga   

toropyga
Posted · Report post
В 13.02.2022 в 12:17, orlik сказал:

На коммутаторе проверьте дропы, может микробёрсты.

 

Судя по всему iperf запускаете не на этих серверах , поэтому проверьте загрузку проца на тех машинках где запускаете.

 

Попробуйте ещё udp тест и посмотрите какой процент дропов будет 

X670.5 # show port 46 txerrors
Port Tx Error Monitor                                  Mon Feb 14 09:02:17 2022
Port      Link      Tx          Tx          Tx          Tx       Tx       Tx
          State     Coll        Late coll   Deferred    Errors   Lost     Parity
================================================================================
46        R         0            0           0         0         0         0
 

X670.5 # show port 46 txerrors
Port Tx Error Monitor                                  Mon Feb 14 09:02:17 2022
Port      Link      Tx          Tx          Tx          Tx       Tx       Tx
          State     Coll        Late coll   Deferred    Errors   Lost     Parity
================================================================================
46        R         0            0           0         0         0         0
 

Ошибок на портах нет. Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел.

 

В 14.02.2022 в 05:00, Ivan_83 сказал:

Подозреваю что дело может быть в дефолтах фри, они там так себешные.

Не подскажите какие дефолтные значения подкрутить? На одном стоит Quagga, используется как пограничный bgp (2 full view). На втором MPD+ядерный нат+dummynet. 

Share this post

Link to post
Share on other sites

orlik   

orlik
Posted · Report post
On 2/14/2022 at 12:14 PM, toropyga said:

Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел.

странно , у вас в выводе top утилизация userspace около нуля , при том что iperf должен очень не плохо нагружать и должно быть видно на каком cpu он висит 

Share this post

Link to post
Share on other sites

jffulcrum   

jffulcrum
Posted · Report post
В 14.02.2022 в 09:14, toropyga сказал:

Ошибок на портах нет. Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел.

Есть возможность ЗА серверами поставить что-нибудь, и с него проверить iperf? Ну или на сами сервера попробовать поставить GitHub - udhos/goben: goben is a golang tool to measure TCP/UDP transport layer throughput between hosts. , от автора nepim Просто iperf3 после изменения ядра в районе FreeBSD 10 стало очень тяжело раскачать на фряхе

Share this post

Link to post
Share on other sites

Ivan_83   

Ivan_83
Posted · Report post
В 14.02.2022 в 06:14, toropyga сказал:

Не подскажите какие дефолтные значения подкрутить? На одном стоит Quagga, используется как пограничный bgp (2 full view). На втором MPD+ядерный нат+dummynet. 

http://www.netlab.linkpc.net/download/software/os_cfg/FBSD/13/base/etc/sysctl.conf

вот мои настройки, там рядом остальное лежит.

Share this post

Link to post
Share on other sites

toropyga   

toropyga
Posted · Report post
В 14.02.2022 в 19:38, jffulcrum сказал:

Есть возможность ЗА серверами поставить что-нибудь, и с него проверить iperf? Ну или на сами сервера попробовать поставить GitHub - udhos/goben: goben is a golang tool to measure TCP/UDP transport layer throughput between hosts. , от автора nepim Просто iperf3 после изменения ядра в районе FreeBSD 10 стало очень тяжело раскачать на фряхе

 

В 15.02.2022 в 06:25, Ivan_83 сказал:

http://www.netlab.linkpc.net/download/software/os_cfg/FBSD/13/base/etc/sysctl.conf

вот мои настройки, там рядом остальное лежит.

Спасибо, буду пробовать.

Share this post

Link to post
Share on other sites

h3ll1   

h3ll1
Posted (edited) · Report post
On 2/14/2022 at 4:00 AM, Ivan_83 said:

Подозреваю что дело

jffulcrum

никогда не слИшал про hping (3)

99.99%

 

https://www.kali.org/tools/hping3/

128 Tx and Rx Queues (per port) • Queues provide QoS for virtualization, DCB, RSS, L2 Ethertype, FCoE Redirection, L3/4 5-tuple filters, Flow Director and TCp SYN filters

Edited by h3ll1

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Go to topic listing Программное обеспечение, биллинг и *unix системы