toropyga Опубликовано 7 февраля, 2022 · Жалоба Доброго времени суток. Есть 2 сервера на Freebsd 11.2, оба подключены в extreme x670 твинаксиальными кабелями, линк на 10Gb/s. Случайно столкнулся с непонятной проблемой, при тестировании iperf3 с одного сервера до другого выдает максимум 5Gb/s, если запускаю наоборот( меняю местами клиент и сервер) то скорость упирается в 3,8Gb/s. Прошу помощи у знатоков, может кто сталкивался. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 7 февраля, 2022 · Жалоба В 07.02.2022 в 10:59, toropyga сказал: Есть 2 сервера на Freebsd 11.2 Есть возможность их напрямую воткнуть, минуя коммутатор? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 7 февраля, 2022 · Жалоба К сожалению нет, да и дело не в коммутаторе. Взял обычный комп с Шиндовсом, поставил в него такую же карту, с него тест iperf3 до серверов выдает 9Gb/s. Тут дело в настройке самой Фри, поэтому и спрашиваю. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
orlik Опубликовано 8 февраля, 2022 · Жалоба посмотрите на загрузку cpu, не упирается ли всё в производительность одного ядра Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 8 февраля, 2022 · Жалоба Загрузка процессоров при выполнении теста: Скрытый текст Первый сервер: up 365+04:50:32 16:27:11 last pid: 31903; load averages: 5.59, 4.52, 3.88 35 processes: 2 running, 33 sleeping CPU 0: 0.0% user, 0.0% nice, 0.0% system, 61.2% interrupt, 38.8% idle CPU 1: 0.0% user, 0.0% nice, 0.0% system, 66.7% interrupt, 33.3% idle CPU 2: 0.0% user, 0.0% nice, 0.0% system, 27.1% interrupt, 72.9% idle CPU 3: 0.0% user, 0.0% nice, 0.0% system, 31.4% interrupt, 68.6% idle CPU 4: 0.0% user, 0.0% nice, 0.0% system, 53.5% interrupt, 46.5% idle CPU 5: 0.0% user, 0.0% nice, 0.0% system, 85.3% interrupt, 14.7% idle CPU 6: 0.0% user, 0.0% nice, 0.0% system, 38.8% interrupt, 61.2% idle CPU 7: 0.0% user, 0.0% nice, 0.0% system, 38.8% interrupt, 61.2% idle CPU 8: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 9: 1.2% user, 0.0% nice, 53.5% system, 0.0% interrupt, 45.3% idle CPU 10: 1.9% user, 0.0% nice, 39.5% system, 0.0% interrupt, 58.5% idle CPU 11: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 12: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 13: 0.0% user, 0.0% nice, 4.2% system, 0.0% interrupt, 95.8% idle CPU 14: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 15: 0.0% user, 0.0% nice, 1.9% system, 0.0% interrupt, 98.1% idle Mem: 135M Active, 2727M Inact, 2366M Wired, 1090M Buf, 26G Free Второй: up 4+02:52:41 16:28:06 last pid: 38043; load averages: 5.92, 2.17, 0.91 33 processes: 2 running, 31 sleeping CPU 0: 0.0% user, 0.0% nice, 19.7% system, 61.8% interrupt, 18.5% idle CPU 1: 0.4% user, 0.0% nice, 27.2% system, 55.5% interrupt, 16.9% idle CPU 2: 0.0% user, 0.0% nice, 33.1% system, 49.2% interrupt, 17.7% idle CPU 3: 0.4% user, 0.0% nice, 15.7% system, 66.1% interrupt, 17.7% idle CPU 4: 0.0% user, 0.0% nice, 19.7% system, 54.3% interrupt, 26.0% idle CPU 5: 0.0% user, 0.0% nice, 18.9% system, 54.7% interrupt, 26.4% idle CPU 6: 0.0% user, 0.0% nice, 20.5% system, 57.9% interrupt, 21.7% idle CPU 7: 0.0% user, 0.0% nice, 18.1% system, 59.8% interrupt, 22.0% idle Mem: 9568K Active, 2165M Inact, 2106M Wired, 1556M Buf, 19G Free Swap: 3413M Total, 3413M Free Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 8 февраля, 2022 · Жалоба В 08.02.2022 в 16:29, toropyga сказал: Загрузка процессоров при выполнении теста: Скрыть содержимое Первый сервер: up 365+04:50:32 16:27:11 last pid: 31903; load averages: 5.59, 4.52, 3.88 35 processes: 2 running, 33 sleeping CPU 0: 0.0% user, 0.0% nice, 0.0% system, 61.2% interrupt, 38.8% idle CPU 1: 0.0% user, 0.0% nice, 0.0% system, 66.7% interrupt, 33.3% idle CPU 2: 0.0% user, 0.0% nice, 0.0% system, 27.1% interrupt, 72.9% idle CPU 3: 0.0% user, 0.0% nice, 0.0% system, 31.4% interrupt, 68.6% idle CPU 4: 0.0% user, 0.0% nice, 0.0% system, 53.5% interrupt, 46.5% idle CPU 5: 0.0% user, 0.0% nice, 0.0% system, 85.3% interrupt, 14.7% idle CPU 6: 0.0% user, 0.0% nice, 0.0% system, 38.8% interrupt, 61.2% idle CPU 7: 0.0% user, 0.0% nice, 0.0% system, 38.8% interrupt, 61.2% idle CPU 8: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 9: 1.2% user, 0.0% nice, 53.5% system, 0.0% interrupt, 45.3% idle CPU 10: 1.9% user, 0.0% nice, 39.5% system, 0.0% interrupt, 58.5% idle CPU 11: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 12: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 13: 0.0% user, 0.0% nice, 4.2% system, 0.0% interrupt, 95.8% idle CPU 14: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 15: 0.0% user, 0.0% nice, 1.9% system, 0.0% interrupt, 98.1% idle Mem: 135M Active, 2727M Inact, 2366M Wired, 1090M Buf, 26G Free Второй: up 4+02:52:41 16:28:06 last pid: 38043; load averages: 5.92, 2.17, 0.91 33 processes: 2 running, 31 sleeping CPU 0: 0.0% user, 0.0% nice, 19.7% system, 61.8% interrupt, 18.5% idle CPU 1: 0.4% user, 0.0% nice, 27.2% system, 55.5% interrupt, 16.9% idle CPU 2: 0.0% user, 0.0% nice, 33.1% system, 49.2% interrupt, 17.7% idle CPU 3: 0.4% user, 0.0% nice, 15.7% system, 66.1% interrupt, 17.7% idle CPU 4: 0.0% user, 0.0% nice, 19.7% system, 54.3% interrupt, 26.0% idle CPU 5: 0.0% user, 0.0% nice, 18.9% system, 54.7% interrupt, 26.4% idle CPU 6: 0.0% user, 0.0% nice, 20.5% system, 57.9% interrupt, 21.7% idle CPU 7: 0.0% user, 0.0% nice, 18.1% system, 59.8% interrupt, 22.0% idle Mem: 9568K Active, 2165M Inact, 2106M Wired, 1556M Buf, 19G Free Swap: 3413M Total, 3413M Free ht отключен на 1-м ? Очереди раскидайте по остальным ядрам. 5 гбит у меня было межу свичем cisco 4900m (уперлись в переподписку) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
orlik Опубликовано 13 февраля, 2022 · Жалоба На коммутаторе проверьте дропы, может микробёрсты. Судя по всему iperf запускаете не на этих серверах , поэтому проверьте загрузку проца на тех машинках где запускаете. Попробуйте ещё udp тест и посмотрите какой процент дропов будет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 13 февраля, 2022 · Жалоба iperf3 на самой FreeBSD работает плохо. Отсюда хорошие результаты на машине с Windows. Поставьте с двух сторон машины с Win/Linux и проверьте - скорее всего покажет, что со скоростью все в порядке. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 14 февраля, 2022 · Жалоба В 13.02.2022 в 15:19, jffulcrum сказал: iperf3 на самой FreeBSD работает плохо. Подозреваю что дело может быть в дефолтах фри, они там так себешные. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 14 февраля, 2022 · Жалоба В 13.02.2022 в 12:17, orlik сказал: На коммутаторе проверьте дропы, может микробёрсты. Судя по всему iperf запускаете не на этих серверах , поэтому проверьте загрузку проца на тех машинках где запускаете. Попробуйте ещё udp тест и посмотрите какой процент дропов будет X670.5 # show port 46 txerrors Port Tx Error Monitor Mon Feb 14 09:02:17 2022 Port Link Tx Tx Tx Tx Tx Tx State Coll Late coll Deferred Errors Lost Parity ================================================================================ 46 R 0 0 0 0 0 0 X670.5 # show port 46 txerrors Port Tx Error Monitor Mon Feb 14 09:02:17 2022 Port Link Tx Tx Tx Tx Tx Tx State Coll Late coll Deferred Errors Lost Parity ================================================================================ 46 R 0 0 0 0 0 0 Ошибок на портах нет. Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел. В 14.02.2022 в 05:00, Ivan_83 сказал: Подозреваю что дело может быть в дефолтах фри, они там так себешные. Не подскажите какие дефолтные значения подкрутить? На одном стоит Quagga, используется как пограничный bgp (2 full view). На втором MPD+ядерный нат+dummynet. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
orlik Опубликовано 14 февраля, 2022 · Жалоба On 2/14/2022 at 12:14 PM, toropyga said: Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел. странно , у вас в выводе top утилизация userspace около нуля , при том что iperf должен очень не плохо нагружать и должно быть видно на каком cpu он висит Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 14 февраля, 2022 · Жалоба В 14.02.2022 в 09:14, toropyga сказал: Ошибок на портах нет. Всмысле не на этих серверах запускаю? Где запускал, оттуда и статистику вывел. Есть возможность ЗА серверами поставить что-нибудь, и с него проверить iperf? Ну или на сами сервера попробовать поставить GitHub - udhos/goben: goben is a golang tool to measure TCP/UDP transport layer throughput between hosts. , от автора nepim Просто iperf3 после изменения ядра в районе FreeBSD 10 стало очень тяжело раскачать на фряхе Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 15 февраля, 2022 · Жалоба В 14.02.2022 в 06:14, toropyga сказал: Не подскажите какие дефолтные значения подкрутить? На одном стоит Quagga, используется как пограничный bgp (2 full view). На втором MPD+ядерный нат+dummynet. http://www.netlab.linkpc.net/download/software/os_cfg/FBSD/13/base/etc/sysctl.conf вот мои настройки, там рядом остальное лежит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 15 февраля, 2022 · Жалоба В 14.02.2022 в 19:38, jffulcrum сказал: Есть возможность ЗА серверами поставить что-нибудь, и с него проверить iperf? Ну или на сами сервера попробовать поставить GitHub - udhos/goben: goben is a golang tool to measure TCP/UDP transport layer throughput between hosts. , от автора nepim Просто iperf3 после изменения ядра в районе FreeBSD 10 стало очень тяжело раскачать на фряхе В 15.02.2022 в 06:25, Ivan_83 сказал: http://www.netlab.linkpc.net/download/software/os_cfg/FBSD/13/base/etc/sysctl.conf вот мои настройки, там рядом остальное лежит. Спасибо, буду пробовать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
h3ll1 Опубликовано 15 февраля, 2022 (изменено) · Жалоба On 2/14/2022 at 4:00 AM, Ivan_83 said: Подозреваю что дело jffulcrum никогда не слИшал про hping (3) 99.99% https://www.kali.org/tools/hping3/ 128 Tx and Rx Queues (per port) • Queues provide QoS for virtualization, DCB, RSS, L2 Ethertype, FCoE Redirection, L3/4 5-tuple filters, Flow Director and TCp SYN filters Изменено 16 февраля, 2022 пользователем h3ll1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
