lm Опубликовано 25 апреля, 2010 · Жалоба Какую мать под i7 посоветуете под FreeBSD - Linux за разумные деньги взять для сетевых задач.ну и по сетевым если кто может сказать что то кроме Intel® PRO/1000 PT. Если вы собираетесь использовать такую систему для серверных задач советую не пожалеть лишних 200$ и взять серверную плату: LGA1366 Intel S5500BC. В продаже уже появились 6-ти ядерные Xeon 56xx, в будущем сможете освежить систему. Относительно сетевых карт: для высоконагруженной системы я бы советовал карту на базе 82576 чипа - это серия ET, но в этом случае не советую работать под FreeBSD для нее пахабно написан драйвер под этот чип. Как раз в пятницу получили интеловский сервак SR2600UR для бордера (два канала 1+0,5Гбита) на базе матери SC5520UR. К нему взяли два ксеона 5620 и двухпортовую сетевуху (82576) + на матери два порта (82575).Как думаете, прожует 2Гигабита в перспективе (чистый бордер с quagga) под FreeBSD ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 25 апреля, 2010 (изменено) · Жалоба Как раз в пятницу получили интеловский сервак SR2600UR для бордера (два канала 1+0,5Гбита) на базе матери SC5520UR. К нему взяли два ксеона 5620 и двухпортовую сетевуху (82576) + на матери два порта (82575).Как думаете, прожует 2Гигабита в перспективе (чистый бордер с quagga) под FreeBSD ? Я бы вам советовал 4х10G интерфейсов для такой серверной платформы :) Но не на базе 5620 (4xcore), а на базе X5650 (6хcore) Но рекомендую все таки работать под Linux. http://www.vyatta.com/downloads/whitepaper...olBrief_r04.pdf Изменено 25 апреля, 2010 пользователем nag-f Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lm Опубликовано 25 апреля, 2010 · Жалоба Как раз в пятницу получили интеловский сервак SR2600UR для бордера (два канала 1+0,5Гбита) на базе матери SC5520UR. К нему взяли два ксеона 5620 и двухпортовую сетевуху (82576) + на матери два порта (82575).Как думаете, прожует 2Гигабита в перспективе (чистый бордер с quagga) под FreeBSD ? Я бы вам советовал 4х10G интерфейсов для такой серверной платформы :) Но рекомендую все таки работать под Linux. http://www.vyatta.com/downloads/whitepaper...olBrief_r04.pdf Везде фря, к линуксу непривычно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 25 апреля, 2010 · Жалоба Везде фря, к линуксу непривычно. Поставьте vyatta. Juniper like cli... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lm Опубликовано 25 апреля, 2010 · Жалоба Везде фря, к линуксу непривычно. Поставьте vyatta. Juniper like cli... Спасибо за pdf. Надо будет подумать над этим :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 25 апреля, 2010 · Жалоба Ну понапихали туда кучу линузячьего гуано и поддержку кучи ядер, и что ? Вон оно че, Михалыч: CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 61: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-0 62: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-1 63: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-2 64: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-3 65: 5371126 0 0 0 0 0 0 0 PCI-MSI-edge eth2-rx-0 66: 2 0 5371138 0 0 0 0 0 PCI-MSI-edge eth2-rx-1 67: 2 0 0 0 5371140 0 0 0 PCI-MSI-edge eth2-rx-2 68: 2 0 0 0 0 0 5371140 0 PCI-MSI-edge eth2-rx-3 69: 1 0 0 0 0 0 0 0 PCI-MSI-edge eth2 70: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-0 71: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-1 72: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-2 73: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-3 74: 5371120 0 0 0 0 0 0 0 PCI-MSI-edge eth3-rx-0 75: 2 0 5371118 0 0 0 0 0 PCI-MSI-edge eth3-rx-1 76: 2 0 0 0 5371118 0 0 0 PCI-MSI-edge eth3-rx-2 77: 2 0 0 0 0 0 5371118 0 PCI-MSI-edge eth3-rx-3 78: 1 0 0 0 0 0 0 0 PCI-MSI-edge eth3 79: 290668192 0 0 0 0 0 0 0 PCI-MSI-edge eth4-tx-0 80: 1 0 341746502 0 0 0 0 0 PCI-MSI-edge eth4-tx-1 81: 1 0 0 0 912387338 0 0 0 PCI-MSI-edge eth4-tx-2 82: 1 0 0 0 0 0 144038238 0 PCI-MSI-edge eth4-tx-3 83: 22253749 0 0 0 0 0 0 0 PCI-MSI-edge eth4-rx-0 84: 2 0 5408986 0 0 0 0 0 PCI-MSI-edge eth4-rx-1 85: 2 0 0 0 5409393 0 0 0 PCI-MSI-edge eth4-rx-2 86: 2 0 0 0 0 0 5409271 0 PCI-MSI-edge eth4-rx-3 87: 1 0 0 0 0 0 0 0 PCI-MSI-edge eth4 88: 27611 0 0 0 0 0 0 0 PCI-MSI-edge eth5-tx-0 89: 1 0 152220 0 0 0 0 0 PCI-MSI-edge eth5-tx-0 90: 1 0 0 0 16 0 0 0 PCI-MSI-edge eth5-tx-0 91: 1 0 0 0 0 0 1 0 PCI-MSI-edge eth5-tx-0 92: 5163406 0 0 0 0 0 0 0 PCI-MSI-edge eth5-rx-0 93: 2 0 1810834 0 0 0 0 0 PCI-MSI-edge eth5-rx-0 94: 2 0 0 0 1881819 0 0 0 PCI-MSI-edge eth5-rx-0 95: 2 0 0 0 0 0 1811312 0 PCI-MSI-edge eth5-rx-0 96: 1 0 0 0 0 0 0 0 PCI-MSI-edge eth5 97: 32412196 0 0 0 0 0 0 0 PCI-MSI-edge eth1-0 98: 1 0 3497347667 0 0 0 0 0 PCI-MSI-edge eth1-1 99: 1 0 0 0 809458760 0 0 0 PCI-MSI-edge eth1-2 100: 1 0 0 0 0 0 509691429 0 PCI-MSI-edge eth1-3 101: 1 1239628306 0 0 0 0 0 0 PCI-MSI-edge eth1-4 102: 1 0 0 1635755978 0 0 0 0 PCI-MSI-edge eth1-5 103: 1 0 0 0 0 925980465 0 0 PCI-MSI-edge eth1-6 104: 1 0 0 0 0 0 0 2406593499 PCI-MSI-edge eth1-7 106: 6579914 0 0 0 0 0 0 0 PCI-MSI-edge eth0-0 107: 1 0 1618669592 0 0 0 0 0 PCI-MSI-edge eth0-1 108: 1 0 0 0 2892357975 0 0 0 PCI-MSI-edge eth0-2 109: 1 0 0 0 0 0 769814269 0 PCI-MSI-edge eth0-3 110: 1 3480035744 0 0 0 0 0 0 PCI-MSI-edge eth0-4 111: 1 0 0 1180379555 0 0 0 0 PCI-MSI-edge eth0-5 112: 1 0 0 0 0 2402697884 0 0 PCI-MSI-edge eth0-6 113: 1 0 0 0 0 0 0 1232965822 PCI-MSI-edge eth0-7 CPU0-CPU11 - уже настоящее. Помоему тенденция ясна. Исходя из каких соображений аффинити именно так распределены? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 25 апреля, 2010 (изменено) · Жалоба Исходя из каких соображений аффинити именно так распределены? Исходя из соображений равномерной утилизации вычислительных ресурсов. http://download.intel.com/design/network/applnots/319935.pdf Изменено 25 апреля, 2010 пользователем nag-f Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 25 апреля, 2010 · Жалоба Исходя из каких соображений аффинити именно так распределены? Исходя из соображений равномерной утилизации вычислительных ресурсов. http://download.intel.com/design/network/applnots/319935.pdf 1. А что в Вашей системе из себя представляють eth0, eth1 и eth5? 2. Ваше мнение - имеет ли смысл разность TX и RX на разные вектора? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 25 апреля, 2010 (изменено) · Жалоба 1. А что в Вашей системе из себя представляють eth0, eth1 и eth5?2. Ваше мнение - имеет ли смысл разность TX и RX на разные вектора? 1 eth0,1 - Broadcom Corporation NetXtreme II BCM5716. eth2,3,4,5 - Intel 82575GB 2 Да, при высоком pps. Изменено 25 апреля, 2010 пользователем nag-f Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 25 апреля, 2010 · Жалоба 1 eth0,1 - Broadcom Corporation NetXtreme II BCM5716. eth2,3,4,5 - Intel 82575GBeth5 на приведенном дампе /proc/interrupts эротично выглядит...2 Да, при высоком pps.Просто насколько я вижу, TX вектор утилизирует гораздо меньше процессорных ресурсов.И если исходить из принципа "один вектор - одно ядро", то получается что TX-вектору одного ядра как бы много. Сажать по несколько векторов на одно ядро? - ка считаете? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 26 апреля, 2010 · Жалоба eth5 на приведенном дампе /proc/interrupts эротично выглядит... На нем нет траффика. Просто насколько я вижу, TX вектор утилизирует гораздо меньше процессорных ресурсов.И если исходить из принципа "один вектор - одно ядро", то получается что TX-вектору одного ядра как бы много. Сажать по несколько векторов на одно ядро? - ка считаете? Ну может быть у вас просто исходящий pps меньше входящего. При симметричной утилизации пропускной способности пакетами по ~60-80 байт думаю разницы не заметите. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 26 апреля, 2010 · Жалоба Как думаете, прожует 2Гигабита в перспективе (чистый бордер с quagga) под FreeBSD ? На простом форвардинге один такой проц жует _как минимум_ 3Gbps in + 3Gbps out при 1mpps. Спасибо за pdf. Надо будет подумать над этим :) Сначала поинтересуйтесь у советующего, где у него стоит 4x10G. А то советовать все мастера. :-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 26 апреля, 2010 · Жалоба Сначала поинтересуйтесь у советующего, где у него стоит 4x10G. А то советовать все мастера. :-) 4x10G нигде не стоит, пока нет таких задач, но они уже но горизонте. Относительно 2х10G я приводил результаты тестирования на 55хх. 6хcore 56хх предполагаю, что справится с 4х10G. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 26 апреля, 2010 · Жалоба eth5 на приведенном дампе /proc/interrupts эротично выглядит...На нем нет траффика. Да я не про трафик, я про то на нем 4 tx-0 и 4 rx-0 - странные какие то названия... Просто насколько я вижу, TX вектор утилизирует гораздо меньше процессорных ресурсов.И если исходить из принципа "один вектор - одно ядро", то получается что TX-вектору одного ядра как бы много. Сажать по несколько векторов на одно ядро? - ка считаете? Ну может быть у вас просто исходящий pps меньше входящего. При симметричной утилизации пропускной способности пакетами по ~60-80 байт думаю разницы не заметите. У нас асимметрия 3/2 (in/out) - но при этом я наблюдаю нагрузку на ядрах обслуживающих TX очереди в разы более низкую чем на RX. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 26 апреля, 2010 (изменено) · Жалоба Да я не про трафик, я про то на нем 4 tx-0 и 4 rx-0 - странные какие то названия... Да, действительно. Копирова в два захода. root@vyatta:~# cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 0: 2123219563 0 0 0 0 0 0 0 IO-APIC-edge timer ... 56: 0 0 0 0 0 0 0 0 PCI-MSI-edge aerdrv 57: 0 0 0 0 0 0 0 0 PCI-MSI-edge aerdrv 58: 0 0 0 0 0 0 0 0 PCI-MSI-edge aerdrv 59: 0 0 0 0 0 0 0 0 PCI-MSI-edge aerdrv 60: 0 0 0 0 0 0 0 0 PCI-MSI-edge aerdrv 61: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-0 62: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-1 63: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-2 64: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-3 65: 5410684 0 0 0 0 0 0 0 PCI-MSI-edge eth2-rx-0 66: 2 0 5410696 0 0 0 0 0 PCI-MSI-edge eth2-rx-1 67: 2 0 0 0 5410698 0 0 0 PCI-MSI-edge eth2-rx-2 68: 2 0 0 0 0 0 5410698 0 PCI-MSI-edge eth2-rx-3 69: 1 0 0 0 0 0 0 0 PCI-MSI-edge eth2 70: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-0 71: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-1 72: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-2 73: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-3 74: 5410678 0 0 0 0 0 0 0 PCI-MSI-edge eth3-rx-0 75: 2 0 5410676 0 0 0 0 0 PCI-MSI-edge eth3-rx-1 76: 2 0 0 0 5410676 0 0 0 PCI-MSI-edge eth3-rx-2 77: 2 0 0 0 0 0 5410676 0 PCI-MSI-edge eth3-rx-3 78: 1 0 0 0 0 0 0 0 PCI-MSI-edge eth3 79: 290676883 0 0 0 0 0 0 0 PCI-MSI-edge eth4-tx-0 80: 1 0 341760283 0 0 0 0 0 PCI-MSI-edge eth4-tx-1 81: 1 0 0 0 912401577 0 0 0 PCI-MSI-edge eth4-tx-2 82: 1 0 0 0 0 0 145093812 0 PCI-MSI-edge eth4-tx-3 83: 22487167 0 0 0 0 0 0 0 PCI-MSI-edge eth4-rx-0 84: 2 0 5448554 0 0 0 0 0 PCI-MSI-edge eth4-rx-1 85: 2 0 0 0 5448967 0 0 0 PCI-MSI-edge eth4-rx-2 86: 2 0 0 0 0 0 5448861 0 PCI-MSI-edge eth4-rx-3 87: 1 0 0 0 0 0 0 0 PCI-MSI-edge eth4 88: 27615 0 0 0 0 0 0 0 PCI-MSI-edge eth5-tx-0 89: 1 0 152220 0 0 0 0 0 PCI-MSI-edge eth5-tx-1 90: 1 0 0 0 16 0 0 0 PCI-MSI-edge eth5-tx-2 91: 1 0 0 0 0 0 1 0 PCI-MSI-edge eth5-tx-3 92: 5163428 0 0 0 0 0 0 0 PCI-MSI-edge eth5-rx-0 93: 2 0 1810839 0 0 0 0 0 PCI-MSI-edge eth5-rx-1 94: 2 0 0 0 1881824 0 0 0 PCI-MSI-edge eth5-rx-2 95: 2 0 0 0 0 0 1811317 0 PCI-MSI-edge eth5-rx-3 96: 2 0 0 0 0 0 0 0 PCI-MSI-edge eth5 97: 32714104 0 0 0 0 0 0 0 PCI-MSI-edge eth1-0 98: 1 0 4273815329 0 0 0 0 0 PCI-MSI-edge eth1-1 99: 1 0 0 0 1451874804 0 0 0 PCI-MSI-edge eth1-2 100: 1 0 0 0 0 0 1382611748 0 PCI-MSI-edge eth1-3 101: 1 2122138090 0 0 0 0 0 0 PCI-MSI-edge eth1-4 102: 1 0 0 2615031257 0 0 0 0 PCI-MSI-edge eth1-5 103: 1 0 0 0 0 1701540465 0 0 PCI-MSI-edge eth1-6 104: 1 0 0 0 0 0 0 3091448564 PCI-MSI-edge eth1-7 106: 6627318 0 0 0 0 0 0 0 PCI-MSI-edge eth0-0 107: 1 0 2456882759 0 0 0 0 0 PCI-MSI-edge eth0-1 108: 1 0 0 0 3543759416 0 0 0 PCI-MSI-edge eth0-2 109: 1 0 0 0 0 0 1779865051 0 PCI-MSI-edge eth0-3 110: 1 67675566 0 0 0 0 0 0 PCI-MSI-edge eth0-4 111: 1 0 0 1969150613 0 0 0 0 PCI-MSI-edge eth0-5 112: 1 0 0 0 0 3071650933 0 0 PCI-MSI-edge eth0-6 113: 1 0 0 0 0 0 0 1885552263 PCI-MSI-edge eth0-7 У нас асимметрия 3/2 (in/out) - но при этом я наблюдаю нагрузку на ядрах обслуживающих TX очереди в разы более низкую чем на RX. Ассиметрия по пропускной способности или по пакетам? Изменено 26 апреля, 2010 пользователем nag-f Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 26 апреля, 2010 · Жалоба У нас асимметрия 3/2 (in/out) - но при этом я наблюдаю нагрузку на ядрах обслуживающих TX очереди в разы более низкую чем на RX.Ассиметрия по пропускной способности или по пакетам?По трафику: 0.62/0.38 (in/out)По ППСам: 0.49/0.51 (in/out) - сам был удивлен таким цифрам. p.s. ппс-ы "транзитные" - т.е. пакет с одной стороны вошел в сервер, из другой вышел - это 1 пакет. Я вообще правильно считаю? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 26 апреля, 2010 (изменено) · Жалоба Да я не про трафик, я про то на нем 4 tx-0 и 4 rx-0 - странные какие то названия... Да, действительно. Копирова в два захода. root@vyatta:~# cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 0: 2123219563 0 0 0 0 0 0 0 IO-APIC-edge timer ... [/quote] Т.е. если преобразовать это в более читаемый вид, то получается нечто вот такое: [code] [sva@monster ~]# cat ./123 | grep -E 'eth0|eth1' | sort --key=11 ; cat ./123 | grep x- | sort --key=11 106: 6627318 0 0 0 0 0 0 0 PCI-MSI-edge eth0-0 107: 1 0 2456882759 0 0 0 0 0 PCI-MSI-edge eth0-1 108: 1 0 0 0 3543759416 0 0 0 PCI-MSI-edge eth0-2 109: 1 0 0 0 0 0 1779865051 0 PCI-MSI-edge eth0-3 110: 1 67675566 0 0 0 0 0 0 PCI-MSI-edge eth0-4 111: 1 0 0 1969150613 0 0 0 0 PCI-MSI-edge eth0-5 112: 1 0 0 0 0 3071650933 0 0 PCI-MSI-edge eth0-6 113: 1 0 0 0 0 0 0 1885552263 PCI-MSI-edge eth0-7 97: 32714104 0 0 0 0 0 0 0 PCI-MSI-edge eth1-0 98: 1 0 4273815329 0 0 0 0 0 PCI-MSI-edge eth1-1 99: 1 0 0 0 1451874804 0 0 0 PCI-MSI-edge eth1-2 100: 1 0 0 0 0 0 1382611748 0 PCI-MSI-edge eth1-3 101: 1 2122138090 0 0 0 0 0 0 PCI-MSI-edge eth1-4 102: 1 0 0 2615031257 0 0 0 0 PCI-MSI-edge eth1-5 103: 1 0 0 0 0 1701540465 0 0 PCI-MSI-edge eth1-6 104: 1 0 0 0 0 0 0 3091448564 PCI-MSI-edge eth1-7 65: 5410684 0 0 0 0 0 0 0 PCI-MSI-edge eth2-rx-0 66: 2 0 5410696 0 0 0 0 0 PCI-MSI-edge eth2-rx-1 67: 2 0 0 0 5410698 0 0 0 PCI-MSI-edge eth2-rx-2 68: 2 0 0 0 0 0 5410698 0 PCI-MSI-edge eth2-rx-3 61: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-0 62: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-1 63: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-2 64: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth2-tx-3 74: 5410678 0 0 0 0 0 0 0 PCI-MSI-edge eth3-rx-0 75: 2 0 5410676 0 0 0 0 0 PCI-MSI-edge eth3-rx-1 76: 2 0 0 0 5410676 0 0 0 PCI-MSI-edge eth3-rx-2 77: 2 0 0 0 0 0 5410676 0 PCI-MSI-edge eth3-rx-3 70: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-0 71: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-1 72: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-2 73: 0 0 0 0 0 0 0 0 PCI-MSI-edge eth3-tx-3 83: 22487167 0 0 0 0 0 0 0 PCI-MSI-edge eth4-rx-0 84: 2 0 5448554 0 0 0 0 0 PCI-MSI-edge eth4-rx-1 85: 2 0 0 0 5448967 0 0 0 PCI-MSI-edge eth4-rx-2 86: 2 0 0 0 0 0 5448861 0 PCI-MSI-edge eth4-rx-3 79: 290676883 0 0 0 0 0 0 0 PCI-MSI-edge eth4-tx-0 80: 1 0 341760283 0 0 0 0 0 PCI-MSI-edge eth4-tx-1 81: 1 0 0 0 912401577 0 0 0 PCI-MSI-edge eth4-tx-2 82: 1 0 0 0 0 0 145093812 0 PCI-MSI-edge eth4-tx-3 92: 5163428 0 0 0 0 0 0 0 PCI-MSI-edge eth5-rx-0 93: 2 0 1810839 0 0 0 0 0 PCI-MSI-edge eth5-rx-1 94: 2 0 0 0 1881824 0 0 0 PCI-MSI-edge eth5-rx-2 95: 2 0 0 0 0 0 1811317 0 PCI-MSI-edge eth5-rx-3 88: 27615 0 0 0 0 0 0 0 PCI-MSI-edge eth5-tx-0 89: 1 0 152220 0 0 0 0 0 PCI-MSI-edge eth5-tx-1 90: 1 0 0 0 16 0 0 0 PCI-MSI-edge eth5-tx-2 91: 1 0 0 0 0 0 1 0 PCI-MSI-edge eth5-tx-3 Из которого видно, что на интерфейсах eth0 и eth1 (Broadcom Corporation NetXtreme II BCM5716) сконфигурировано по 8 очередей/векторов. Какие это очереди (Tx или RX) остается только догадываться - наверное совмещенные. При этом Вы сконфигурировли четные очереди на четные ядра, а нечетные на нечетные ядра. При этом eth0 и eth1 сконфигурированы симметрично. - В этом есть какой то глубинный смысл или же так карты лягла. Потому как в той pdf-ине, которую Вы дали про это не слова. И вообще она уже старовата - свежие igb дрова уже даже опций для сборки (там описанных) не имеют. Касаемо же интерфейсов eth2-eth5 - я тут вообще просто затрудняюсь понять что это. Вы говорили что eth5 стоит без нагрузки. Значит eth2-eth4 все же с нагрузкой - тогда почему их раздельные Tx и RX очереди сконфигурированы только на четные ядра? При этом Tx наблюдается только на eth4, а на eth2-eth3 его нет - почему? В конечном итоге я вообще не могу понять что делает этот сервер, в подобной конфигурации. Изменено 26 апреля, 2010 пользователем Jugernault Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 26 апреля, 2010 · Жалоба Из которого видно, что на интерфейсах eth0 и eth1 (Broadcom Corporation NetXtreme II BCM5716) сконфигурировано по 8 очередей/векторов. Какие это очереди (Tx или RX) остается только догадываться - наверное совмещенные. При этом Вы сконфигурировли четные очереди на четные ядра, а нечетные на нечетные ядра. При этом eth0 и eth1 сконфигурированы симметрично. - В этом есть какой то глубинный смысл или же так карты лягла. Потому как в той pdf-ине, которую Вы дали про это не слова. И вообще она уже старовата - свежие igb дрова уже даже опций для сборки (там описанных) не имеют.Касаемо же интерфейсов eth2-eth5 - я тут вообще просто затрудняюсь понять что это. Вы говорили что eth5 стоит без нагрузки. Значит eth2-eth4 все же с нагрузкой - тогда почему их раздельные Tx и RX очереди сконфигурированы только на четные ядра? При этом Tx наблюдается только на eth4, а на eth2-eth3 его нет - почему? В конечном итоге я вообще не могу понять что делает этот сервер, в подобной конфигурации. 1. Это пограничный маршрутизатор 2. Сейчас в работе только eth1, eth2, eth4 3. Относительно распределения по ядрам логика проста - 1-на очередь 1-но ядро. Относительно честности/нечетности просто так исторически сложилось. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jugernault Опубликовано 26 апреля, 2010 · Жалоба 1. Это пограничный маршрутизаторOk.2. Сейчас в работе только eth1, eth2, eth4Ok.3. Относительно распределения по ядрам логика проста - 1-на очередь 1-но ядро. Относительно честности/нечетности просто так исторически сложилось.Одна очередь одного сетевого интерфейса на ядро? - потому как в Вашем случае я вижу что на четных ядрах по 4 вектора от трех интерфейсов, а на нечетных по одной.При этом на eth2-tx-0-eth2-tx-3 пусто... Странно все это... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nag-f Опубликовано 26 апреля, 2010 (изменено) · Жалоба Одна очередь одного сетевого интерфейса на ядро? - потому как в Вашем случае я вижу что на четных ядрах по 4 вектора от трех интерфейсов, а на нечетных по одной.При этом на eth2-tx-0-eth2-tx-3 пусто... Странно все это... Оптимизацией на eth2-eth5 еще не занимались (не понятно распределение по pps). Ждем третий канал и активации порта в ix. Я говорил, про Broadcom. Изменено 26 апреля, 2010 пользователем nag-f Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 6 мая, 2010 · Жалоба CPU0 CPU1 CPU2 CPU3... 18: 1872943360 2570994338 796655800 1050572233 eth0 19: 1872943360 2570994338 796655800 1050572233 eth1 22: 1872943360 2570994338 796655800 1050572233 eth2 .... ну во первых тут нарисованы явно простые сетевые без очередей.... во вторых такое я видел на других матерях - возможно они были на ICH9, у нас где то такая стоит и на ней похожая картина (типа равномерное расспределение - но хорошо ли это ? - это ещё вопрос). Но это как на меня - не самый лучший вариант - лучше прибить руками на конкретное ядро конкретную очередь - к стате при загрузке модуля igb - там указывается сколько очередей плодить! 18: 2570994338 0 0 0 eth019: 1872943360 0 0 0 eth1 22: 1050572233 0 0 0 eth2 потому-что у меня результат (1) - только на ICH9 или ICH10 ядро 2.6.33 на других чипах - никак, ядро одно и то-же бралось я же написал, на цифры не смотрим... именно так - равномерное распределение ПО ВСЕМ ядрам. Прибить к одному ядру - можно на любой маме... Но вот если у вас 4 ядра и 2 сетевки.... короче так ! на ICHR7 тоже балансирует между прерываниями root@pppoe-3:/# cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 0: 144 8 13 10 IO-APIC-edge timer 1: 221 233 214 235 IO-APIC-edge i8042 8: 1 0 2 0 IO-APIC-edge rtc 9: 0 0 0 0 IO-APIC-fasteoi acpi 12: 1 1 1 1 IO-APIC-edge i8042 16: 0 0 0 0 IO-APIC-fasteoi uhci_hcd:usb5 17: 0 0 0 0 IO-APIC-fasteoi uhci_hcd:usb4 18: 19486 19389 19332 19490 IO-APIC-fasteoi libata 19: 0 0 0 0 IO-APIC-fasteoi ehci_hcd:usb1, uhci_hcd:usb2 20: 0 0 0 0 IO-APIC-fasteoi uhci_hcd:usb3 213: 597767 600416 598679 599478 PCI-MSI-edge eth1-rx-3 214: 769761 768596 767646 767593 PCI-MSI-edge eth1-rx-2 215: 600334 599495 600382 598240 PCI-MSI-edge eth1-rx-1 216: 3321150 3320663 3323179 3323672 PCI-MSI-edge eth1-TxRx-0 217: 0 0 1 0 PCI-MSI-edge eth1 218: 56950 56584 56573 56412 PCI-MSI-edge eth0-rx-3 219: 123556 123988 124014 123330 PCI-MSI-edge eth0-rx-2 220: 316043 316006 315524 314940 PCI-MSI-edge eth0-rx-1 221: 4365757 4365663 4365481 4367641 PCI-MSI-edge eth0-TxRx-0 222: 1 0 1 0 PCI-MSI-edge eth0 NMI: 0 0 0 0 LOC: 1777141 1518910 1650487 1830663 ERR: 0 MIS: 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
