[Dark_Angel]

У меня лично в продакте нет 3.х, но люди в соседних ветках, говорят, что по сравнению с последними 2.6 - 3.1 подфиксили сетевой стек. Ну и немного подтюнили. Поэтому посуществу сказать ничего не могу.

 

ITR надо подбирать исходя из параметров трафика. 500K pps - это 25К на очередь, или 14 Мб данных ( при пакете 600 байт ). Посмотрите сколько PHY идет в вашей карте на очередь, чтобы увидеть как быстро будет переполняться буфер без выгребания. Потом даете двойной-тройной запас и проверяете. Обязательно смотретите потери в этом случае. Обычно, я выставляю 2К прерываний на очередь, и жует до полки в порту. Иногда надо ринг подкручивать. Вообщем пару Мpps должны прожевать после этого.

 

Но я все же бы на вашем месте попробовал собрать на стенде 3.1 и прогнать синтетику. Я когда тестил ядра 2.6, у меня лучше всего получалось на 2.6.27. Вот на нем и плаваю.

Изменено 20 марта, 2012 пользователем Dark_Angel

[tawer]

Dark_Angel

я смотрю у многих в листингах присуствуют отдельные очереди tx / rx, у меня же на 82599

eth2-TxRx-0
eth2-TxRx-1
eth2-TxRx-2
eth2-TxRx-3
eth2-TxRx-4
eth2-TxRx-5
eth2-TxRx-6
eth2-TxRx-7
eth2-TxRx-8
eth2-TxRx-9
eth2-TxRx-10
eth2-TxRx-11
eth2
eth5-TxRx-0
eth5-TxRx-1
eth5-TxRx-2
eth5-TxRx-3
eth5-TxRx-4
eth5-TxRx-5
eth5-TxRx-6
eth5-TxRx-7
eth5-TxRx-8
eth5-TxRx-9
eth5-TxRx-10
eth5-TxRx-11
eth5

это особенность железа или новых версий драйверов?

Изменено 22 марта, 2012 пользователем tawer

[NiTr0]

Лимит кол-ва очередей в железе есть все же. TxRx либо раздельных может быть для интерфейса в сумме не более, чем 4/8/сколько там для чипа.

[tawer]

Лимит кол-ва очередей в железе есть все же. TxRx либо раздельных может быть для интерфейса в сумме не более, чем 4/8/сколько там для чипа.

не зависит от RSS, сколько не поставь, всегда TxRx вместе

[NiTr0]

Конфигурится в опциях драйвера еще, совмещять/не совмещать. Ман почитайте.

[tawer]

Конфигурится в опциях драйвера еще, совмещять/не совмещать. Ман почитайте.

ман я изучил, Вы конкретно можете написать какая опция отвечает за это? Спасибо.

[Dark_Angel]

Это гибридные очереди. Рекомедуется использовать именно их, т.к. Tx обычно очень дешевый, а Rx наоборот - дорогой. Поэтому я бы ничего не менял. Кстати в этой теме это уже обсуждалось.

[Ivan_83]

Тх "дешёвый" за счёт того что генерится по факту "данные переданы, можете юзать память-буфера как хотите", совмещение с Rx вполне логично.

[NiTr0]

QueuePairs опция модуля.

[tawer]

QueuePairs опция модуля.

в новых ixgbe такой опции уже нет

[Max P]

а куда в 3.1 дели отключение BKL или его там окончательно уже вырезали?

[Alex/AT]

Вырезали полностью в 2.6.39. Он и оставался то только в tty.

Изменено 27 марта, 2012 пользователем Alex/AT

[Max P]

ну тогда прикольно, _raw_spin_lock у меня никуда не исчезло, сервер так и подтупляет, правда трафа теперь гигабит в сумме, а не 800

[telecom]

ну тогда прикольно, _raw_spin_lock у меня никуда не исчезло, сервер так и подтупляет, правда трафа теперь гигабит в сумме, а не 800

Напомните, пожалуйста, какие так у Вас задачи крутятся?)

[Max P]

Вообщем железка - Intel Corporation S5520UR/S5520UR + 2x Xeon5504, 4 гига памяти, основная сетевуха - двухпортовая Intel E1G42ET PCIe:2.5Gb/s:Width x4 чип 82576. В момент начала лага трафик суммарно 800 Мбит/сек на каждом порту (примерно по 130кппс). Из задач - нат и шейпер hfsc+u32. Из тюнинга сетевух - ring-буфер 3096 на каждом порту + каждый вектор на свое ядро с размазыванием примерно поровну по всем ядрам. Загрузка ядер около 45-50%.

 

сопсна сама трабла описана тут

[telecom]

сопсна сама трабла описана тут

У меня похожие симптомы (_raw_spin_lock), в связи с чем, напишите, пожалуйста, что точно крутиться на этом тазике (в процессах еще и ipt_NETFLOW видно, но Вы о нем не говорите).

Еще, есть мнение, что два проца это плохо. У меня два 5650. Думаю поставить один 5690.

Изменено 27 марта, 2012 пользователем telecom

[Alex/AT]

Max P, напомните, ядро - x86/PAE или x86_64?

[Max P]

на данный момент ядро 3.1.10-gentoo-r1, x86_64, igb-3.3.6, perf top в обычном режиме выглядит так:

 

             samples  pcnt function               DSO
            _______ _____ ______________________ ___________________________________________________________

            1220.00  9.1% _raw_spin_lock         vmlinux
             826.00  6.1% igb_poll               /lib/modules/3.1.10-gentoo-r1/kernel/drivers/net/igb/igb.ko
             700.00  5.2% hfsc_enqueue           /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/sch_hfsc.ko
             596.00  4.4% u32_classify           /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/cls_u32.ko
             532.00  4.0% ip_route_input_common  vmlinux
             387.00  2.9% __slab_alloc           vmlinux
             371.00  2.8% ipt_do_table           vmlinux
             347.00  2.6% ____nf_conntrack_find  vmlinux
             308.00  2.3% irq_entries_start      vmlinux
             265.00  2.0% sfq_enqueue            /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/sch_sfq.ko
             240.00  1.8% apic_timer_interrupt   vmlinux
             235.00  1.7% _raw_read_lock_bh      vmlinux

[nuclearcat]

PCI IOV или как там его (связано кажется с виртуализацией) - выключен?

Прикрепите конфиг ядра, если не сложно.

[telecom]

на данный момент ядро 3.1.10-gentoo-r1, x86_64, igb-3.3.6, perf top в обычном режиме выглядит так:

 

             samples  pcnt function               DSO
            _______ _____ ______________________ ___________________________________________________________

            1220.00  9.1% _raw_spin_lock         vmlinux
             826.00  6.1% igb_poll               /lib/modules/3.1.10-gentoo-r1/kernel/drivers/net/igb/igb.ko
             700.00  5.2% hfsc_enqueue           /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/sch_hfsc.ko
             596.00  4.4% u32_classify           /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/cls_u32.ko
             532.00  4.0% ip_route_input_common  vmlinux
             387.00  2.9% __slab_alloc           vmlinux
             371.00  2.8% ipt_do_table           vmlinux
             347.00  2.6% ____nf_conntrack_find  vmlinux
             308.00  2.3% irq_entries_start      vmlinux
             265.00  2.0% sfq_enqueue            /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/sch_sfq.ko
             240.00  1.8% apic_timer_interrupt   vmlinux
             235.00  1.7% _raw_read_lock_bh      vmlinux

Вот у меня то же _raw_spin_lock и _raw_spin_lock_bh в топе. Думаю попробовать заменить два камня на один, но более мощный.

Все остальное у Вас вроде так и должно быть.

Можно конечно, оптимизировать iptables и шейпер, но очень большого прироста это у Вас не даст.

 

PCI IOV или как там его (связано кажется с виртуализацией) - выключен?

Прикрепите конфиг ядра, если не сложно.

У меня виртуализация вся обесточена, а _raw_spin_lock и _raw_spin_lock_bh в топе.

[Max P]

Приаттачил конфиг ядра, виртуализации вроде бы нет, кстати, а что такое DMA Coalescing feature в igb дровах? Описалово в readme больное какое то мутное и общими словами

 

telecom, а у вас шейпер какой? у нас u32 таблицы и hfsc, сдается мне что всё таки глюк софтовый, ибо у нас подвисает именно та сетевуха, на которой шейпер висит

.config.zip

[Max P]

вот так выглядит в момент глюка:

             samples  pcnt function                 DSO
            _______ _____ ________________________ ___________________________________________________________

           22405.00 67.4% _raw_spin_lock           vmlinux
            3599.00 10.8% rb_next                  vmlinux
            2125.00  6.4% hfsc_dequeue             /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/sch_hfsc.ko
             323.00  1.0% igb_poll                 /lib/modules/3.1.10-gentoo-r1/kernel/drivers/net/igb/igb.ko
             294.00  0.9% u32_classify             /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/cls_u32.ko
             245.00  0.7% ____nf_conntrack_find    vmlinux
             238.00  0.7% ip_route_input_common    vmlinux
             238.00  0.7% hfsc_enqueue             /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/sch_hfsc.ko
             196.00  0.6% update_vf                /lib/modules/3.1.10-gentoo-r1/kernel/net/sched/sch_hfsc.ko

трафик около гигабита, 160кппс

[Max P]

О, чиста случайно в момент глюка решил снести нафиг шейпер - и о чудо - как только снес на ifb0 - сетевуха тут же разлипла, будем наблюдать еще

[telecom]

telecom, а у вас шейпер какой? у нас u32 таблицы и hfsc,

то же самое

[QWE]

Хочу собрать бордер на БУ железке HP Proliant DL360G5 2 х Quad-Core Intel® Xeon® Processor E5320 (1.86 GHz 80 Watts, 1066 FSB) или HP ProLiant DL365 G5 2x Quad Core AMD 2.3GHz

 

Встроенная сетевуха - 2 многофункциональных 1-портовых 1 Gb/s HP NC373i (на базе Broadcom 5708S) c поддержкой iSCSI Boot & Acceleration, TCP Offload Engine и RDMA

 

На сайте broadcom http://www.broadcom.com/collateral/pb/5708S-PB08-R.pdf

 

Performance-focused – optimized for throughput and CPU utilization

• Adaptive interrupts

• 2.5 Gigabit Ethernet

• RSS reduces CPU utilization on multi-CPU systems.

• MSI allows interrupt distribution in a multi-CPU host system.

• PCI Express host interface allows a low-latency access to CPU and memory resources.

 

В случае проблем с сетевой картой доустановить сетевуху Intel EXPI9402PT (на шине PCIe) чип Intel 82576 которая умеет:

 

Intel® I/O Acceleration Technology (Intel® QuickData Technology, MSI-X, RSS, Direct Cache Access, checksum and segmentation offload, header splitting/replication, low latency interrupts), 16Rx/16Tx queues/port, jumbo frames, Intel® VT for Connectivity (Virtual Machine Device Queues (VMDq), Virtual Machine Direct Connect (VMDc - PCI-SIG SR-IOV based), Security (IPsec offload, LinkSec3), IEEE 1588 (time stamp)

 

До какого значения pps и Мбит/с хватит такого сервера? Не уткнется эта платформа в частоту работы памяти (DDR2-667/533) ? Проц вроде на шине 1066

Если у кого есть опыт сборки бордера на БУ железе буду благодарен за советы/рекомендации/мнения.

 

PS

Может несовсем по теме, но в этой ветке очень интересно.