[Jugernault]

Ну что? - результаты есть?

[dbask]

в связи с нехваткой времени на отладочные работы было решено переходить сразу на бондинг, но тут возникли трудности с балансировкой трафика по двум интерфейсам

 

конфиг в кратце:

 

ifcfg-eth2.722 и ifcfg-eth4.722:

 

# Intel Corporation 82576 Gigabit Network Connection

DEVICE=eth2.722 (eth4.722 )

BOOTPROTO=none

ONBOOT=yes

TYPE=Ethernet

VLAN=yes

USERCTL=no

MASTER=bond722

SLAVE=yes

 

 

ifcfg-bond722:

# Intel Corporation 82576 Gigabit Network Connection

DEVICE=bond722

BOOTPROTO=none

ONBOOT=yes

#HWADDR=00:1b:21:51:9f:90

TYPE=Ethernet

IPADDR=x.x.x.190

NETMASK=255.255.255.252

USERCTL=no

BONDING_MASTER=yes

 

в модпробе conf:

alias bond722 bonding

options bonding miimon=50 mode=4 (LACP)

 

настройки на каталисте:

port-channel load-balance src-dst-mac

на обоих интерфейсах порт ченела: channel-group 3 mode active или passive

 

в результате каталист ни один из интерфейсов не поднимает, да и пакеты через bond722 не ходят,

 

 

попробовал изменить конфиг на:

 

options bonding miimon=50 mode=0

 

изменил настройки на каталисте:

 

на обоих интерфейсах порт ченела: channel-group 3 mode on

 

 

bond722 - зацепился с каталистом корректно, но балансировки трафика при копировании тест файла замечено не было, пакеты ходили только через один физ интерфейс

 

порекомендуйте плиз настройки бондинга 82576 с каталистом на стыке: ( linux border if_bond722: x.x.x.190/30 ) ========= [catalyst] ---------( x.x.x.189/30 upstream cisco border)

 

спасибо.

[Elisium]

конфиг в кратце:

 

настройки на каталисте:

port-channel load-balance src-dst-mac

Имхо, проблема в балансировке по макам. Маки же что на циске, что на софтроутере не меняются.

Попробуйте выставить на циске балансировку по ипам.

И попробуйте прокачать тестовые файлы с двух РАЗНЫХ ипов.

[telecom]

в связи с нехваткой времени на отладочные работы было решено переходить сразу на бондинг

А мы уже отказываемся от бондинга. Как ни крути, сбор и разбор пакетов по разным сетевухам то же ест ресурсы.... И еще повышаются задержки...

Смотрите в сторону 10G

ps

800 мбит/с на гигабитном интерфейсе это очень хорошо!!!

[nickD]

А мы уже отказываемся от бондинга. Как ни крути, сбор и разбор пакетов по разным сетевухам то же ест ресурсы.... И еще повышаются задержки...

Смотрите в сторону 10G

Мы то же в сторону 10G смотрим.

На какой сетевухе 10G остановились?

[vitalyb]

dbask

У вас не физические интерфейсы, а вилановые объединены в бонд? Если так, то не удивительно, что они договориться не могут.

 

Кроме этого надо еще с обоих сторон указать тип балансировки как минимум по L3.

[dbask]

dbask

У вас не физические интерфейсы, а вилановые объединены в бонд? Если так, то не удивительно, что они договориться не могут.

 

Кроме этого надо еще с обоих сторон указать тип балансировки как минимум по L3.

Да именно влановые,

 

подскажите плиз, если балансировку на каталисте сделаю L3: port-channel load-balance src-dst-ip

 

под какой режим channel-group 3 mode (active,auto,desirable,on,passive) настраивать интерфейсы для корректной работы с вланами в бонде ?

 

Изменено 9 ноября, 2010 пользователем dbask

[vitalyb]

dbask

нужно физические интерфейсы объединять в бонд, а на бонде создавать влан - тогда должны договориться. смотрите /proc/net/bonding/ - там текущие настройки и состояние

[dbask]

Удалось удачно подружить линукс бордер с цыской при этом заработало L3 балансировка, вот мой конфиг:

 

ifcfg-eth1 и ifcfg-eth3

 

# Intel Corporation 82576 Gigabit Network Connection

DEVICE=eth1 (eth3)

HWADDR=00:1B:21:6C:50:CC (CE)

ONBOOT=yes

BOOTPROTO=none

TYPE=Ethernet

USERCTL=no

MASTER=bond0

SLAVE=yes

 

 

 

ifcfg-bond0:

 

# Intel Corporation 82576 Gigabit Network Connection

DEVICE=bond0

BOOTPROTO=none

ONBOOT=yes

VLAN=yes

USERCTL=no

BONDING_MASTER=yes

 

 

ifcfg-bond0.669:

 

# Intel Corporation 82576 Gigabit Network Connection

DEVICE=bond0.669

BOOTPROTO=none

IPADDR=x.x.x.14

NETMASK=255.255.255.252

NETWORK=x.x.x.12

ONBOOT=yes

VLAN=yes

USERCTL=no

 

 

modprobe.conf :

options bonding miimon=100 mode=4 xmit_hash_policy=layer3+4 max_bonds=1

 

 

 

cisco catalyst:

port-channel load-balance src-dst-ip

 

на обоих интерфейсах порт ченела:

 

channel-group 3 mode active

 

 

 

#sh etherchannel 3 summary

Group Port-channel Protocol Ports

------+-------------+-----------+-----------------------------------------------

3 Po3(SU) LACP Gi0/1(P) Gi0/24(P)

 

 

входящий и исходящий трафик на обоих физ интерфейсах корректно балансируется

 

 

 

реальный тест будет завтра, завтра вечером и отпишусь что как в результате

 

[dbask]

как это не печально звучит, но этот потолок в 800мбит вход и 800мбит исход трафик (суммарно 1,6Гбит) продолжает меня преследовать даже с бондингом :((

 

 

при этом заняты все 4 порта сетевой карты

 

 

на апстрим - бондинг (eth2, eth4) (ограничение у апстрима исключено)

в локалку - eth3 (на два ната смотрит), eth5 (на 3-й нат)

 

 

PerfTop: 2123 irqs/sec kernel:99.6% [1000Hz cycles], (all, 4 CPUs)

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

samples pcnt function DSO

_______ _____ ________________________________ ________________________________________________________________

 

1216.00 16.0% ip_route_input_common /lib/modules/2.6.36-zebra3/build/vmlinux

833.00 10.9% igb_poll /lib/modules/2.6.36-zebra3/kernel/drivers/net/igb/igb.ko

829.00 10.9% acpi_idle_enter_simple /lib/modules/2.6.36-zebra3/build/vmlinux

314.00 4.1% read_hpet /lib/modules/2.6.36-zebra3/build/vmlinux

312.00 4.1% igb_xmit_frame_ring /lib/modules/2.6.36-zebra3/kernel/drivers/net/igb/igb.ko

278.00 3.7% _raw_spin_lock /lib/modules/2.6.36-zebra3/build/vmlinux

251.00 3.3% __kmalloc_node_track_caller /lib/modules/2.6.36-zebra3/build/vmlinux

205.00 2.7% __alloc_skb /lib/modules/2.6.36-zebra3/build/vmlinux

198.00 2.6% dev_queue_xmit /lib/modules/2.6.36-zebra3/build/vmlinux

197.00 2.6% kmem_cache_alloc_node /lib/modules/2.6.36-zebra3/build/vmlinux

178.00 2.3% kfree /lib/modules/2.6.36-zebra3/build/vmlinux

165.00 2.2% ip_forward /lib/modules/2.6.36-zebra3/build/vmlinux

127.00 1.7% dev_hard_start_xmit /lib/modules/2.6.36-zebra3/build/vmlinux

114.00 1.5% kmem_cache_free /lib/modules/2.6.36-zebra3/build/vmlinux

113.00 1.5% __slab_free /lib/modules/2.6.36-zebra3/build/vmlinux

94.00 1.2% irq_entries_start /lib/modules/2.6.36-zebra3/build/vmlinux

93.00 1.2% eth_type_trans /lib/modules/2.6.36-zebra3/build/vmlinux

85.00 1.1% ip_rcv /lib/modules/2.6.36-zebra3/build/vmlinux

78.00 1.0% ip_finish_output /lib/modules/2.6.36-zebra3/build/vmlinux

75.00 1.0% skb_put /lib/modules/2.6.36-zebra3/build/vmlinux

69.00 0.9% acpi_safe_halt /lib/modules/2.6.36-zebra3/build/vmlinux

64.00 0.8% get_partial_node /lib/modules/2.6.36-zebra3/build/vmlinux

63.00 0.8% igb_alloc_rx_buffers /lib/modules/2.6.36-zebra3/kernel/drivers/net/igb/igb.ko

63.00 0.8% __slab_alloc /lib/modules/2.6.36-zebra3/build/vmlinux

54.00 0.7% __netif_receive_skb /lib/modules/2.6.36-zebra3/build/vmlinux

53.00 0.7% rt_intern_hash /lib/modules/2.6.36-zebra3/build/vmlinux

53.00 0.7% local_bh_enable /lib/modules/2.6.36-zebra3/build/vmlinux

50.00 0.7% __phys_addr /lib/modules/2.6.36-zebra3/build/vmlinux

49.00 0.6% _kc_netdev_alloc_skb_ip_align /lib/modules/2.6.36-zebra3/kernel/drivers/net/igb/igb.ko

48.00 0.6% bond_3ad_xmit_xor /lib/modules/2.6.36-zebra3/kernel/drivers/net/bonding/bonding.ko

40.00 0.5% nommu_map_page /lib/modules/2.6.36-zebra3/build/vmlinux

39.00 0.5% skb_release_data /lib/modules/2.6.36-zebra3/build/vmlinux

38.00 0.5% put_page /lib/modules/2.6.36-zebra3/build/vmlinux

38.00 0.5% skb_release_head_state /lib/modules/2.6.36-zebra3/build/vmlinux

37.00 0.5% __memset /lib/modules/2.6.36-zebra3/build/vmlinux

37.00 0.5% fib_table_lookup /lib/modules/2.6.36-zebra3/build/vmlinux

35.00 0.5% igb_unmap_and_free_tx_resource /lib/modules/2.6.36-zebra3/kernel/drivers/net/igb/igb.ko

34.00 0.4% sch_direct_xmit /lib/modules/2.6.36-zebra3/build/vmlinux

30.00 0.4% vlan_dev_hwaccel_hard_start_xmit /lib/modules/2.6.36-zebra3/kernel/net/8021q/8021q.ko

30.00 0.4% vlan_gro_common /lib/modules/2.6.36-zebra3/build/vmlinux

28.00 0.4% __napi_complete /lib/modules/2.6.36-zebra3/build/vmlinux

26.00 0.3% vlan_gro_receive /lib/modules/2.6.36-zebra3/build/vmlinux

25.00 0.3% check_addr /lib/modules/2.6.36-zebra3/build/vmlinux

24.00 0.3% bond_xmit_hash_policy_l34 /lib/modules/2.6.36-zebra3/kernel/drivers/net/bonding/bonding.ko

23.00 0.3% __do_softirq /lib/modules/2.6.36-zebra3/build/vmlinux

22.00 0.3% dma_issue_pending_all /lib/modules/2.6.36-zebra3/build/vmlinux

21.00 0.3% _raw_spin_lock_irqsave /lib/modules/2.6.36-zebra3/build/vmlinux

21.00 0.3% skb_push /lib/modules/2.6.36-zebra3/build/vmlinux

 

 

 

уже голову сломал, в чем может быть трабла??, узкое место выходит где то еще надо искать.., только где?

 

может увеличит параметр net.core.rmem_max (сейчас стоит 4194304) ?

 

 

[SokolovS]

Уверены что проблема именно в linux-роутере? Можете его исключить из цепочки на время, что бы проверить?

 

InterruptThrottleRate пробовали крутить? Поставь динамику или попробуй отключить вобще.