[rapsody]

Добрый день!

Имеется сервер с матерью Intel S5520UR,cpu 2xE5506 2.13Ghz, сетевые карты 4 x Intel 82576. RHEL6 на борту. Собран etherchanel: 2 порта в сторону аплинка, 2 порта в сторону ядра сети.

Используется в качестве пограничного маршрутизатора. В данной конфигурации вытягивает 1.8 гигабита при 3 тысячах активных абонентов.

 

Поставили сервер с матерью SuperMicro X8QB6-F, cpu 4хE7-4807 1.86Ghz с теми же сетевыми. С тем же RHEL6. Все отконфигурено и подключено так же как с первым сервером.

 

Но при включении в сеть в качестве маршрутизатора, резко вырастает пинг,бешено растут Rx dropped и overruns и падает пропускная способность приблизительно до 200Мбит.

При этом сам сервер тупит неимоверно даже локально, но нагрузка на процессоры нулевая. Тот же сервер собранный на столе свободно гоняет гигабит между двух компов.

 

Скорее всего проблема в матери SuperMicro X8QB6-F, но что именно в ней подкрутить не знаю. Может кто сталкивался с такой проблемой и сможет помочь ?

[passer]

Hyper-Threading отключен? Очереди как-то закреплены за ядрами?

[rapsody]

Hyper-Threading отключен? Очереди как-то закреплены за ядрами?

 

И отключал и включал. Очереди закреплены. Ни один процессор не грузится больше чем на 2-3%. Все конфиги максимально приближены к варианту с первым сервером, а он в принципе вытягивал нагрузку.

[dmvy]

flow-control? linkagg делали через bonding? route cache забивается? какое ядро в этой шляпе?

[rapsody]

flow-control? linkagg делали через bonding? route cache забивается? какое ядро в этой шляпе?

 

1. flow-control попробовали выключать, переведя со стороны сервера порты в принудительные 1Гбит - не помогло

2. агрегацию линков делали через бондинг, да...

3. Не могу сказать забивается или нет. Как проверить ? Если делать ip -s route show cache, то понятно дело очень много записей показывает. Но и клиентов немало активных. К тому же на старом сервере ситуация должна быть аналогичной, но он работает нормально. И думаю даже если он забит, то на появление dropped и overrun пакетов на сетевых интерфейсах не из-за роут кэша.

4. Ядра ставили разные. На данный момент 2.6.32-71.el6.x86_64.

 

Я думаю это связано с большим PPS. Потому как даже при нагрузке в 200Мбит, но многими клиентами - появляется много dropped пакетов. И в то же время нагрузка в 1Гбит iperf'ом не вызывает ни одного дропнутого пакета.

[dmvy]

flow-control? linkagg делали через bonding? route cache забивается? какое ядро в этой шляпе?

 

1. flow-control попробовали выключать, переведя со стороны сервера порты в принудительные 1Гбит - не помогло

2. агрегацию линков делали через бондинг, да...

3. Не могу сказать забивается или нет. Как проверить ? Если делать ip -s route show cache, то понятно дело очень много записей показывает. Но и клиентов немало активных. К тому же на старом сервере ситуация должна быть аналогичной, но он работает нормально. И думаю даже если он забит, то на появление dropped и overrun пакетов на сетевых интерфейсах не из-за роут кэша.

4. Ядра ставили разные. На данный момент 2.6.32-71.el6.x86_64.

 

Я думаю это связано с большим PPS. Потому как даже при нагрузке в 200Мбит, но многими клиентами - появляется много dropped пакетов. И в то же время нагрузка в 1Гбит iperf'ом не вызывает ни одного дропнутого пакета.

1. попробуйте с помощью ethtool выключить flow-control на интерфейсах

2. были проблемы, что в бондинге нельзя использовать множество очередей, которые предоставляет драйвер сетевой карты. попробуйте на 1Гбит запустить или балансировку по L3 сделать.

3. посмотрите, какой результат даст разовый flush на route-cache после деградации в 200Мбит.

4. в ядрах 3.4 и 3.6 вроде убрали route-cache. как раз собираемся тестировать этот момент.