Бордер на линуксе - мала производительность. Что делать?

[SergKz]

Стоит на входе от аплинка (150 мегабит) такая комбинация:

1. Сразу на входе стоит шлюз с Fedora14 (минимальный комплект) на P4-E5300, загруз процессора в среднем 3-5%. Материнка не серверная.

Интеловский чипсет, две встроенных гигабитных сетевухи rtl8169.

Функции - BGP, NAT, шейпинг по каналам - провайдер/пиринг. По условиям подключения входящий трафик ограничиваем мы.

Входящая сетевуха подключена через гигабитный коммутатор прямо к провайдеру и через тот же физлинк к пиринговым партнерам (почему тот же - там оптика,длинная,арендованная и одна), исходящая поделена на два вилана - правайдер и пиринг, по каждому исходящий трафик зарезан бесклассовым tc (sfq или tbf - эффект один).

2. За ним стоит клиентский шейпер. Та же Fedora14. На серверной платформе Intel - два проца Quad, два гигабита встроенных. Трафик режется по абонентам классами tc. Загрузка процессоров от 3 до 10%.

Входящая сетевуха так же, как на первом шлюзе, поделена на два вилана, никакого шейпинга на ней не поднято. Соединена с первым шлюзом прямым патчиком.

=====

А вот при работе начинается интересное: на входном шлюзе всё летает.

На втором (шейпере) входящий трафик упорно не поднимается выше 90-110 мегабит. Даже если отключаем шейпинг на входном вообще.

Настройки TCP само собой крутили - wmem/rmem, conntrack_max и так далее. Эффекта ноль.

Очереди ethX queuelen тоже увеличивали, до 10000 - не помогает.

Даже убирали виланы, оставляли только физику, то есть виланы исключили.

Прерывания сетевух по ядрам разнесли.

=====

Какие соображения? Что мы глобальное упустили?

[zhenya`]

я бы сетевушки поменял..

[Harlequin]

Если мне не изменяет память - RTL8169 не поддерживает jumbo-фреймы.

Не уверен, что это является главной причиной проблемы, но свои "три гроша" вполне может вносить.

[SergKz]

Кстати чуть отклонясь: чем народ меряет загрузку интерфейсов на линуксе?

Есть подозрение, что iptraf врёт безбожно.

[Zaqwr]

SergKz мне нравится ifstat

[GFORGX]

У Вас беспорядок и в организации и в голове - не место на бордере шейперу, NAT и прочему conntrack-у. Хотите производительноcти - убираете всё это. Это во-первых. Во-вторых, настройки TCP-стека в sysctl влияют только на локальную работу TCP-стека. На роутинг это никакого влияния не оказывает.

 

Кстати чуть отклонясь: чем народ меряет загрузку интерфейсов на линуксе?

Есть подозрение, что iptraf врёт безбожно.

bwm-ng с ключом -d.

Edited August 28, 2011 by GFORGX

[cmhungry]

вместо 8169 поставить серверные гиговые сетевушки интел.

[EvilShadow]

8169 на pci express запросто выжимает 700-800 мегабит. У автора затык задолго до таких цифр, так что замена сетевух может ничего и не дать.

[dignity]

Встроенные сетевые карты - зло. Заменить на Intel - разнести прерывания.

Можно посмотреть на mpstat -P ALL сколько находимся в прерываниях...

[marikoda]

sar -n DEV 10

[s.lobanov]

Кстати чуть отклонясь: чем народ меряет загрузку интерфейсов на линуксе?

Есть подозрение, что iptraf врёт безбожно.

 

Как говорится, это не бага, а фича, а если серьёзно, то всё зависит от методики измерения(как считать производную по времени).

Самый верный способ - смотреть счётчики с помощью ifconfig. Чтобы построить графики просто снимаете эти счётчики по snmp и рисуете графики с помощью mrtg/cacti/прочего. Очень рекомендую снимать 64-битные счётчики, т.к. 32-битные слишком быстро переполняются

[BasilKlyev]

Насколько помнится все федеральные провайдеры выдают полосу по формуле Upload+Download=ширина канала по договору.

Сложите свои средние 100 мегабит с аплоадом - вот и получится 150 мегабит аплинка.

[s.lobanov]

BasilKlyev

ммм... приведите пример как такое сделать, например на cisco(ios)

[dignity]

насчет аплоад+даунлоад=полоса... Ерунда... У меня конкретно прописан аплод и даунлод в договоре - это 1, второе, если не прописан, то выдается дуплекс. Или я вас не понял) - это ТТК, у Мегафона так же.

[Butch3r]

Насколько помнится все федеральные провайдеры выдают полосу по формуле Upload+Download=ширина канала по договору.

Сложите свои средние 100 мегабит с аплоадом - вот и получится 150 мегабит аплинка.

чушь полная, перепробовали 1000 и 1 оператора за свою историю - никогда такого не было