Перейти к содержимому
Калькуляторы

Linux NAS+shaping тормозит на 500+ клиентах 50Kpps кушает почти 100% одной головы E2180

У меня была/есть похожая проблема, двухголовый тазик на Xeon (стареньких) и сетевухах 82545GM (шина PCI-X), так вот, как только PPS становилось больше 30K, сеть умирала. Поставил более дохлую машину, но с сетевухой 82571EB (PCI-Express) - до 50K PPS (нат+OSPF) проц вытягивал. Так что от сетевой карты ОЧЕНЬ многое зависит

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а вы не пробовали убрать правила iptables?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Присоединяюсь, 700 в iptables - очень много. Включите reverse path фильтр.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поясню почему спросил про iptables.

Я не спец в этих вопросах но мои наблюдения показывают что при цепочках от 500 и более.

Загрузка ЦПУ может резко подскакивать что называется "на ровном месте". Ну и конечно 700 это уже точно не "ровное место".

Практически уверен, что Ваша проблема уйдет если уберете такие длиные цепочки.

 

У меня сейчас шейпы на PPP интефейсах. Правила iptables с короткими цепочками (20-30 правил). Спасает ipset.

Ощутимые тормоза начинаются при 1000 онлайн. При 1200 уже серьезно тормозит.

Изменено пользователем Ivan Rostovikov

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

vadislaus, vitalyb, Ivan Rostovikov - спасибо за _конкретную_ информацию, стало более понятно, что потенциал ещё есть, надо жать дальше.

 

Отвечаю всем вышеперечисленным + 2c2i:

Да, правила отрубал. Точнее как отрубал - не совсем. В той длинной 700-правильной цепочке ставил первым правилом -j RETURN. И ничего не менялось. Поэтому подозрения на iptables сразу рассеялись, но теперь я всё равно буду его иметь ввиду, ещё раз спасибо за конкретную инфу.

 

И ещё - пришла бредовая идея: может быть одна корневая htb дисциплина на imq/ifb будет быстрее, чем сотни на клиентских ppp-интерфейсах ? Судя по коду ведра это даст некоторую прибавку, да, особенно если все структуры улягутся в кеш процессора. К сожалению их оттуда будут вышвыривать некоторые необходимые userspace софтины, но тут то уже будет можно призвать на помощь разделение процессорного труда ? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

RushOnline, успокой и меня, если отключить полностью все шейперы, ничего не меняется? Извиняюсь если ты уже это писал.

А oprofile запускал?

 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

RushOnline, успокой и меня, если отключить полностью все шейперы, ничего не меняется? Извиняюсь если ты уже это писал.

А oprofile запускал?

Шейперы отключать чревато, ибо мы то покупаем трафик, а не полосу :( Но я всё же попробую - просто не всё сразу, и отпишусь. К тому же после отрубания шейперов будет непросто их вернуть - текущее состояние держит самописный демон, и в нём такой функции нед. Ну да ладна, скину 800 человек с линии :) :(

 

Насчёт oprofile - ядро скомпилировано без него, менять ведро страшновато, ибо хз какие там были наложены патчи, а исходники все утеряны.

Изменено пользователем RushOnline

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

RushOnline, успокой и меня, если отключить полностью все шейперы, ничего не меняется? Извиняюсь если ты уже это писал.

А oprofile запускал?

Новые данные: P4 D (2x3.4GHz) 600 абонентов, шейпинг отключен, загрузка до 30%. Похоже шейперы не при чём ?!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А вы не пробовали совсем отключать conntrack? И что в ethtool -S eth0 ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день. Имею аналогичную проблему.

Железо Xeon 2.4 GHz 4 ядра, 4 гига ECC памяти, 2 сетевых Intel 82572EI.

ОС Ubuntu Server 9.10 amd64

 

Возникло, правда, одно сомнение.... как убедиться, что PPPoE работает в kernel mode?

Изменено пользователем LeStat

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Посмотреть, с какими ключами запущен pppoe-server

       -k     The -k option tells the server to use kernel-mode PPPoE on Linux.  This option  is  available  only  on
              Linux kernels 2.4.0 and later, and only if the server was built with kernel-mode support.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

root@funs-nas-1:~# /usr/sbin/pppoe-server -I eth1.254 -L 10.100.254.254 -N 10 -k

/usr/sbin/pppoe-server: invalid option -- 'k'

 

делал по этому мануалу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сейчас собрал из сырцов - опция доступна..... сейчас посмотрим, как повлияло на результат.... сообщу...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Всё стало отлично. 3-5% на вечернем пике... перестали теряться пакеты и пинги увеличиваться....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.