Jump to content
Калькуляторы

Какое ядро для PPPoE севера ? Linux PPPoE PPP

Какое ядро и патчи посоветуете выбрать для PPPoЕ сервера на машине quad core xeon 2.3 ?

2Г ОЗУ

3 сетевых адаптера.

1 смотрит в мир

2 в PPPoE

 

Трафик - 300-800 мгб/с суммарно.

800-900 абонентов онлайн.

TBF

ipset

 

Сейчас использую 2.6.29 работает более-менее стабильно (зависает раз в несколько месяцев)

Но последние месяцы с ростом абонентской базы и скоростей стали рости задержки при форвардинге пакетов.

Есть мнение, что замена ядра должна помочь.

На какое менять ?

 

Share this post


Link to post
Share on other sites

У меня 2.6.27 на одном стоит, на другом 2.6.31, на обоих загрузка примерно такая же, ничего не тормозит. На одном один Ксеон 5405 (с ядром 2.6.31 и загрузкой поменьше), на другом два 5450 (с ядром 2.6.27 и загрузкой побольше). На обоих Gentoo. Ни ipset ни tbf нету, режу скорость так - в инет по тарифу с помощью htb, а если маршрут приходит из пиринга, то отмечаю это при помощи realm и вообще не режу. Правда, еще на обоих серверах ДНС стоят.

Edited by vadimus

Share this post


Link to post
Share on other sites

2.6.31 - варит poptop + pppoe (kernel-mode).

2.6.32 - варит бордюр :).

Share this post


Link to post
Share on other sites
У меня 2.6.27 на одном стоит, на другом 2.6.31, на обоих загрузка примерно такая же, ничего не тормозит. На одном один Ксеон 5405 (с ядром 2.6.31 и загрузкой поменьше), на другом два 5450 (с ядром 2.6.27 и загрузкой побольше). На обоих Gentoo. Ни ipset ни tbf нету, режу скорость так - в инет по тарифу с помощью htb, а если маршрут приходит из пиринга, то отмечаю это при помощи realm и вообще не режу. Правда, еще на обоих серверах ДНС стоят.
И сколько чего при этом 5450 прожевывает?.

 

p.s. Заменил 2.6.27 на 2.6.31 на всех bras-ах, три месяца назад. - Полет нормальный.

 

Share this post


Link to post
Share on other sites

>а если маршрут приходит из пиринга, то отмечаю это при помощи realm

Пример можно ?

 

>2.6.31

 

Патчи ?

 

Какие опции при сборке ядра советуете ?

 

 

Edited by Ivan Rostovikov

Share this post


Link to post
Share on other sites
> 2.6.31

 

Патчи ?

 

Какие опции при сборке ядра советуете ?

Стандартное ядро ALT Linux p5.

Из дополнительных модулей ipset и ipt-netflow.

Делает NAT и Netflow, на прикладном уровне Quagga BGP без full view.

При переходе с 2.6.27 загрузка процессора снизилась почти вдвое, предположительно из-за новых драйверов для сетевых карт broadcom.

Работает непрерывно с момента установки около 80 суток.

Нагрузка CPU до 60%, трафик до 500+250 mbps и 80+80 kpps.

Share this post


Link to post
Share on other sites
И еще, каки е посоветуете настройки TCP стека и CONNTRACK для такой нагрузки ?
/bin/echo 196608 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max
/bin/echo 20 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_close
/bin/echo 21600 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established
/bin/echo 60 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_fin_wait
/bin/echo 15 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_last_ack
/bin/echo 30 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_syn_recv
/bin/echo 60 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_syn_sent
/bin/echo 60 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_time_wait
/bin/echo 131072 > /sys/module/nf_conntrack_ipv4/parameters/hashsize

 

Share this post


Link to post
Share on other sites

net.ipv4.netfilter.ip_conntrack_max = 1048576

net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 1800

net.netfilter.nf_conntrack_tcp_be_liberal=1

 

То есть таблица увеличена, таймаут уменьшен.

Без этого были переполнения.

Share this post


Link to post
Share on other sites

А нужно ли вообще трассировать (contrack) соединения на простом роутере ? NAT не делается.

Может ненадо и вовсе ?

Share this post


Link to post
Share on other sites
А нужно ли вообще трассировать (contrack) соединения на простом роутере ? NAT не делается.

Может ненадо и вовсе ?

Если нет НАТа, то ПМСМ незачем.

Share this post


Link to post
Share on other sites

Jugernault

/bin/echo 196608 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max
Интересно, как было получено число 196608? Вообще правило простое - ip_conntrack_max должен быть равен hashsize.

Share this post


Link to post
Share on other sites
Jugernault
/bin/echo 196608 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max
Интересно, как было получено число 196608? Вообще правило простое - ip_conntrack_max должен быть равен hashsize.

Ну вообще то по дефолту отношение ip_conntrack_max к hashsize - 8 к 1...

А доводить его до 1 к 1 - это не догма...

 

Share this post


Link to post
Share on other sites
/bin/echo 196608 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max

/bin/echo 131072 > /sys/module/nf_conntrack_ipv4/parameters/hashsize

На один элемент массива максимум в среднем полтора конекшена? А в чём смысл? Ладно бы два. Оптимальнее 1:1. Нет?

Share this post


Link to post
Share on other sites
Jugernault, а почему не 16 к 1? Здесь я так понимаю дело в экономии RAM. Просто при раскладе отличном от 1 к 1 увеличивается количество элементов в линейных списках (которые является элементами хеша). А поскольку внутри таких списков происходит линейный поиск - это определенная потеря производительности.

Share this post


Link to post
Share on other sites

+ перевести jhash.h на использование функции lookup3, хеш-функции Дженкинса активно используется в nf_conntrack и sfq

+ route-кеш перевести на trie

Edited by DemYaN

Share this post


Link to post
Share on other sites
+ route-кеш перевести на trie
FIB_TRIE/FIB_HASH это не роутинговый кеш, это способ хранения таблицы маршрутизации. Если кеш работает эффективно (мало miss-ов), то разницы между FIB_TRIE/FIB_HASH не чувствуется.

 

хеш-функции Дженкинса активно используется в nf_conntrack и sfq
Еще в dst cache очень активно.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this