[heap]

Всем доброго времени!

 

Прошу совета в вопросе сабжа. Предположим есть сеть, построенная на управляемом оборудовании Layer 2, которое позволяет реализовать Mac-IP-Port-Binding. Иными словами каждый клиент жёстко привязан к порту по своему маку и ай-пи адресу. Далее есть два варианта развития событий (точнее их больше, но рассматривается только два). Самый древний и простой - клиент устанавливает с сервером соединение VPN (не важно - PPPoE или PPTP), получает на ВПН какой-то ай-пи и по нему бегает в интернет. Оговоримся, что наиболее вероятно, что сервер работает под управлением Linux и там rp-pppoe/kernel-mode или accel-pptp. Второй вариант, клиент в случае пакета ограниченного только по скорости получает себе локальный адрес в сети и по нему бегает в интернет. В первом варианте есть масса GRE трафика, который почти не цепляет фаервол и уж тем более не цепляет u32 в iproute. Зато на каждый pppX вешается шейпер htb и жмет трафик только этого клиента (или tbf, что еще более экономично в плане ресурсов). Во втором варианте на локальном интерфейсе роутера висит htb c кучей классов, на которые еще довинчена sfq, и при помощи несметного количества фильтров трафик заворачивается в положенный ему класс. И тут собственно встает вопрос. ВПН имеет свои недостатки - начиная от устройств клиентов, не имеющих возможности бегать в инет по любым протоколам, кроме плоского ай-пи, и заканчивая сложностями разруливания большого числа туннелей на самом сервере. Значит просто и красиво дать плоский ай-пи клиенту, у которого со включением компа уже есть инет. Но! Даже на сервере с процессором Core 2 Duo серии 7xxx при трафике порядка 10000 пакетов и условии задействования одного интерфейса со стороны обслуживания клиентов, а также при навешивании 1500 правил (классов htb и фильтров с rate-limit) на интерфейс, нагрузка одного из ядер прыгает в 100% и начинаются проблемы с качеством обслуживания. Выходит, что обслужить более 1500 клиентов этот сервер просто не в силах. Тестировалось в один поток с учетом SNAT при помощи iperf по протоколу UDP.

 

Как данную ситуацию разруливают операторы связи, у которых клиентская база насчитывает пару десятков тысяч клиентов? Они все-таки имеют у себя в сети какой-то ВПН, или как-то иначе решают проблему обжатия трафика, не наступая на грабли с кучей u32 фильтров, нагибающих процессор в известное состояние? И это без учета того, что возможно нужно как-то собрать NETFLOW стат по трафику клиента (даже откинув идею о fprobe и воспользовавшись ipt_netflow). Как быть в данной ситуации?

 

 

Заранее спасибо за любые рекомендации.

[martin74]

а почему ставим только один шейпер?

у меня вон впн серверов 5 штук....

[heap]

а почему ставим только один шейпер?

у меня вон впн серверов 5 штук....

Не совсем понял про один шейпер? Один на ппп? Ну не совсем один, а один шейпер на исход, и один фильтер с рейт-лимитом на вход. Но все равно эти фильтры цепляет только трафик на этом интерфейсе. А если же повесить шейпера на локальный интерфейс - матчится с горой фильтров будет гора трафика.

[martin74]

я имел в виду поставить несколько "Даже на сервере с процессором Core 2 Duo серии 7xxx"

и разделить между ними нагрузку.

[heap]

я имел в виду поставить несколько "Даже на сервере с процессором Core 2 Duo серии 7xxx"

и разделить между ними нагрузку.

Да нет - поставить несколько серверов не проблема. Суть вопроса скорее в том, что клиенту удобнее когда ВПНа нет (то есть он прямо через сервер бегает в инет). А серверу получается тяжелее когда ВПНа нет, потому как постоянно лопатятся куча фильтров на интерфейсе. И при росте PPS (например, начнут гонять телефонию или хз еще что) серверу может стать тошно при не очень большой нагрузке. Хотя...

Было интересно - кто-нибудь выпускает клиентов без ВПНа в интернет, как это дело построено и какую тянет нагрузку на используемом железе.