Alba Posted September 1, 2008 Posted September 1, 2008 канал в интернет 60 мегабит, юзеров 5 с лишним тыщ, больше двух тыщ - анлимщики... натит и шейпит - двухпроцессорный хеон... появляется здравая мысль, что пора-бы уже поставить специально обученную железку... вопрос - какую? присматривался к Cisco 7204 (npe 200, 300, 400, на большее денег вряд-ли сразу будет), да сказали, что циски тяжело справляются с натом... что посоветуете? из расчёта, скажем, роста интернета до 100-120 мегабит и до 8 тыщ узеров? Вставить ник Quote
Konstantin Klimchev Posted September 1, 2008 Posted September 1, 2008 (edited) канал в интернет 60 мегабит, юзеров 5 с лишним тыщ, больше двух тыщ - анлимщики... натит и шейпит - двухпроцессорный хеон... появляется здравая мысль, что пора-бы уже поставить специально обученную железку... вопрос - какую? присматривался к Cisco 7204 (npe 200, 300, 400, на большее денег вряд-ли сразу будет), да сказали, что циски тяжело справляются с натом... что посоветуете? из расчёта, скажем, роста интернета до 100-120 мегабит и до 8 тыщ узеров? могу сказать, что 7206 NPE-G2 от'nat'ит 200-250 мбит, тут было на форуме по весне об этом. Могу присоединиться, накладывается на это значение. В том же посте было и про asa. Попробуйте в этом направлении "порыть". А шейпер оставить на том, что есть ЗЫ. Мы прикупили 2-е ASA5520 (дешевле одной NPE-G2) как раз под nat'овские дела, но пока еще не ввели в эксплуатацию. Edited September 1, 2008 by Konstantin Klimchev Вставить ник Quote
azazello Posted September 1, 2008 Posted September 1, 2008 двухпроцессорный хеон... - намного мощнее чем данная циска даже с npeG2 :) и 60 мегабит это для писюка просто семечки. jab подтвердит ;) Вставить ник Quote
Konstantin Klimchev Posted September 1, 2008 Posted September 1, 2008 двухпроцессорный хеон... - намного мощнее чем данная циска даже с npeG2 :) и 60 мегабит это для писюка просто семечки. jab подтвердит ;) о чем я и говорю. Для нат - лучше на asa посмотреть, как вариант Вставить ник Quote
ugluck Posted September 1, 2008 Posted September 1, 2008 может, с сервачком поколдовать Вам? странно даже, с чего бы ему загибаться от 60мбит? не на винде сервак часом? Вставить ник Quote
mikevlz Posted September 1, 2008 Posted September 1, 2008 да нет, товарищ написал, что для NAT лучше писюк. грамотно настроеный зеон порвет циску на тряпки. Скорее всего и ту же самую ASA Вставить ник Quote
Alba Posted September 5, 2008 Author Posted September 5, 2008 хм... действительно, дело не в железе оказалось... gentoo linux 2.6.26 локал воткнут в ethX (физ интерфейс), а инет приходит хоть и в отдельный физ интерфейс, но, тегированным вланом (соотв. vlanXXX). при шейпинге исходящего трафика (включении шейпера на влане) железка через час-полтора начинает жутко тормозить... никто не сталкивался? Вставить ник Quote
nuclearcat Posted September 5, 2008 Posted September 5, 2008 Для начала глянуть в dmesg и другие логи. Что top говорит? Вставить ник Quote
Alba Posted September 5, 2008 Author Posted September 5, 2008 Для начала глянуть в dmesg и другие логи.Что top говорит? в логах - тишина...top говорит, что ksoftirqd старается, кушает процессор :) Вставить ник Quote
vadimus Posted September 6, 2008 Posted September 6, 2008 Какие сетевушки? У меня тоже подобный сервер (только процессор Оптерон) на gentoo 2.6.24, правда нарезание трафика идёт на ppp интерфейсах и с загрузкой никаких проблем. Вставить ник Quote
Alba Posted September 6, 2008 Author Posted September 6, 2008 Какие сетевушки? У меня тоже подобный сервер (только процессор Оптерон) на gentoo 2.6.24, правда нарезание трафика идёт на ppp интерфейсах и с загрузкой никаких проблем. интелёвые гигабитные (82541GI) Вставить ник Quote
nuclearcat Posted September 6, 2008 Posted September 6, 2008 Для начала глянуть в dmesg и другие логи.Что top говорит? в логах - тишина...top говорит, что ksoftirqd старается, кушает процессор :) Ядро сами собирали? Можете конфиг куданить залить?У меня например без отладки и с отладочными функциями загрузка - небо и земля. Еще нюансы с irq balance и т.п. Вставить ник Quote
Alba Posted September 6, 2008 Author Posted September 6, 2008 ядро - самосбор, но, с минимальными изменениями от дефолтных настроек... Вставить ник Quote
nuclearcat Posted September 6, 2008 Posted September 6, 2008 Хотелось бы взглянуть на .config, если что-то увижу интересное - дам рекомендации. Также интересует количество правил в iptables (nat/mangle/filter), принцип построения шейпинга (линейные правила на u32?), и т.п. - чтобы дать какие-то рекомендации. Вставить ник Quote
Alba Posted September 6, 2008 Author Posted September 6, 2008 (edited) Хотелось бы взглянуть на .config, если что-то увижу интересное - дам рекомендации.Также интересует количество правил в iptables (nat/mangle/filter), принцип построения шейпинга (линейные правила на u32?), и т.п. - чтобы дать какие-то рекомендации. во блин... вроде прикреплял... видимо, файл выбрал, а аплоад не нажал :)правил на нат - в пиках до 1500 правил на mangle - 2300 в одну сторону (если шейпить и обратку, то, соответственно в два раза больше) пример шейпинга: $a++; "tc class add dev eth0 parent 1:1 classid 1:$a htb rate ".$rate."kbit ceil ".$ceil."kbit burst 2kbit prio 0 quantum 1500"; "tc qdisc add dev eth0 parent 1:$a handle $a: sfq perturb 10"; "tc filter add dev eth0 parent 1:0 protocol ip prio 1 handle $a fw classid 1:$a"; "iptables -t mangle -A FORWARD -i vlan551 -d $row2[ip_address] -j MARK --set-mark $a"; на данный момент нат/шейпер переехали на выделенный сервер (однопроцессорный ксеон 3.0 с 2мб), на котором больше вообще ничего не крутится... загрузка проца (по ядрам) на графике. пик в начале графика - попытка шейпить в обе стороны... с третьего раза блин... :) config.txt Edited September 6, 2008 by Alba Вставить ник Quote
nuclearcat Posted September 7, 2008 Posted September 7, 2008 Первая проблема - iptables вообще. У них серьезные проблемы с производительностью вообще, а если натолкать кучу линейных правил - так вообще аут. Вот представьте, у вас в mangle цепочка из 2300 правил, и каждый пакет должен пробежать по правилам, т.е. среднестатически половину правил. Я бы предложил использовать em_meta (вроде недавно подправил в нем баг, т.е. текущая версия в git должна работать). tc filter add dev ifb0 protocol all basic match meta \(vlan eq 1234\) classid 1:1234 Технически это можно скрестить с u32 - и обойтись без iptables. А какая необходимость в таком огромном количестве правил для nat? Нельзя ли все как-то унифицировать? Вставить ник Quote
azazello Posted September 7, 2008 Posted September 7, 2008 Такое кол-во правил в iptables можно решить другим способом. Например посмотрите в сторону ipset, на мой взгляд идеальное средство для организации такого большого кол-ва правил. А для tc обязательно нужно маркировать пакеты через iptables, без этого никак? :) Вставить ник Quote
Alba Posted September 7, 2008 Author Posted September 7, 2008 по-поводу mangle - как-то с пол-года назад попробовал переделать tc filter на u32 и отказаться от iptables - после запуска скрипта сервер резко начал терять скорость, пинги на него начали расти, и, зарубить шейпер я не успел :( ;) спас только резет - даже на консоль сервер не отвечал... из чего был сделан вывод, что tc filter + mangle работает менее ресурсоёмко... хотя, может действительно был какой-то баг, и, я попал на неудачную версию... но, как-то "наживую" экспериментировать расхотелось... сейчас, видимо, прийдётся ещё пробовать... а насчёт ipset спасибо, посмотрю... тоже, когда-то видел ссылку, почитал описание, решил как-нибудь попробовать, да, отложил в долгий ящик и вообще забыл, что такое существует :) правила для ната-же пока унифицировать - никак :( сейчас самый дурацкий период - большие скорости, связанные с вводом дешёвого анлима, народ пачками переходит на них, но, помегабайтников, волнующихся за свои деньги тоже пока хватает... вот не будет их - будет iptables -s 0.0.0.0 -j MASQUERADE :) ...и нетфлоу можно будет выключить... ......и база биллинга будет занимать гиг эдак, на 100 в месяц меньше... ;) ..........эх... мечты... Вставить ник Quote
azazello Posted September 7, 2008 Posted September 7, 2008 ...и нетфлоу можно будет выключить.........и база биллинга будет занимать гиг эдак, на 100 в месяц меньше... ;) ..........эх... мечты... Не травите душу :) Вставить ник Quote
sirmax Posted September 7, 2008 Posted September 7, 2008 Очень странно... 1. Смотртет в драйвер сетевки, если стевушка реально PCIE то ставьте модуль e1000e. Недавно создавал тему, мне - помогло. 2. У меня старый P4 c ядром 2.6.16.16 натит больше 100 мбит без всяких затыков, никаких порблем. По поводу НАТ. Ну я не верю, что нужно одно правило на клиента. что мешает натить сетками? второе решение (мы применяем уже более 1.5 лет) - ipset. по поводу конфиглв ядра - действительно, хорошо бы сделать FAQ по поводу "что мешает жить". Вставить ник Quote
madint Posted September 7, 2008 Posted September 7, 2008 ксеоны поменяйте на core2 quad а linux на freebsd и будет вам счастье циска на NPE-G1 по деньгам даже рядом не лежала, тем более что с натом может худо-бедно справится, но с шейпингом шансов нет никаких Вставить ник Quote
azazello Posted September 8, 2008 Posted September 8, 2008 ксеоны поменяйте на core2 quad а linux на freebsd и будет вам счастье А можно поподробнее чем плохи ксеоны по сравнению с core2 quad и чем плох линукс по сравнению с фрибсд :) Вставить ник Quote
Alba Posted September 8, 2008 Author Posted September 8, 2008 провёл небольшой эксперимент - заменил iptables mangle на tc filter u32 если шейпить физический интерфейс (и, только входящий трафик) - нагрузка на проц меньше, чем при iptables... если шейпить в обе стороны (eth и vlan) - всё жутко тормозит примерно одинаково :) вывод напрашивается таков, что tc работает только с физическими интерфейсами (где-то в одной из соседних веток прочитал, что на ppp-интерфейсах похожая проблема)... прям не знаю, чё и делать... Вставить ник Quote
nuclearcat Posted September 8, 2008 Posted September 8, 2008 Ничего подобного - у меня шейпит как раз не на физических интерфейсах вопрос в том, как шейпится та часть которая тормозит? пример правил... Вставить ник Quote
nuclearcat Posted September 8, 2008 Posted September 8, 2008 Если там снова фигурирует MARK, а без него загрузка низкая - так это неудивительно. Или уже сделали через match meta? Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.