[Ugen]

Здравствуйте! Сейчас решается проблема о перестроении ядра. Цель - разнести на разное железо отдельно биллинг, отдельно NAS и отдельно сделать пограничный роутер.

В сети около 1500 человек, в онлайне около 500, порядка 30 kpps, 100 mbps. Выбираю железо под NAS и пограничный роутер.

Подскажите вот такой вариант под NAS:

supermicro 1U 6016T-MTLF (LGA1366,i5500,PCI-E,SVGA,SATA RAID, 4x HS SAS/SATA, 2xGbLAN, 6DDRIII 350W),

CPU Intel Xeon E5630 (2.53 ГГц/12Мб/5.86 ГТ/с),

2 x Kingston DDR-III DIMM 2Gb (<PC3-10600> ECCRegistered with Parity CL9),

2 x HDD 500 Gb SATA-II 300 Seagate/Maxtor Barracuda 7200.12/DiamondMax 23 <3500418AS> 7200rpm 16Mb (объединив в RAID 1)

Intel PRO/1000 PT Server adapter (OEM) PCI-E x1 10/100/1000Mbps.

Какую реальную нагрузку он выдержит? (примерные цифры), если на нем будет крутиться mpd с ng car и различные фильтра + сбор статистики.

И какие требования к пограничному роутеру, если он также планируется под линукс или фрибсд (кто из них лучше справляется с этой задачей?)

[Ugen]

Ребят, подскажите, пожалуйста. Сколько абонентов и количество пакетов потянет данный сервер?

И отчего отталкиваться когда выбираешь пограничный софт-роутер? (2 аплинка от разных провайдеров)

[yakuzzza]

Ищи ответы на форуме здесь же. Прожевано тысячу раз.

[mikevlz]

это пережует даже целик 2000. Так что пара таких железок будет с перспективой роста. Может даже избыточна совсем.

[jab]

Ему шильдики главное, а не нагрузка. ECC ведь, не хрен собачий. :-))

[Ugen]

это пережует даже целик 2000. Так что пара таких железок будет с перспективой роста. Может даже избыточна совсем.

Спасибо, то есть можно спокойно брать и с процом по-слабее? Под резервный NAS планируется использовать тот сервак, на котором сейчас все крутится, он похуже на проце Core 2 Quad Q6600.

Ему шильдики главное, а не нагрузка. ECC ведь, не хрен собачий. :-))

Дело не в шильдиках)), также на форумах и нашел, что с ECC лучше будет для сервера. Или Вы считаете это лишней тратой средств? Я понимаю, что в принципе, для НАСа оперативы много вообще не надо, но т.к. опыта немного, поэтому и хочу спроситьу тех, кто уже испытывал и сталкивался.

[jab]

Дело не в шильдиках)), также на форумах и нашел, что с ECC лучше будет для сервера. Или Вы считаете это лишней тратой средств? Я понимаю, что в принципе, для НАСа оперативы много вообще не надо, но т.к. опыта немного, поэтому и хочу спроситьу тех, кто уже испытывал и сталкивался.

ECC нужен только там, где считается бабло и двойная ошибка памяти не может контролироваться средствами самого прикладного софта.

 

это пережует даже целик 2000.

Вот прям вот так ? Даже не узнав что у него там в mpd ? Может у него там PPTP + MPPE + MPPC + VJ comp + mtu 576 + netflow + 3000 ipfw rules + natd + куча корявых классов в ng_car ? ;-)

[Ugen]

Вот прям вот так ? Даже не узнав что у него там в mpd ? Может у него там PPTP + MPPE + MPPC + VJ comp + mtu 576 + netflow + 3000 ipfw rules + natd + куча корявых классов в ng_car ? ;-)

Использоваться будет pptp (возможно l2tp), без шифрования и какого-либо сжатия, ната тоже нет. netflow будет, а вот с правилами ipfw и ng_car пока изучаю.. Классификация пока простая: внешний мир (скорость из тарифа передается по радиусу) и локалка - без ограничений. А по поводу пограничного роутера что посоветуте в качестве железа? Думаю между бордером и насом (на будущее будет несколько насов) поднять ospf, а на внешнем интерфейсе bgp.

[mikevlz]

Jab: под своим "справится целик 2000" я имел в виду, что сейчас новое железо, которое это не осилит, не купишь. Даже если туда навешивать все эти компрессии-шифрования. А вообще - подколол, да :)

[Ugen]

А блока на 350 хватит в данной конфигурации или лучше подстраховаться и по-мощнее взять?

[X-RaY™]

Я бы вам рекомендовал собрать сервер самому, на основе i7 930+любая материнка+интел сетевая, жевать будет до 1гига ,при нормальной настройке.

Изменено 24 июня, 2010 пользователем X-RaY™

[Ugen]

Я бы вам рекомендовал собрать сервер самому, на основе i7 930+любая материнка+интел сетевая, жевать будет до 1гига ,при нормальной настройке.

Спасибо! Скорее всего, так и сделаю для бордера.

[Ugen]

X-RaY™, вопрос не по теме, у Вас ведь есть опыт работы с ng_car? Большинство клиентов авторизуется по впн, в тестовой связке mpd + ng_car проблем не возникло, но без нагрузки. Все параметры передаются через радиус аттрибуты. Но есть также пользователи, которые будут получать доступ по езернету, и вот здесь столкнулись со сложностями. Сейчас тестирую польз-ля, но режется только исходящая скорость. х.х.13.19 - ip клиента, для него шлюзом rl0 x.x.13.55, верхний интерфейс на насе msk0 x.x.13.2

[admin@nas1 ~]$ sudo ipfw table all list

---table(1)---

х.х.13.19/32 14

---table(2)---

х.х.13.19/32 15

[admin@nas1 ~]$ ngctl list

ngctl: can't create node: Operation not permitted

[admin@nas1 ~]$ sudo ngctl list

There are 8 total nodes:

Name: rl0 Type: ether ID: 00000004 Num hooks: 0

Name: ipfw Type: ipfw ID: 00000001 Num hooks: 2

Name: ipfw0 Type: ether ID: 00000006 Num hooks: 0

Name: ngctl1933 Type: socket ID: 00000024 Num hooks: 0

Name: fwe0 Type: ether ID: 00000005 Num hooks: 0

Name: rate_64 Type: car ID: 0000001f Num hooks: 2

Name: msk0 Type: ether ID: 00000002 Num hooks: 0

Name: msk1 Type: ether ID: 00000003 Num hooks: 0

[admin@nas1 ~]$ sudo ngctl show ipfw:

Name: ipfw Type: ipfw ID: 00000001 Num hooks: 2

Local hook Peer name Peer type Peer ID Peer hook

---------- --------- --------- ------- ---------

15 rate_64 car 0000001f lower

14 rate_64 car 0000001f upper

[admin@nas1 ~]$ sudo ngctl show rate_64:

Name: rate_64 Type: car ID: 0000001f Num hooks: 2

Local hook Peer name Peer type Peer ID Peer hook

---------- --------- --------- ------- ---------

lower ipfw ipfw 00000001 15

upper ipfw ipfw 00000001 14

[admin@nas1 ~]$ sudo ipfw list

00100 check-state

00200 allow ip from any to any via lo0

00300 deny ip from any to 127.0.0.0/8

00400 deny ip from 127.0.0.0/8 to any

00500 allow tcp from any to me dst-port 33 in via msk1

00600 allow udp from me to any dst-port 53 out via msk1

00700 allow udp from any 53 to me in via msk1

00800 allow ip from me to any

00900 allow ip from any to me

01000 allow ip from any to any via msk1

01100 tee 7223 ip from any to any via msk0

01150 netgraph tablearg ip from table(2) to any out via msk0

01153 netgraph tablearg ip from any to table(1) out via rl0

01200 allow ip from х.х.13.19 to any

01300 allow ip from any to х.х.13.19

65535 deny ip from any to any

[admin@nas1 ~]$ sudo ifconfig

msk0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500

options=c011a<TXCSUM,VLAN_MTU,VLAN_HWTAGGING,TSO4,VLAN_HWTSO,LINKSTATE>

ether 00:1b:fc:e6:7d:0c

inet х.х.13.2 netmask 0xffffff00 broadcast х.х.13.255

media: Ethernet autoselect (100baseTX <full-duplex>)

status: active

msk1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500

options=c011a<TXCSUM,VLAN_MTU,VLAN_HWTAGGING,TSO4,VLAN_HWTSO,LINKSTATE>

ether 00:1b:fc:e6:74:d8

inet 10.10.15.52 netmask 0xffff0000 broadcast 10.10.255.255

media: Ethernet autoselect (100baseTX <full-duplex>)

status: active

rl0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500

options=8<VLAN_MTU>

ether 00:e0:52:15:02:ab

inet х.х.13.55 netmask 0xffffff00 broadcast х.х.13.255

media: Ethernet autoselect (100baseTX <full-duplex>)

status: active

fwe0: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500

options=8<VLAN_MTU>

ether 02:11:d8:63:f0:78

ch 1 dma -1

fwip0: flags=8802<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500

lladdr 0.11.d8.0.1.63.f0.78.a.2.ff.fe.0.0.0.0

ipfw0: flags=8801<UP,SIMPLEX,MULTICAST> metric 0 mtu 65536

lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384

options=3<RXCSUM,TXCSUM>

inet6 fe80::1%lo0 prefixlen 64 scopeid 0x7

inet6 ::1 prefixlen 128

inet 127.0.0.1 netmask 0xff000000

nd6 options=3<PERFORMNUD,ACCEPT_RTADV>

 

Шейпируется только исходящий трафик, подскажите, плиз, где накосячил?

[naves]

supermicro 1U 6016T-MTLF (LGA1366,i5500,PCI-E,SVGA,SATA RAID, 4x HS SAS/SATA, 2xGbLAN, 6DDRIII 350W),

2 x HDD 500 Gb SATA-II 300 Seagate/Maxtor Barracuda 7200.12/DiamondMax 23 <3500418AS> 7200rpm 16Mb (объединив в RAID 1)

имели негативный опыт с supermicro 6015 и сигейтами 11 серии :( та самая дефектная серия.

изредка парами отваливались из RAID1.

рэйд софтварный, и сигейт нынче уже не торт.

[Ugen]

supermicro 1U 6016T-MTLF (LGA1366,i5500,PCI-E,SVGA,SATA RAID, 4x HS SAS/SATA, 2xGbLAN, 6DDRIII 350W),

2 x HDD 500 Gb SATA-II 300 Seagate/Maxtor Barracuda 7200.12/DiamondMax 23 <3500418AS> 7200rpm 16Mb (объединив в RAID 1)

имели негативный опыт с supermicro 6015 и сигейтами 11 серии :( та самая дефектная серия.

изредка парами отваливались из RAID1.

рэйд софтварный, и сигейт нынче уже не торт.

Спасибо за информацию, выбор жестких пересмотрел, возьму вот эти HDD 500 Gb SATA-II 300 Western Digital RE3 <WD5002ABYS> 7200rpm 16Mb.

 

А по поводу ng_car может кто-нибудь подсказать, в чем я ошибся?

[Giga-Byte]

Я бы вам рекомендовал собрать сервер самому, на основе i7 930+любая материнка+интел сетевая, жевать будет до 1гига ,при нормальной настройке.

я полагаю, мой домашний i5-650 с виртуализацией (в т.ч. и VT-d) три такие сети потянет как у автора.

ну уж очень дурным оказался домашний компутер, прям-таки для тестов и брал,

ещё найти бы карточку с VT-d и можно тестить в продакшне.

 

i7 сильно крутая железка, из-за количества ядер она не совсем подходит под телекомовские нужды

и всё-таки я уверен, не нужна она ему. и жевать она будет гораздо больше 1Гига, это однозначно.

 

у меня сборщик netflow собирает поток ~300+300Мбит (~600Мбит входящего трафика на RTL8168 chip=0x816810ec),

pps в районе 120к, процессор P4-631, прерываний конечно 16к :) но это ему не мешает, IDLE в районе 40%.

это в пике. вот вам почти 1гиг... без обработки (шейперы, наты, маршрутизация) на проце 2006 г.в.

[Ugen]

Уважаемые гуру, подскажите, пожалуйста про ng_car на фри. Чтоб отдельную тему не создавать, кто-нибудь имел опыт, как правильно написать правила для шейпирования? Шейпится только исходящий канал? Или пните куда-нибудь, где это можно прочитать:)) В моем примере выше все правила, но входящий канал эти правила не режут((

[Giga-Byte]

Уважаемые гуру, подскажите, пожалуйста про ng_car на фри. Чтоб отдельную тему не создавать, кто-нибудь имел опыт, как правильно написать правила для шейпирования? Шейпится только исходящий канал? Или пните куда-нибудь, где это можно прочитать:)) В моем примере выше все правила, но входящий канал эти правила не режут((

дык вы этим пользователям режьте дамминетом. зачем из пушки по воробьям.

на потоке 300Мбит inbnd + 300Мбит outbnd у нас и дамминет справлялся на Core2Duo E6420,

поэтому не вижу необходимости наворачивать ноды в нетграфе.

 

Изменено 28 июня, 2010 пользователем Giga-Byte

[Ugen]

Уважаемые гуру, подскажите, пожалуйста про ng_car на фри. Чтоб отдельную тему не создавать, кто-нибудь имел опыт, как правильно написать правила для шейпирования? Шейпится только исходящий канал? Или пните куда-нибудь, где это можно прочитать:)) В моем примере выше все правила, но входящий канал эти правила не режут((

дык вы этим пользователям режьте дамминетом. зачем из пушки по воробьям.

на потоке 300Мбит inbnd + 300Мбит outbnd у нас и дамминет справлялся на Core2Duo E6420,

поэтому не вижу необходимости наворачивать ноды в нетграфе.

Хорошо, просто интересно, вроде почитал маны, посмотрел примеры, а ответ не могу найти, причем это правило вообще не срабатывает.. скорее всего, что-то выше разрешает уже пакету пройти..

[Giga-Byte]

Уважаемые гуру, подскажите, пожалуйста про ng_car на фри. Чтоб отдельную тему не создавать, кто-нибудь имел опыт, как правильно написать правила для шейпирования? Шейпится только исходящий канал? Или пните куда-нибудь, где это можно прочитать:)) В моем примере выше все правила, но входящий канал эти правила не режут((

дык вы этим пользователям режьте дамминетом. зачем из пушки по воробьям.

на потоке 300Мбит inbnd + 300Мбит outbnd у нас и дамминет справлялся на Core2Duo E6420,

поэтому не вижу необходимости наворачивать ноды в нетграфе.

Хорошо, просто интересно, вроде почитал маны, посмотрел примеры, а ответ не могу найти, причем это правило вообще не срабатывает.. скорее всего, что-то выше разрешает уже пакету пройти..

тогда используйте опцию log в правиле, выясните по каким правилам какие пакеты ходят.

только аккуратнее, лог забьёте весь махом.

[martini]

на Core-i5 нет VT-D к сожалению, только на Core-i7

[Ugen]

на Core-i5 нет VT-D к сожалению, только на Core-i7

точно?

а как же это "Процессоры, поддерживающие Virtualization Technology for Directed I/O: Intel Core i7-920, Intel Core i7-940, Intel Core i7-950, Intel Core i7-870, Intel Core i7-860, Intel Core i5-650, Intel Core i5-660, Intel Core i5-670, Intel Core i5-540M"?