Jump to content
Калькуляторы

Linux-based бордер с 10G посоветуйте дистрибутив

Доброе время суток!

 

Есть сервер под бордер: Supermicro 6017R-WRF + 2 x Xeon E5-2620 2,0GHz (итого 12 ядер без Hyper-Threading) + Intel X520 DA2...

Планируется использовать в качестве Linux-based бордера (2 full-view, 5-7 крупных клиентов, шейпера не обязательны).

Ожидаемая производительность - около 0.8-1Mpps, 4-5Gbps (насколько это реально?).

 

Пока думаю строить на CentOS 6.3, но есть сомнения - ядро 2.6.32-279.22.1.el6.x86_64 (не ясно как много в него бекпортировали) и не самая новая версия драйвера ixgbe 3.6.7-k (последняя 3.12.6 судя по http://sourceforge.net/projects/e1000/files/ixgbe%20stable/ )...

 

Посоветуйте дистрибутив с которым есть позитивный опыт использования в качестве бордера.

 

Заранее благодарен.

Edited by allan_sundry

Share this post


Link to post
Share on other sites

debian или в качестве эксперимента поставьте mikrotik

Share this post


Link to post
Share on other sites

1MPps FD - это детский сад (хотя тут зависит от доп свистелок). Если будете снимать Netflow, то только модуль для Iptables.

Share this post


Link to post
Share on other sites

Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи?

Share this post


Link to post
Share on other sites

Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи?

Реквестируем cmhungry?

Share this post


Link to post
Share on other sites

однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо.

Share this post


Link to post
Share on other sites

Чуток потроллю)

"FW - две штуки" - это что? Два файрвола? Просто интересно, зачем? Или вы имели ввиду "FV - два штуки"?

Share this post


Link to post
Share on other sites

debian или в качестве эксперимента поставьте mikrotik

В Debian смущает совсем старое ядро, с Mikrotik не работал...

 

однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо.

Таким образом Debian 6.0.6 не подходит - ядро 2.6 2.6.32-46, с CentOS 6.3 остается надеяться на бекпортрование RedHat новинок в их ядро 2.6.32-279.22.1.el6.x86_64... какие еще варианты? Можно конечно попробовать Ubuntu Server LTS 12.04 на 3.2 или Ubuntu Server 12.10 на 3.5 (кто-то пробовал их на роутинге?)

 

Какой дистрибутив Вы используете? Какой тюнинг проведен после установки?

Share this post


Link to post
Share on other sites

Что мешает собрать последнее ядро в Debian стандартным способом.

Share this post


Link to post
Share on other sites

Что мешает собрать последнее ядро в Debian стандартным способом.

 

Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником".

Share this post


Link to post
Share on other sites

без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl.

Share this post


Link to post
Share on other sites

без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl.

 

Хорошо, это как раз самое интересное.

Подскажите где я мог бы почитать какие настройки необходимо крутить?

 

Пока думал покрутить:

- прибить очереди сетевой карты (сейчас у меня 12 очередей на каждую голову - по количеству cpu в системе) к ядрам и отключить автоматическую балансироку (в CentOS 6.3 ее не обнаружил)

- увеличить буферы сетевой карты до максимальных

- http://www.redhat.com/promo/summit/2008/downloads/pdf/Thursday/Mark_Wagner.pdf - думаю часть рекомендаций не утратили актуальность

- http://www.intel.com/support/network/adapter/pro100/sb/CS-032530.htm - пробежаться по настройкам драйвера

 

Так же думал о установке нового драйвера для сетевой карты из ELRepo (http://elrepo.org/tiki/tiki-index.php), но сомневаюсь...

 

P.S. В Ubuntu Server 12.10 более новое ядро и драйвер ixgbe, да и quagga свежее... Пока выбираю между CentOS 6.3 и Ubuntu Server 12.10

Share this post


Link to post
Share on other sites

подключите ветку testing и даже собирать ядро не понадобится. Mikrotik базируется тоже на линуксе, но версию ядра не скажу. Он для тех кто любит настраивать все из одной консоли.

Share this post


Link to post
Share on other sites

Кстати ядер 12, а не 16. Впрочем это не так важно.

 

Поправил - спасибо!

 

подключите ветку testing и даже собирать ядро не понадобится.

 

Насколько я понял - Debian + Testing... это вариант. А какая сейчас там версия ядра, ixgbe-драйвера и quagga не подскажите?

Share this post


Link to post
Share on other sites

http://leaf.sourceforge.net/bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий.

Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно.

А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow.

Share this post


Link to post
Share on other sites

Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником".

 

Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты.

 

А vyatta - это скорее PR-акция под крышей cisco, дистр без цели.

А создание opensource софт-роутера это не является целью?

Share this post


Link to post
Share on other sites

http://leaf.sourcefo.../bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий.

Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно.

А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow.

 

У LEAF ядро 2.6 и сборки только под x86 архитектуру?

Мне надо просто молотилка без NAT и netfow :). Только чистый роутинг и возможно шейпинг на пару-тройку клиентов.

 

allan_sundry (Сегодня, 11:03) писал:

Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником".

 

Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты.

 

Тот же sysctl подкрутить, буферы, разбросать прерывания - это само-собой разумеется.

А что еще надо крутить?

Edited by allan_sundry

Share this post


Link to post
Share on other sites
А создание opensource софт-роутера это не является целью?

 

Это да! Больше opensource-проектов , хороших и разных!

Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок".

Share this post


Link to post
Share on other sites

Это да! Больше opensource-проектов , хороших и разных!

Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок".

 

Какая максимальная производительность была достигнута Вами с использованием Vyatta (pps/bps)? Какая конфигурация сервера была для этого использована?

Share this post


Link to post
Share on other sites

вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом.

Edited by OK-2004

Share this post


Link to post
Share on other sites

вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом.

 

Немного промахнулся...

 

С другой стороны интересны какие показатели вами были достигнуты на LEAF?

Share this post


Link to post
Share on other sites

а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет.

 

такая же машинка лопатит в сумме:

 

input (Total) output

packets errs idrops bytes packets errs bytes colls drops

1.1M 0 0 914M 1.1M 0 911M 0 0

1.1M 0 0 921M 1.1M 0 919M 0 0

1.1M 0 0 921M 1.1M 0 918M 0 0

1.0M 0 0 898M 1.0M 0 896M 0 0

1.0M 0 0 891M 1.0M 0 889M 0 0

1.0M 0 0 906M 1.0M 0 904M 0 0

1.0M 0 0 884M 1.0M 0 882M 0 0

1.0M 0 0 875M 1.0M 0 873M 0 0

 

При:

 

last pid: 86434; load averages: 2.32, 2.75, 2.88 up 9+08:35:21 19:48:49

108 processes: 7 running, 75 sleeping, 26 waiting

CPU 0: 0.0% user, 0.0% nice, 0.0% system, 41.7% interrupt, 58.3% idle

CPU 1: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle

CPU 2: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle

CPU 3: 8.3% user, 0.0% nice, 0.0% system, 25.0% interrupt, 66.7% idle

Share this post


Link to post
Share on other sites

Специально не мерил. На e3120v с натом и нетфлоу и карточкой 82576 под 300 мбит юзерам инет даёт и не морщится. Я не понимаю почему Вы связываете производительность с конкретным дистром. LEAF - такой же линукс как и дебиан, генто и прочии. И тюнится точно же также как и другие дистры, без всяких ограничений и специфик. по тем же самым рецептрам что в массе были приведены в рамках этого форума в других ветках. К вашим услугам sysctl.conf, rc.local, modprobe и прочая..

Share this post


Link to post
Share on other sites

а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет.

 

Какое количество pps при этом трафике?

Можно подробнее как Вы его "готовите"?

Какая версия используется?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this