[allan_sundry]

Доброе время суток!

 

Есть сервер под бордер: Supermicro 6017R-WRF + 2 x Xeon E5-2620 2,0GHz (итого 12 ядер без Hyper-Threading) + Intel X520 DA2...

Планируется использовать в качестве Linux-based бордера (2 full-view, 5-7 крупных клиентов, шейпера не обязательны).

Ожидаемая производительность - около 0.8-1Mpps, 4-5Gbps (насколько это реально?).

 

Пока думаю строить на CentOS 6.3, но есть сомнения - ядро 2.6.32-279.22.1.el6.x86_64 (не ясно как много в него бекпортировали) и не самая новая версия драйвера ixgbe 3.6.7-k (последняя 3.12.6 судя по http://sourceforge.net/projects/e1000/files/ixgbe%20stable/ )...

 

Посоветуйте дистрибутив с которым есть позитивный опыт использования в качестве бордера.

 

Заранее благодарен.

Edited February 13, 2013 by allan_sundry

[dmvy]

debian или в качестве эксперимента поставьте mikrotik

[dignity]

1MPps FD - это детский сад (хотя тут зависит от доп свистелок). Если будете снимать Netflow, то только модуль для Iptables.

[sergeyfromkomi]

Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи?

[Night_Snake]

Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи?

Реквестируем cmhungry?

[martini]

однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо.

[dignity]

Чуток потроллю)

"FW - две штуки" - это что? Два файрвола? Просто интересно, зачем? Или вы имели ввиду "FV - два штуки"?

[allan_sundry]

debian или в качестве эксперимента поставьте mikrotik

В Debian смущает совсем старое ядро, с Mikrotik не работал...

 

однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо.

Таким образом Debian 6.0.6 не подходит - ядро 2.6 2.6.32-46, с CentOS 6.3 остается надеяться на бекпортрование RedHat новинок в их ядро 2.6.32-279.22.1.el6.x86_64... какие еще варианты? Можно конечно попробовать Ubuntu Server LTS 12.04 на 3.2 или Ubuntu Server 12.10 на 3.5 (кто-то пробовал их на роутинге?)

 

Какой дистрибутив Вы используете? Какой тюнинг проведен после установки?

[dignity]

Что мешает собрать последнее ядро в Debian стандартным способом.

[allan_sundry]

Что мешает собрать последнее ядро в Debian стандартным способом.

 

Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником".

[dignity]

без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl.

[allan_sundry]

без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl.

 

Хорошо, это как раз самое интересное.

Подскажите где я мог бы почитать какие настройки необходимо крутить?

 

Пока думал покрутить:

- прибить очереди сетевой карты (сейчас у меня 12 очередей на каждую голову - по количеству cpu в системе) к ядрам и отключить автоматическую балансироку (в CentOS 6.3 ее не обнаружил)

- увеличить буферы сетевой карты до максимальных

- http://www.redhat.com/promo/summit/2008/downloads/pdf/Thursday/Mark_Wagner.pdf - думаю часть рекомендаций не утратили актуальность

- http://www.intel.com/support/network/adapter/pro100/sb/CS-032530.htm - пробежаться по настройкам драйвера

 

Так же думал о установке нового драйвера для сетевой карты из ELRepo (http://elrepo.org/tiki/tiki-index.php), но сомневаюсь...

 

P.S. В Ubuntu Server 12.10 более новое ядро и драйвер ixgbe, да и quagga свежее... Пока выбираю между CentOS 6.3 и Ubuntu Server 12.10

[nuclearcat]

Кстати ядер 12, а не 16. Впрочем это не так важно.

[dmvy]

подключите ветку testing и даже собирать ядро не понадобится. Mikrotik базируется тоже на линуксе, но версию ядра не скажу. Он для тех кто любит настраивать все из одной консоли.

[allan_sundry]

Кстати ядер 12, а не 16. Впрочем это не так важно.

 

Поправил - спасибо!

 

подключите ветку testing и даже собирать ядро не понадобится.

 

Насколько я понял - Debian + Testing... это вариант. А какая сейчас там версия ядра, ixgbe-драйвера и quagga не подскажите?

[OK-2004]

http://leaf.sourceforge.net/bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий.

Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно.

А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow.

[Night_Snake]

Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником".

 

Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты.

 

А vyatta - это скорее PR-акция под крышей cisco, дистр без цели.

А создание opensource софт-роутера это не является целью?

[allan_sundry]

http://leaf.sourcefo.../bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий.

Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно.

А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow.

 

У LEAF ядро 2.6 и сборки только под x86 архитектуру?

Мне надо просто молотилка без NAT и netfow :). Только чистый роутинг и возможно шейпинг на пару-тройку клиентов.

 

allan_sundry (Сегодня, 11:03) писал:

Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником".

 

Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты.

 

Тот же sysctl подкрутить, буферы, разбросать прерывания - это само-собой разумеется.

А что еще надо крутить?

Edited February 13, 2013 by allan_sundry

[OK-2004]

А создание opensource софт-роутера это не является целью?

 

Это да! Больше opensource-проектов , хороших и разных!

Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок".

[allan_sundry]

Это да! Больше opensource-проектов , хороших и разных!

Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок".

 

Какая максимальная производительность была достигнута Вами с использованием Vyatta (pps/bps)? Какая конфигурация сервера была для этого использована?

[OK-2004]

вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом.

Edited February 13, 2013 by OK-2004

[allan_sundry]

вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом.

 

Немного промахнулся...

 

С другой стороны интересны какие показатели вами были достигнуты на LEAF?

[Azamat]

а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет.

 

такая же машинка лопатит в сумме:

 

input (Total) output

packets errs idrops bytes packets errs bytes colls drops

1.1M 0 0 914M 1.1M 0 911M 0 0

1.1M 0 0 921M 1.1M 0 919M 0 0

1.1M 0 0 921M 1.1M 0 918M 0 0

1.0M 0 0 898M 1.0M 0 896M 0 0

1.0M 0 0 891M 1.0M 0 889M 0 0

1.0M 0 0 906M 1.0M 0 904M 0 0

1.0M 0 0 884M 1.0M 0 882M 0 0

1.0M 0 0 875M 1.0M 0 873M 0 0

 

При:

 

last pid: 86434; load averages: 2.32, 2.75, 2.88 up 9+08:35:21 19:48:49

108 processes: 7 running, 75 sleeping, 26 waiting

CPU 0: 0.0% user, 0.0% nice, 0.0% system, 41.7% interrupt, 58.3% idle

CPU 1: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle

CPU 2: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle

CPU 3: 8.3% user, 0.0% nice, 0.0% system, 25.0% interrupt, 66.7% idle

[OK-2004]

Специально не мерил. На e3120v с натом и нетфлоу и карточкой 82576 под 300 мбит юзерам инет даёт и не морщится. Я не понимаю почему Вы связываете производительность с конкретным дистром. LEAF - такой же линукс как и дебиан, генто и прочии. И тюнится точно же также как и другие дистры, без всяких ограничений и специфик. по тем же самым рецептрам что в массе были приведены в рамках этого форума в других ветках. К вашим услугам sysctl.conf, rc.local, modprobe и прочая..

[allan_sundry]

а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет.

 

Какое количество pps при этом трафике?

Можно подробнее как Вы его "готовите"?

Какая версия используется?