allan_sundry Posted February 12, 2013 (edited) · Report post Доброе время суток! Есть сервер под бордер: Supermicro 6017R-WRF + 2 x Xeon E5-2620 2,0GHz (итого 12 ядер без Hyper-Threading) + Intel X520 DA2... Планируется использовать в качестве Linux-based бордера (2 full-view, 5-7 крупных клиентов, шейпера не обязательны). Ожидаемая производительность - около 0.8-1Mpps, 4-5Gbps (насколько это реально?). Пока думаю строить на CentOS 6.3, но есть сомнения - ядро 2.6.32-279.22.1.el6.x86_64 (не ясно как много в него бекпортировали) и не самая новая версия драйвера ixgbe 3.6.7-k (последняя 3.12.6 судя по http://sourceforge.net/projects/e1000/files/ixgbe%20stable/ )... Посоветуйте дистрибутив с которым есть позитивный опыт использования в качестве бордера. Заранее благодарен. Edited February 13, 2013 by allan_sundry Share this post Link to post Share on other sites
dmvy Posted February 13, 2013 · Report post debian или в качестве эксперимента поставьте mikrotik Share this post Link to post Share on other sites
dignity Posted February 13, 2013 · Report post 1MPps FD - это детский сад (хотя тут зависит от доп свистелок). Если будете снимать Netflow, то только модуль для Iptables. Share this post Link to post Share on other sites
sergeyfromkomi Posted February 13, 2013 · Report post Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи? Share this post Link to post Share on other sites
Night_Snake Posted February 13, 2013 · Report post Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи? Реквестируем cmhungry? Share this post Link to post Share on other sites
martini Posted February 13, 2013 · Report post однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо. Share this post Link to post Share on other sites
dignity Posted February 13, 2013 · Report post Чуток потроллю) "FW - две штуки" - это что? Два файрвола? Просто интересно, зачем? Или вы имели ввиду "FV - два штуки"? Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 · Report post debian или в качестве эксперимента поставьте mikrotik В Debian смущает совсем старое ядро, с Mikrotik не работал... однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо. Таким образом Debian 6.0.6 не подходит - ядро 2.6 2.6.32-46, с CentOS 6.3 остается надеяться на бекпортрование RedHat новинок в их ядро 2.6.32-279.22.1.el6.x86_64... какие еще варианты? Можно конечно попробовать Ubuntu Server LTS 12.04 на 3.2 или Ubuntu Server 12.10 на 3.5 (кто-то пробовал их на роутинге?) Какой дистрибутив Вы используете? Какой тюнинг проведен после установки? Share this post Link to post Share on other sites
dignity Posted February 13, 2013 · Report post Что мешает собрать последнее ядро в Debian стандартным способом. Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 · Report post Что мешает собрать последнее ядро в Debian стандартным способом. Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником". Share this post Link to post Share on other sites
dignity Posted February 13, 2013 · Report post без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl. Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 · Report post без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl. Хорошо, это как раз самое интересное. Подскажите где я мог бы почитать какие настройки необходимо крутить? Пока думал покрутить: - прибить очереди сетевой карты (сейчас у меня 12 очередей на каждую голову - по количеству cpu в системе) к ядрам и отключить автоматическую балансироку (в CentOS 6.3 ее не обнаружил) - увеличить буферы сетевой карты до максимальных - http://www.redhat.com/promo/summit/2008/downloads/pdf/Thursday/Mark_Wagner.pdf - думаю часть рекомендаций не утратили актуальность - http://www.intel.com/support/network/adapter/pro100/sb/CS-032530.htm - пробежаться по настройкам драйвера Так же думал о установке нового драйвера для сетевой карты из ELRepo (http://elrepo.org/tiki/tiki-index.php), но сомневаюсь... P.S. В Ubuntu Server 12.10 более новое ядро и драйвер ixgbe, да и quagga свежее... Пока выбираю между CentOS 6.3 и Ubuntu Server 12.10 Share this post Link to post Share on other sites
nuclearcat Posted February 13, 2013 · Report post Кстати ядер 12, а не 16. Впрочем это не так важно. Share this post Link to post Share on other sites
dmvy Posted February 13, 2013 · Report post подключите ветку testing и даже собирать ядро не понадобится. Mikrotik базируется тоже на линуксе, но версию ядра не скажу. Он для тех кто любит настраивать все из одной консоли. Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 · Report post Кстати ядер 12, а не 16. Впрочем это не так важно. Поправил - спасибо! подключите ветку testing и даже собирать ядро не понадобится. Насколько я понял - Debian + Testing... это вариант. А какая сейчас там версия ядра, ixgbe-драйвера и quagga не подскажите? Share this post Link to post Share on other sites
OK-2004 Posted February 13, 2013 · Report post http://leaf.sourceforge.net/bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий. Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно. А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow. Share this post Link to post Share on other sites
Night_Snake Posted February 13, 2013 · Report post Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником". Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты. А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. А создание opensource софт-роутера это не является целью? Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 (edited) · Report post http://leaf.sourcefo.../bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий. Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно. А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow. У LEAF ядро 2.6 и сборки только под x86 архитектуру? Мне надо просто молотилка без NAT и netfow :). Только чистый роутинг и возможно шейпинг на пару-тройку клиентов. allan_sundry (Сегодня, 11:03) писал: Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником". Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты. Тот же sysctl подкрутить, буферы, разбросать прерывания - это само-собой разумеется. А что еще надо крутить? Edited February 13, 2013 by allan_sundry Share this post Link to post Share on other sites
OK-2004 Posted February 13, 2013 · Report post А создание opensource софт-роутера это не является целью? Это да! Больше opensource-проектов , хороших и разных! Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок". Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 · Report post Это да! Больше opensource-проектов , хороших и разных! Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок". Какая максимальная производительность была достигнута Вами с использованием Vyatta (pps/bps)? Какая конфигурация сервера была для этого использована? Share this post Link to post Share on other sites
OK-2004 Posted February 13, 2013 (edited) · Report post вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом. Edited February 13, 2013 by OK-2004 Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 · Report post вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом. Немного промахнулся... С другой стороны интересны какие показатели вами были достигнуты на LEAF? Share this post Link to post Share on other sites
Azamat Posted February 13, 2013 · Report post а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет. такая же машинка лопатит в сумме: input (Total) output packets errs idrops bytes packets errs bytes colls drops 1.1M 0 0 914M 1.1M 0 911M 0 0 1.1M 0 0 921M 1.1M 0 919M 0 0 1.1M 0 0 921M 1.1M 0 918M 0 0 1.0M 0 0 898M 1.0M 0 896M 0 0 1.0M 0 0 891M 1.0M 0 889M 0 0 1.0M 0 0 906M 1.0M 0 904M 0 0 1.0M 0 0 884M 1.0M 0 882M 0 0 1.0M 0 0 875M 1.0M 0 873M 0 0 При: last pid: 86434; load averages: 2.32, 2.75, 2.88 up 9+08:35:21 19:48:49 108 processes: 7 running, 75 sleeping, 26 waiting CPU 0: 0.0% user, 0.0% nice, 0.0% system, 41.7% interrupt, 58.3% idle CPU 1: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle CPU 2: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle CPU 3: 8.3% user, 0.0% nice, 0.0% system, 25.0% interrupt, 66.7% idle Share this post Link to post Share on other sites
OK-2004 Posted February 13, 2013 · Report post Специально не мерил. На e3120v с натом и нетфлоу и карточкой 82576 под 300 мбит юзерам инет даёт и не морщится. Я не понимаю почему Вы связываете производительность с конкретным дистром. LEAF - такой же линукс как и дебиан, генто и прочии. И тюнится точно же также как и другие дистры, без всяких ограничений и специфик. по тем же самым рецептрам что в массе были приведены в рамках этого форума в других ветках. К вашим услугам sysctl.conf, rc.local, modprobe и прочая.. Share this post Link to post Share on other sites
allan_sundry Posted February 13, 2013 · Report post а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет. Какое количество pps при этом трафике? Можно подробнее как Вы его "готовите"? Какая версия используется? Share this post Link to post Share on other sites
