allan_sundry Posted February 12, 2013 (edited) Доброе время суток! Есть сервер под бордер: Supermicro 6017R-WRF + 2 x Xeon E5-2620 2,0GHz (итого 12 ядер без Hyper-Threading) + Intel X520 DA2... Планируется использовать в качестве Linux-based бордера (2 full-view, 5-7 крупных клиентов, шейпера не обязательны). Ожидаемая производительность - около 0.8-1Mpps, 4-5Gbps (насколько это реально?). Пока думаю строить на CentOS 6.3, но есть сомнения - ядро 2.6.32-279.22.1.el6.x86_64 (не ясно как много в него бекпортировали) и не самая новая версия драйвера ixgbe 3.6.7-k (последняя 3.12.6 судя по http://sourceforge.net/projects/e1000/files/ixgbe%20stable/ )... Посоветуйте дистрибутив с которым есть позитивный опыт использования в качестве бордера. Заранее благодарен. Edited February 13, 2013 by allan_sundry Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dmvy Posted February 13, 2013 debian или в качестве эксперимента поставьте mikrotik Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 13, 2013 1MPps FD - это детский сад (хотя тут зависит от доп свистелок). Если будете снимать Netflow, то только модуль для Iptables. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sergeyfromkomi Posted February 13, 2013 Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Night_Snake Posted February 13, 2013 Осмелюсь вмешаться... интересно выслушать мнение авторитетных инженеров о OS Vyatta для решения подобной задачи? Реквестируем cmhungry? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
martini Posted February 13, 2013 однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 13, 2013 Чуток потроллю) "FW - две штуки" - это что? Два файрвола? Просто интересно, зачем? Или вы имели ввиду "FV - два штуки"? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 debian или в качестве эксперимента поставьте mikrotik В Debian смущает совсем старое ядро, с Mikrotik не работал... однопроцесорный 2690 тянет без напряга 12-15 гиг суммарно + на нем НАТ + шейпер, загрузка ядер 20-30% (FW - два штуки), ядро всетаки под такие процы лучше 3.хх , уж очень много приколов на 2.6 под новое железо. Таким образом Debian 6.0.6 не подходит - ядро 2.6 2.6.32-46, с CentOS 6.3 остается надеяться на бекпортрование RedHat новинок в их ядро 2.6.32-279.22.1.el6.x86_64... какие еще варианты? Можно конечно попробовать Ubuntu Server LTS 12.04 на 3.2 или Ubuntu Server 12.10 на 3.5 (кто-то пробовал их на роутинге?) Какой дистрибутив Вы используете? Какой тюнинг проведен после установки? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 13, 2013 Что мешает собрать последнее ядро в Debian стандартным способом. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 Что мешает собрать последнее ядро в Debian стандартным способом. Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником". Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 13, 2013 без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 без напильника вы не получите максимальную производительность, все равно твикать придется, как минимум sysctl. Хорошо, это как раз самое интересное. Подскажите где я мог бы почитать какие настройки необходимо крутить? Пока думал покрутить: - прибить очереди сетевой карты (сейчас у меня 12 очередей на каждую голову - по количеству cpu в системе) к ядрам и отключить автоматическую балансироку (в CentOS 6.3 ее не обнаружил) - увеличить буферы сетевой карты до максимальных - http://www.redhat.com/promo/summit/2008/downloads/pdf/Thursday/Mark_Wagner.pdf - думаю часть рекомендаций не утратили актуальность - http://www.intel.com/support/network/adapter/pro100/sb/CS-032530.htm - пробежаться по настройкам драйвера Так же думал о установке нового драйвера для сетевой карты из ELRepo (http://elrepo.org/tiki/tiki-index.php), но сомневаюсь... P.S. В Ubuntu Server 12.10 более новое ядро и драйвер ixgbe, да и quagga свежее... Пока выбираю между CentOS 6.3 и Ubuntu Server 12.10 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted February 13, 2013 Кстати ядер 12, а не 16. Впрочем это не так важно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dmvy Posted February 13, 2013 подключите ветку testing и даже собирать ядро не понадобится. Mikrotik базируется тоже на линуксе, но версию ядра не скажу. Он для тех кто любит настраивать все из одной консоли. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 Кстати ядер 12, а не 16. Впрочем это не так важно. Поправил - спасибо! подключите ветку testing и даже собирать ядро не понадобится. Насколько я понял - Debian + Testing... это вариант. А какая сейчас там версия ядра, ixgbe-драйвера и quagga не подскажите? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
OK-2004 Posted February 13, 2013 http://leaf.sourceforge.net/bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий. Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно. А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Night_Snake Posted February 13, 2013 Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником". Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты. А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. А создание opensource софт-роутера это не является целью? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 (edited) http://leaf.sourcefo.../bering-uclibc/ - все пакеты - наисвежайщие, 4-ая ветка - какбы stable. 5-ая - какбы alfa. Ставится на usb-флешку с FAT32 размером от 6 Mb до XXX Gb. Всё грузится в RAM ( aka Mikrotik ) . Настройка - тривиальна ( либо через lrcfg, либо правкой стандартных /etc/network/interfaces и /etc/default/local.start. ) Ipt_netlow, quagga, igb...- из каробки, последних версий. Один из основных майнтейнеров проекта - русскоговорящий, и на этом форуме часто присутсвует. Так что баги правятся и реквестируемые фичи добавляются весьма оперативно. А vyatta - это скорее PR-акция под крышей cisco, дистр без цели. Debian - для серверов самое то. Вам же нужна чисто молотилка пакетов с NAT и netlow. У LEAF ядро 2.6 и сборки только под x86 архитектуру? Мне надо просто молотилка без NAT и netfow :). Только чистый роутинг и возможно шейпинг на пару-тройку клиентов. allan_sundry (Сегодня, 11:03) писал: Хотелось бы использовать штатное ядро и вообще свести к минимуму обработку системы "напильником". Тогда вам железку надо покупать,или ставить специально заточенный дистрибутив типа той же вятты. Тот же sysctl подкрутить, буферы, разбросать прерывания - это само-собой разумеется. А что еще надо крутить? Edited February 13, 2013 by allan_sundry Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
OK-2004 Posted February 13, 2013 А создание opensource софт-роутера это не является целью? Это да! Больше opensource-проектов , хороших и разных! Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок". Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 Это да! Больше opensource-проектов , хороших и разных! Я просто дал совет обратить внимание на этот тоже кстати на opensource -дистр. В котором тоже все заточено под сетевые фичи и который прост по организации как тенисный мячик и коим пользуюсь с 2001-го года ( до этого лет 5-8 все это делал на nano(pico)-BSD и linux-самостругах) и успел на нём поставить около сотни ( +/- 5-10 шт.) "молотилок". Какая максимальная производительность была достигнута Вами с использованием Vyatta (pps/bps)? Какая конфигурация сервера была для этого использована? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
OK-2004 Posted February 13, 2013 (edited) вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом. Edited February 13, 2013 by OK-2004 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 вы наверное меня не поняли. Я не пользуюсь в продакшене вьяттой. Я вам про B.-uc. (по самой первой ссылке) писал. Во вьятте ничего кроме конфигов , заточенных под веб-морду выдающегося не обнаружил. Никаких собственных оптимизаций на уровне ядра и сопутствующего софта. Наверно не точно выразился я в предыдущем посте, когда писал что вьятта - дистр без цели. Цель у него всё-же есть и сродни цели юбунту-девелоперов. Только юбунтологи работают под лозунгом - "каждой домохозяйке по динукс-десктопу". А "вьятт-намцы" - каждому бывшему Win-админу по линукс-рутеру с человеческим лицом. Немного промахнулся... С другой стороны интересны какие показатели вами были достигнуты на LEAF? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Azamat Posted February 13, 2013 а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет. такая же машинка лопатит в сумме: input (Total) output packets errs idrops bytes packets errs bytes colls drops 1.1M 0 0 914M 1.1M 0 911M 0 0 1.1M 0 0 921M 1.1M 0 919M 0 0 1.1M 0 0 921M 1.1M 0 918M 0 0 1.0M 0 0 898M 1.0M 0 896M 0 0 1.0M 0 0 891M 1.0M 0 889M 0 0 1.0M 0 0 906M 1.0M 0 904M 0 0 1.0M 0 0 884M 1.0M 0 882M 0 0 1.0M 0 0 875M 1.0M 0 873M 0 0 При: last pid: 86434; load averages: 2.32, 2.75, 2.88 up 9+08:35:21 19:48:49 108 processes: 7 running, 75 sleeping, 26 waiting CPU 0: 0.0% user, 0.0% nice, 0.0% system, 41.7% interrupt, 58.3% idle CPU 1: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle CPU 2: 0.0% user, 0.0% nice, 0.0% system, 25.0% interrupt, 75.0% idle CPU 3: 8.3% user, 0.0% nice, 0.0% system, 25.0% interrupt, 66.7% idle Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
OK-2004 Posted February 13, 2013 Специально не мерил. На e3120v с натом и нетфлоу и карточкой 82576 под 300 мбит юзерам инет даёт и не морщится. Я не понимаю почему Вы связываете производительность с конкретным дистром. LEAF - такой же линукс как и дебиан, генто и прочии. И тюнится точно же также как и другие дистры, без всяких ограничений и специфик. по тем же самым рецептрам что в массе были приведены в рамках этого форума в других ветках. К вашим услугам sysctl.conf, rc.local, modprobe и прочая.. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
allan_sundry Posted February 13, 2013 а сервер под freebsd для этих же целей не будет ли более проще в эксплуатации ? core i7 легко натит 3,5Гб / 900Мбит, в задаче простого роутинга уж 5-6Гбит пропихнет. Какое количество pps при этом трафике? Можно подробнее как Вы его "готовите"? Какая версия используется? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...