QWE Posted January 20, 2015 (edited) · Report post Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет. Варианты сетевух у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero. или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ? 4 порта в сервере это конечно хорошо, аплинки есть куда втыкать. SFP+ интерфейсы поддерживают SFP на 1Гбит/с ? Edited January 20, 2015 by QWE Share this post Link to post Share on other sites
zlolotus Posted January 20, 2015 · Report post Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет. Варианты сетевух у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero. или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ? 4 порта в сервере это конечно хорошо, аплинки есть куда втыкать. SFP+ интерфейсы поддерживают SFP на 1Гбит/с ? Внесу свои пять копеек. Использовал freebsd 8.2 с платой Intel-X520-DA2 + квага. Держало до 2-х гиг при 20% нагрузке. Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :) Share this post Link to post Share on other sites
QWE Posted January 20, 2015 · Report post как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры? Share this post Link to post Share on other sites
linx Posted January 20, 2015 (edited) · Report post SFP+ интерфейсы поддерживают SFP на 1Гбит/с ? Intel-X520-DA2 1G sfp да работают, а вот по Silicom в наге ничего ответить не смогли - нужно проверять Edited January 20, 2015 by linx Share this post Link to post Share on other sites
zlolotus Posted January 20, 2015 · Report post как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры? Можно, хорошо сэкономить но при этом плохо спать. А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте ) Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку. Выбор за вами. Share this post Link to post Share on other sites
zlolotus Posted January 20, 2015 · Report post Можно, хорошо сэкономить но при этом плохо спать. А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте ) Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку. P.S была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять. Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100. http://forum.nag.ru/forum/index.php?showtopic=92502 И самое интересное, ты с этой проблемой остаешься один на один + google :) Выбор за вами. Share this post Link to post Share on other sites
linx Posted January 20, 2015 · Report post По поводумного портов - можно подключить всех аплинков, это хорошо если от каждого аплинка два линка приходят. Рано или поздно вякое может случится, лучше держать пару бордеров, шлюзов, если проблема начинается просто переносишь пользователей на второй, пока занимаешься обслуживанием текущего. quagga уже отжила свое, непоняток с ней много, лучше использовать bird Share this post Link to post Share on other sites
vlad11 Posted January 20, 2015 · Report post Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :) Покажите открытые PR. FreeBSD 8.2 давно EOL. Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет. При трафике больше 1Г рекомендую схему с двумя серверами. Чтоб спокойно резервировать и проводить плановое обслуживание без потери и деградации сервиса. Share this post Link to post Share on other sites
QWE Posted January 20, 2015 (edited) · Report post Сейчас использую два сервера (два провайдера) с двухпортовой сетевухой на Intel 82576 + LEAF Linux 2.6.35.14-i686 на нем bird + модуль ipt_NETFLOW никаких шейперов, никаких сервисов доступа. Нагрузка меньше гигабита. Тупо нужен ipt_NETFLOW. Прочитал про глюки http://forum.nag.ru/forum/index.php?showtopic=92502 Больно про это читать конечно, хочется спать и админить спокойно. В конце концов решение по ссылке было найдено. Жаба душит из одного ipt_NETFLOW покупать Cisco или Juniper. в принципе я согласен дотянуть до 2 Гиг и дальше купить что то посерьезнее, но все равно из за одного NETFLOW покупать что то посерьезнее жаба душит. Проще отдельно стоящий РоутСервер мне кажется сделать и отзеркалить uplink на железку с ip_NETFLOW 10Гбит/с. Edited January 20, 2015 by QWE Share this post Link to post Share on other sites
pavel.odintsov Posted January 20, 2015 (edited) · Report post А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет. Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними. Edited January 20, 2015 by pavel.odintsov Share this post Link to post Share on other sites
QWE Posted January 20, 2015 (edited) · Report post А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет. Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними. для отдельностоящего сервера для сбора NETFLOW в принципе пофиг будет часто ребутиться машина или нет. На LEAF nprobe нету, но можно и любой linux поставить. Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с Edited January 20, 2015 by QWE Share this post Link to post Share on other sites
kapa Posted January 20, 2015 · Report post Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с не слушайте Share this post Link to post Share on other sites
Abram Posted January 20, 2015 · Report post Да ну. Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb. 3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней. Share this post Link to post Share on other sites
SyJet Posted January 20, 2015 · Report post Почитал тему http://forum.nag.ru/...showtopic=92502, аж страшно становиться, прям как закладка какая-то кто-то знает и молчит. Ядро не исправляют, 100тыщ требуют... Дикий, дикий запад (опенсоурс) Share this post Link to post Share on other sites
QWE Posted January 20, 2015 (edited) · Report post Да ну. Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb. 3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней. ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10? Edited January 20, 2015 by QWE Share this post Link to post Share on other sites
linx Posted January 20, 2015 (edited) · Report post когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011. даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й. Edited January 20, 2015 by linx Share this post Link to post Share on other sites
QWE Posted January 20, 2015 (edited) · Report post Можно, хорошо сэкономить но при этом плохо спать. А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте ) Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку. P.S была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять. Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100. http://forum.nag.ru/forum/index.php?showtopic=92502 И самое интересное, ты с этой проблемой остаешься один на один + google :) Выбор за вами. http://forum.nag.ru/forum/index.php?showtopic=53979&st=220 Rate: 11479090850 bits/sec, 1611313 packets/sec когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011. даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й. "проблема проявляется раз в две недели" это для меня не допустимо просто. Даже раз в год не допустимо. Как то с негатива началось обсуждение темы, скорее всего это даже правильно. Раз уж жалобы на ядра - какое стабильнее для форвардинга, с какими версиями сетевых драйверов и для каких сетевух? Edited January 20, 2015 by QWE Share this post Link to post Share on other sites
pavel.odintsov Posted January 20, 2015 (edited) · Report post Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко. Никаких "падений" / "паников" и прочего, аптайм за 500 дней. Edited January 20, 2015 by pavel.odintsov Share this post Link to post Share on other sites
SyJet Posted January 20, 2015 · Report post Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Share this post Link to post Share on other sites
pavel.odintsov Posted January 20, 2015 (edited) · Report post Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance. Edited January 20, 2015 by pavel.odintsov Share this post Link to post Share on other sites
Умник Posted January 20, 2015 · Report post Нагрузка в районе 10-14% Как измеряете? Что скажет mpstat -P ALL 1 10 в ЧНН? Share this post Link to post Share on other sites
QWE Posted January 20, 2015 (edited) · Report post Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко. Никаких "падений" / "паников" и прочего, аптайм за 500 дней. "апстрим дрова ixgbe" - это последние с сайта Intel? Модель сетевухи Intel X520-DA2 ? 16 ядер? а говорят лучше иметь один проц и более скоростной. а мамка какая? Горячий failover это две активные BGP сесии с одним провайдером (двумя)? Исходящий трафик через одну машину идет? сервер который в продакшене на тесте тащил 600kpps. Может имеет смысл пока только сетевую поменять и дожать до 2Гбит/с. Edited January 20, 2015 by QWE Share this post Link to post Share on other sites
QWE Posted January 20, 2015 · Report post Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance. а что значит "конфиги сетевых обычные (RSS)" приведите плиз параметры старта модуля драйвера сетевой ipt_NETFLOW? Share this post Link to post Share on other sites
Abram Posted January 20, 2015 · Report post ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10? Не знаю, мне netflow не нужен. i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе. Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает. Share this post Link to post Share on other sites
QWE Posted January 20, 2015 (edited) · Report post ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10? Не знаю, мне netflow не нужен. i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе. Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает. если нет ipt_NETFLOW то наверное крутятся другие фичи и железка используется у Вас видимо не как бордер? т.е. обычный десктопный i7-4770k, а на какой мамке? Edited January 20, 2015 by QWE Share this post Link to post Share on other sites
