QWE Опубликовано 20 января, 2015 (изменено) · Жалоба Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет. Варианты сетевух у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero. или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ? 4 порта в сервере это конечно хорошо, аплинки есть куда втыкать. SFP+ интерфейсы поддерживают SFP на 1Гбит/с ? Изменено 20 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zlolotus Опубликовано 20 января, 2015 · Жалоба Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет. Варианты сетевух у НАГ есть вот такая сетевуха http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15347.PE310G4SPi9LA-XR Сетевая карта Intel 82599ES (Silicom), 4 порта 10GBase-X, SFP+, поддержка DNA и Libzero. или вот такую http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/15343.PE210G2SPi9A-XR или Интел http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty/08899.Intel-X520-DA2 ? 4 порта в сервере это конечно хорошо, аплинки есть куда втыкать. SFP+ интерфейсы поддерживают SFP на 1Гбит/с ? Внесу свои пять копеек. Использовал freebsd 8.2 с платой Intel-X520-DA2 + квага. Держало до 2-х гиг при 20% нагрузке. Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 · Жалоба как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
linx Опубликовано 20 января, 2015 (изменено) · Жалоба SFP+ интерфейсы поддерживают SFP на 1Гбит/с ? Intel-X520-DA2 1G sfp да работают, а вот по Silicom в наге ничего ответить не смогли - нужно проверять Изменено 20 января, 2015 пользователем linx Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zlolotus Опубликовано 20 января, 2015 · Жалоба как же народ тут по нескольку миллионов пакетов маршрутизирует через бордеры? Можно, хорошо сэкономить но при этом плохо спать. А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте ) Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку. Выбор за вами. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zlolotus Опубликовано 20 января, 2015 · Жалоба Можно, хорошо сэкономить но при этом плохо спать. А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте ) Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку. P.S была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять. Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100. http://forum.nag.ru/forum/index.php?showtopic=92502 И самое интересное, ты с этой проблемой остаешься один на один + google :) Выбор за вами. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
linx Опубликовано 20 января, 2015 · Жалоба По поводумного портов - можно подключить всех аплинков, это хорошо если от каждого аплинка два линка приходят. Рано или поздно вякое может случится, лучше держать пару бордеров, шлюзов, если проблема начинается просто переносишь пользователей на второй, пока занимаешься обслуживанием текущего. quagga уже отжила свое, непоняток с ней много, лучше использовать bird Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 20 января, 2015 · Жалоба Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :) Покажите открытые PR. FreeBSD 8.2 давно EOL. Первоначально интересует 1U сервер, но если дорого то можно и 2U. Какой проц, мать, сколько оперативы. Есть успешный опыт работы с дистром LEAF. БУ сервер вполне подойдет. При трафике больше 1Г рекомендую схему с двумя серверами. Чтоб спокойно резервировать и проводить плановое обслуживание без потери и деградации сервиса. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 (изменено) · Жалоба Сейчас использую два сервера (два провайдера) с двухпортовой сетевухой на Intel 82576 + LEAF Linux 2.6.35.14-i686 на нем bird + модуль ipt_NETFLOW никаких шейперов, никаких сервисов доступа. Нагрузка меньше гигабита. Тупо нужен ipt_NETFLOW. Прочитал про глюки http://forum.nag.ru/forum/index.php?showtopic=92502 Больно про это читать конечно, хочется спать и админить спокойно. В конце концов решение по ссылке было найдено. Жаба душит из одного ipt_NETFLOW покупать Cisco или Juniper. в принципе я согласен дотянуть до 2 Гиг и дальше купить что то посерьезнее, но все равно из за одного NETFLOW покупать что то посерьезнее жаба душит. Проще отдельно стоящий РоутСервер мне кажется сделать и отзеркалить uplink на железку с ip_NETFLOW 10Гбит/с. Изменено 20 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 20 января, 2015 (изменено) · Жалоба А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет. Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними. Изменено 20 января, 2015 пользователем pavel.odintsov Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 (изменено) · Жалоба А в чем проблема заменить ipt_netflow? Самое крутое, что есть для этого на рынке - это nprobe, который ни при каком условии не свалит машину на пустом месте да и стоит смешные 150 евро http://www.ntop.org/products/nprobe/ Ну и оно переварит десяток гигабит - влет. Silicom - крутые карты, почти всегда это чисты Intel 82599 и несколько их приблуд в первую очередь для тех, кто пишет серьезные вещи. Например, эти карты использует Arbor в Pravail для защиты от DDoS. Вам это вряд ли нужно, я бы лучше остановился на стоковых 82599 картах либо посмотрел в сторону новых XL 710, но у меня лично еще нету опыта работы с ними. для отдельностоящего сервера для сбора NETFLOW в принципе пофиг будет часто ребутиться машина или нет. На LEAF nprobe нету, но можно и любой linux поставить. Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с Изменено 20 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kapa Опубликовано 20 января, 2015 · Жалоба Тут же пишут что Linux нестабилен при форвардинге более 2 гигабит/с не слушайте Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 20 января, 2015 · Жалоба Да ну. Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb. 3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 20 января, 2015 · Жалоба Почитал тему http://forum.nag.ru/...showtopic=92502, аж страшно становиться, прям как закладка какая-то кто-то знает и молчит. Ядро не исправляют, 100тыщ требуют... Дикий, дикий запад (опенсоурс) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 (изменено) · Жалоба Да ну. Debian 7, ядро 3.10 (из бекпортов когда-то поставили, какое было). 2 карты E1G44ET, драйвер igb. 3.5 гига даунлоада насквозь (плюс аплоад в другую сторону - лень считать, сколько его так). Аптайм - 440 с чем-то дней. ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10? Изменено 20 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
linx Опубликовано 20 января, 2015 (изменено) · Жалоба когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011. даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й. Изменено 20 января, 2015 пользователем linx Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 (изменено) · Жалоба Можно, хорошо сэкономить но при этом плохо спать. А можно хорошо заплатить, и при этом спать скокойно. Никто вам, быстро баги фиксить не будет )) на фриварном софте ) Не хочу начинать Холивар в этой теме. Мое личное мнение, не более 2-х гиг, контора у которой трафик коммерческий за два гига и более может позволить себе серьезную железку. P.S была такая ситуация, по какой-то причине гугловский ggc перестал работать. не пингуется и все. Причем, остальной инет прекрасно работает. Никаких изменений, на бордере не делали. (bgp квага. Простой Дефолт) Пока я связался с тех поддержкой, пока они сообщили ип ggc. Пока мы поняли, что проблема не у них а у нас. Потом, ребут бордера, и заработало. Два дня у людей не работал ютуб. Почему именно, кэш перестал пинговаться... не мог понять. Другой случай, в соседней конторе такая же тема только на дебиане. Переодические ребуты, и непонятно из-за чего. Форум до дыр зачитал, тут кто с такой же проблемой сталкивался. Ядро обновили, кажется ник тартила что-то советовал. По его советам и пошел. И все равно ребуты. Пока не перевели все на Эриксон SE100. http://forum.nag.ru/forum/index.php?showtopic=92502 И самое интересное, ты с этой проблемой остаешься один на один + google :) Выбор за вами. http://forum.nag.ru/forum/index.php?showtopic=53979&st=220 Rate: 11479090850 bits/sec, 1611313 packets/sec когда началась эта тема, я у одного из помогающих бесплатно в пм попросил просто конфиг ядра для сравнения со своим, раз уж он поделился с топикстартером (в 2011 была проблема гента перезагружалась по кернел паник) - только за деньги, в 2011 рещил с очередным обновлением ядра, правда конфиг ядра вроде от стокового дебиан взял, но все равно хотелось понять что в конфиге не так, дабы иметь гарантированный конфиг который можно будет использовать при следующем обновлении мира. потому и для себя решил - серверов нужно 2, никто тебе особо не поможет, свой путь ты уже выбрал взяв linux сервер в качества шлюза. меня это нисколько не печалит, нет возможности использовать что-то хардварное, ну и ладно, все равно отказоустойчивость проработать можно, да такие моменты дико смущают, но в целом работать можно, мигрировал на распространеные дистрибутивы, на них статистика (комьюнити) больше и поддерживать проще. За весь период работы было лишь две проблемы, та которая в этом году пока в работе (редко проявляется раз 1-2 недели, кернел паник по софтлуп) и та что была в 2011. даже железные решения тоже требуют отказоустойчивости, был момент когда работал у федерального провайдера - брас, терминующий 10G, загнулся - спас только аудит действий, все откатили, но на то что понять что случилось ушло время, а это абоненты без интернета в ЧНН. После этого случая брасов уже стало два, быстро нашли 2-й. "проблема проявляется раз в две недели" это для меня не допустимо просто. Даже раз в год не допустимо. Как то с негатива началось обсуждение темы, скорее всего это даже правильно. Раз уж жалобы на ядра - какое стабильнее для форвардинга, с какими версиями сетевых драйверов и для каких сетевух? Изменено 20 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 20 января, 2015 (изменено) · Жалоба Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко. Никаких "падений" / "паников" и прочего, аптайм за 500 дней. Изменено 20 января, 2015 пользователем pavel.odintsov Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 20 января, 2015 · Жалоба Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 20 января, 2015 (изменено) · Жалоба Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance. Изменено 20 января, 2015 пользователем pavel.odintsov Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Умник Опубликовано 20 января, 2015 · Жалоба Нагрузка в районе 10-14% Как измеряете? Что скажет mpstat -P ALL 1 10 в ЧНН? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 (изменено) · Жалоба Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко. Никаких "падений" / "паников" и прочего, аптайм за 500 дней. "апстрим дрова ixgbe" - это последние с сайта Intel? Модель сетевухи Intel X520-DA2 ? 16 ядер? а говорят лучше иметь один проц и более скоростной. а мамка какая? Горячий failover это две активные BGP сесии с одним провайдером (двумя)? Исходящий трафик через одну машину идет? сервер который в продакшене на тесте тащил 600kpps. Может имеет смысл пока только сетевую поменять и дожать до 2Гбит/с. Изменено 20 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 · Жалоба Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance. а что значит "конфиги сетевых обычные (RSS)" приведите плиз параметры старта модуля драйвера сетевой ipt_NETFLOW? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 20 января, 2015 · Жалоба ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10? Не знаю, мне netflow не нужен. i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе. Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 (изменено) · Жалоба ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10? Не знаю, мне netflow не нужен. i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе. Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает. если нет ipt_NETFLOW то наверное крутятся другие фичи и железка используется у Вас видимо не как бордер? т.е. обычный десктопный i7-4770k, а на какой мамке? Изменено 20 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...