QWE Опубликовано 23 января, 2015 · Жалоба Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :) http://people.netfilter.org/hawk/presentations/LCA2015/net_stack_challenges_100G_LCA2015.pdf так и от ДДОСа можно защититься Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 23 января, 2015 · Жалоба Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :) http://people.netfilter.org/hawk/presentations/LCA2015/net_stack_challenges_100G_LCA2015.pdf так и от ДДОСа можно защититься При наличии 100GE аплинка DDoS вообще не должен быть проблемой как с лиунксом, так и без него :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 23 января, 2015 · Жалоба Разумеется, сейчас автор ipt_NETFLOW говорит, что такого быть не может и давно починено Никогда не скажу, что багов "не может быть". Но всё, что было известно исправлено, да. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BETEPAH Опубликовано 25 января, 2015 · Жалоба а железо какое у Вас - сетевуха,материнка, проц? сколько трафика и загрузка? Supermicro X9DRi-F, Xeon E5-2670V2 x 2шт., сетевые разные: SuperMicro AOC-STG-I2T, AOC-STG-I2, INTEL X520-DA2 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 25 января, 2015 · Жалоба BETEPAH, Охренеть. Мало того, что эта дура у вас лопатит 1.5 гига трафика, так вы еще и умудрились добить нагрузку до 20%? КАК?! У меня i7 4770k, две E1G44ET, трафика (насквозь) - около 3 гиг, нагрузка - 15-20% CPU. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 25 января, 2015 · Жалоба BETEPAH, Охренеть. Мало того, что эта дура у вас лопатит 1.5 гига трафика, так вы еще и умудрились добить нагрузку до 20%? КАК?! У меня i7 4770k, две E1G44ET, трафика (насквозь) - около 3 гиг, нагрузка - 15-20% CPU. больше прерываний - меньше задержка обработки пакета? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BETEPAH Опубликовано 25 января, 2015 · Жалоба 1. Не 1.5, а 2 2. У i7-4770k частота 3500, у Xeon E5-2670V2 частота 2500 3. Никак не доберусь до accel-pptp, не хочется эксперементировать в продакшене, стоит poptop pptp, а он как известно кушает не мало. И самое главное, никаких десктопных железок в продакшене. Я один раз ехал в Волгоград и в районе Тамбова звонок, интернет пропал, весь. Вобщем повезло, что поворачивать назад не пришлось. Знакомые вскрыли сервер, а там куча вздутых электролитов. Вобщем только серверное железо теперь использую. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 25 января, 2015 · Жалоба 1. Не 1.5, а 2 2. У i7-4770k частота 3500, у Xeon E5-2670V2 частота 2500 3. Никак не доберусь до accel-pptp, не хочется эксперементировать в продакшене, стоит poptop pptp, а он как известно кушает не мало. И самое главное, никаких десктопных железок в продакшене. Я один раз ехал в Волгоград и в районе Тамбова звонок, интернет пропал, весь. Вобщем повезло, что поворачивать назад не пришлось. Знакомые вскрыли сервер, а там куча вздутых электролитов. Вобщем только серверное железо теперь использую. полно десктопных материнок без элктролитов Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 25 января, 2015 · Жалоба И самое главное, никаких десктопных железок в продакшене. Я один раз ехал в Волгоград и в районе Тамбова звонок, интернет пропал, весь. Вобщем повезло, что поворачивать назад не пришлось. Знакомые вскрыли сервер, а там куча вздутых электролитов. Вобщем только серверное железо теперь использую. Неправильный вывод: у вас отсутствовало плановое ТО железа у вас отсутствовало резервирование железа, горячее или холодное Брендовое или серверное железо тоже выходит со строя, только реже, простой услуг будет дольше и восстановление будет дороже. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BETEPAH Опубликовано 25 января, 2015 · Жалоба Всё верно говорите, ещё и кондиционер в серверной нужен был, чтобы кондёры не вспухли... Только вот при строительстве сети обычно денег не хватает. Это счас, когда уже давно всё построено, маржа идёт, можно всё по науке делать, зипы иметь. Но всё-таки, по опыту работы с разным железом, серверное предпочительнее, надёжность выше в разы. Ну и опять же ipmi - очень удобная штука. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 25 января, 2015 · Жалоба Всё верно говорите, ещё и кондиционер в серверной нужен был, чтобы кондёры не вспухли... Только вот при строительстве сети обычно денег не хватает. Это счас, когда уже давно всё построено, маржа идёт, можно всё по науке делать, зипы иметь. Но всё-таки, по опыту работы с разным железом, серверное предпочительнее, надёжность выше в разы. Ну и опять же ipmi - очень удобная штука. Я не спорю насчет серверного оборудования, но у десктопного есть свои преимущества - низкая цена и массовость. ipmi - можно заменить переносным IP-KVM или загрузкой по сети (PXE boot). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BETEPAH Опубликовано 25 января, 2015 · Жалоба 1. Не 1.5, а 2 2. У i7-4770k частота 3500, у Xeon E5-2670V2 частота 2500 3. Никак не доберусь до accel-pptp, не хочется эксперементировать в продакшене, стоит poptop pptp, а он как известно кушает не мало. Старость не в радость... Про нат ещё забыл упомянуть. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Megas Опубликовано 26 января, 2015 · Жалоба Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко. Никаких "падений" / "паников" и прочего, аптайм за 500 дней. А немогли бы вы привести схему горячего failover, сейчас изучаю данную тему. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 26 января, 2015 · Жалоба Дык смотря что за задача... Бордер - пара бгп сессий, по одной с каждой железки (или лучше пара аплинков), ну или как вариант keepalived. Обычный роутер - опять же keepalived (VRRP). Брасы - сами баалансируются/резервируются если правильно спроектировать. И т.д. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Megas Опубликовано 26 января, 2015 · Жалоба Правильно понимаю? Имеем два роутера ядра и два провайдера, с каждого браса устанавливаем по двум bgp сессиям с нашими аплинками, на внутренний интерфейс вешаем keepalived и вешаем ip который будет выступать гейтом для наших брасов. Просто в этой схеме не совсем уверен что оператор согласится предоставить по 2е сессии с каждого роутера. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 27 января, 2015 · Жалоба Имеем два роутера ядра и два провайдера, с каждого браса устанавливаем по двум bgp сессиям с нашими аплинками, на внутренний интерфейс вешаем keepalived и вешаем ip который будет выступать гейтом для наших брасов. Брр. Брасы, роутеры ядра, провайдеры... Терминологию как-то упорядочить надо :) В общем случае, если речь идет о классической схеме БРАС-ядро-бордер, то я бы keepalived не ставил. В ней "красивше" укладывается BIRD с включенным bfd. Просто в этой схеме не совсем уверен что оператор согласится предоставить по 2е сессии с каждого роутера. Две сессии получить легко и просто. А вот 4-6-8... Да, апстрим скажет "вы там в хоменете границ не видите?" Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 27 января, 2015 · Жалоба Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко. Никаких "падений" / "паников" и прочего, аптайм за 500 дней. А немогли бы вы привести схему горячего failover, сейчас изучаю данную тему. Добрый день! Прямой эзернет линк кабелем (для heartbeat) между машинками и запущенный keepalived: cat /etc/keepalived/keepalived.conf vrrp_instance VI_1 { state MASTER interface eth3 priority 100 dont_track_primary virtual_router_id 151 advert_int 1 authentication { auth_type PASS auth_pass SO_SECRET } virtual_ipaddress { xx.yy.zz.ww/24 dev vlan2 label vlan2:ucarp } track_interface { } notify_master /etc/network/x/keepalived-up.sh notify_backup /etc/network/x/keepalived-down.sh notify_fault /etc/network/x/keepalived-down.sh } Сейчас в сети у машин xx.yy.zz.ww забит как дефалт гейтвей, если мастер потухает - слейв сразу поднимает его на себе и рассылает ARP анонс о смене адреса виртуального ифейса. Так балансится лишь исходящий, а входящий более-менее равномерно распределяется по BGP - у нас по две сессии с каждым аплинком. Правильно понимаю? Имеем два роутера ядра и два провайдера, с каждого браса устанавливаем по двум bgp сессиям с нашими аплинками, на внутренний интерфейс вешаем keepalived и вешаем ip который будет выступать гейтом для наших брасов. Просто в этой схеме не совсем уверен что оператор согласится предоставить по 2е сессии с каждого роутера. Точь-в-точь так и сделано :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 27 января, 2015 · Жалоба DVM-Avgoor, а поясните что за bfd режим BIRD? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 27 января, 2015 · Жалоба pavel.odintsov, Ё-моё. У keepalived можно разнести управление и трафик? А я мучился - искал и не нашёл. :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 27 января, 2015 · Жалоба pavel.odintsov, Ё-моё. У keepalived можно разнести управление и трафик? А я мучился - искал и не нашёл. :( Ага, у нас в скриптах подъем/опускание BGP сессии в Quagga было, пока не было по две сессии с аплинками. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vlad11 Опубликовано 27 января, 2015 · Жалоба Правильно понимаю? Имеем два роутера ядра и два провайдера, с каждого браса устанавливаем по двум bgp сессиям с нашими аплинками, на внутренний интерфейс вешаем keepalived и вешаем ip который будет выступать гейтом для наших брасов. Просто в этой схеме не совсем уверен что оператор согласится предоставить по 2е сессии с каждого роутера. CARP и аналоги VRRP помогут Но лучше две сессии BGP Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 27 января, 2015 (изменено) · Жалоба а ОСПФ или еще какой IGP протокол поднять? чем не failover ? При наличии разумеется двух BGP аплинков Изменено 27 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 8 февраля, 2015 · Жалоба а железо какое у Вас - сетевуха,материнка, проц? сколько трафика и загрузка? Supermicro X9DRi-F, Xeon E5-2670V2 x 2шт., сетевые разные: SuperMicro AOC-STG-I2T, AOC-STG-I2, INTEL X520-DA2 А чем графики такие клевые рисуете? Сам использую 3.18.2-1.el6.elrepo.x86_64 в центоси Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 8 февраля, 2015 · Жалоба А чем графики такие клевые рисуете? zabbix же Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DVM-Avgoor Опубликовано 8 февраля, 2015 · Жалоба DVM-Avgoor, а поясните что за bfd режим BIRD? Если делать цитату - мне придет уведомление, а иначе я не прочитаю. BFD - это няшный протокол, который помогает другим протоколам понять что линк упал задолго до истечения таймера. Секунда делов :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...