SyJet Опубликовано 20 января, 2015 · Жалоба Со времён помегабайтных тарифов я уяснил одну важную вещь: нетфлоу на бордере зло, ведущее в суд. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 20 января, 2015 · Жалоба Со времён помегабайтных тарифов я уяснил одну важную вещь: нетфлоу на бордере зло, ведущее в суд. обоснуйте Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 20 января, 2015 (изменено) · Жалоба CPE от сети отключен, кто то шлёт пакеты на его ip, вы их считаете. Абонент приезжает с отпуска - и идём дружно в суд. Нетфлоу или на брасе или ниже его - сугубо моё мнение. Изменено 20 января, 2015 пользователем SyJet Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 20 января, 2015 · Жалоба если нет ipt_NETFLOW то наверное крутятся другие фичи и железка используется у Вас видимо не как бордер? т.е. обычный десктопный i7-4770k, а на какой мамке? Именно бордер. Нафига там netflow? Мать тоже какая-то обыкновенная, ничего особенного. На z87 или что-то вроде того. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
linx Опубликовано 20 января, 2015 (изменено) · Жалоба Чет я много написал мути, но хотел донести что данное решение имеет смысл быть (софт роутер на базе linux). У меня проблема лишь на одном из 4-х серверов, так что не критично если он вылетел, Nitro мне как кажется прав в указании моей причины (хардварная), сегодня вроде все заменено осталось посмотреть результат. Абрам прав, на бордере нетфлоу не нужен, его можно уже собрать на терминации. Прав он и в Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает. я тоже к этому же выводу и пришел, после генту, самосборных ядер (на самосборе и получил в итоге кернел паник) и т.д. Последний раз сервер тюнил ток когда нагрузка начала достигать 80%, добавил то что небыло сделано изначально - хеш фильтры на шейпере, после этого пока не упирался, все остальное практически по умолчанию Изменено 20 января, 2015 пользователем linx Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 21 января, 2015 · Жалоба CPE от сети отключен, кто то шлёт пакеты на его ip, вы их считаете. Абонент приезжает с отпуска - и идём дружно в суд. А на присутствие входящего от абона трафика религия запрещает смотреть? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 21 января, 2015 · Жалоба если нет ipt_NETFLOW то наверное крутятся другие фичи и железка используется у Вас видимо не как бордер? т.е. обычный десктопный i7-4770k, а на какой мамке? Именно бордер. Нафига там netflow? Мать тоже какая-то обыкновенная, ничего особенного. На z87 или что-то вроде того. а где же ему быть ? :) Смотря сеть как построена. Если у Вас есть сервера терминаторы - (доступ абонентов по PPoE, l2tp,PPtpP) то возможно на границе AS ipt_NETFLOW и не нужен. У меня серверов доступа нет. Статик белый IP у абонентов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 21 января, 2015 · Жалоба Значит зеркало с коммутатора, куда более правильное решение Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Tamahome Опубликовано 21 января, 2015 (изменено) · Жалоба Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Никакой магии, просто наверняка человек не насилует труп ядра из центоси. А в свежих ядрах со свежим ixgbe и ipt_NETFLOW нормально 7G жует на всякого рода остатках типа Xeon® CPU X3440 @ 2.53GHz трафик обычный, тоесть юзеры с широкополосным интернетам и естественно торрентами. Ну а по теме netflow, то да, его на натах собирать для выполнения запросов всячиских органов и судов. А для тарификации на "БРАСе". Изменено 21 января, 2015 пользователем Tamahome Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 21 января, 2015 (изменено) · Жалоба Значит зеркало с коммутатора, куда более правильное решение это еще одна железка, только если стабильность бордера под угрозой из за ipt_NETFLOW т.е. стоимость удваивается. как зеркалировать более 10 Гбит в 10гбит порт? Изменено 21 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 21 января, 2015 · Жалоба Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Никакой магии, просто наверняка человек не насилует труп ядра из центоси. А в свежих ядрах со свежим ixgbe и ipt_NETFLOW нормально 7G жует на всякого рода остатках типа Xeon® CPU X3440 @ 2.53GHz трафик обычный, тоесть юзеры с широкополосным интернетам и естественно торрентами. Ну а по теме netflow, то да, его на натах собирать для выполнения запросов всячиских органов и судов. А для тарификации на "БРАСе". свежие ядра это какие? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Azamat Опубликовано 21 января, 2015 (изменено) · Жалоба машина FreeBSD 9.2-RELEASE на i7-4960X CPU @ 3.60GHz, 8Gb RAM Intel 520-DA2, 2 fullview up 437 days в чнн 6Гбит/с IN, 1.8 Out load averages: 3.27, 2.87, 2.70 Ожидаем что 8Гбит IN сможет пережевать, но уже заказан след. i7 extreme CPU с 8 ядрами. Общий трафик днем: netstat -bdh -w1 input (Total) output packets errs idrops bytes packets errs bytes colls drops 1.8M 0 0 1.2G 1.8M 0 1.1G 0 0 1.7M 0 0 1.1G 1.7M 0 1.1G 0 0 1.7M 0 0 1.1G 1.8M 0 1.1G 0 0 Изменено 21 января, 2015 пользователем Azamat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 21 января, 2015 · Жалоба Во, у человека есть какая-то более-менее реальная цифра. Хоть и FreeBSD. :-P Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 21 января, 2015 (изменено) · Жалоба машина FreeBSD 9.2-RELEASE на i7-4960X CPU @ 3.60GHz, 8Gb RAM Intel 520-DA2, 2 fullview up 437 days в чнн 6Гбит/с IN, 1.8 Out load averages: 3.27, 2.87, 2.70 Ожидаем что 8Гбит IN сможет пережевать, но уже заказан след. i7 extreme CPU с 8 ядрами. Общий трафик днем: netstat -bdh -w1 input (Total) output packets errs idrops bytes packets errs bytes colls drops 1.8M 0 0 1.2G 1.8M 0 1.1G 0 0 1.7M 0 0 1.1G 1.7M 0 1.1G 0 0 1.7M 0 0 1.1G 1.8M 0 1.1G 0 0 а какие задачи на нем? только BGP и форвардинг с интерфейса на интерфейс? а материнка какая? Корпус дескотпный или 2U ? Изменено 21 января, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 21 января, 2015 · Жалоба Нагрузка в районе 10-14% Как измеряете? Что скажет mpstat -P ALL 1 10 в ЧНН? 10:49:34 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 10:49:35 AM all 0.24 0.00 0.12 0.00 0.00 12.38 0.00 0.00 87.26 10:49:35 AM 0 1.45 0.00 0.00 0.00 0.00 5.80 0.00 0.00 92.75 10:49:35 AM 1 0.00 0.00 0.00 0.00 0.00 7.35 0.00 0.00 92.65 10:49:35 AM 2 0.00 0.00 0.00 0.00 0.00 19.18 0.00 0.00 80.82 10:49:35 AM 3 1.30 0.00 1.30 0.00 0.00 15.58 0.00 0.00 81.82 10:49:35 AM 4 0.00 0.00 0.00 0.00 0.00 13.70 0.00 0.00 86.30 10:49:35 AM 5 0.00 0.00 0.00 0.00 0.00 13.04 0.00 0.00 86.96 10:49:35 AM 6 0.00 0.00 0.00 0.00 0.00 13.64 0.00 0.00 86.36 10:49:35 AM 7 0.00 0.00 1.33 0.00 0.00 14.67 0.00 0.00 84.00 10:49:35 AM 8 0.00 0.00 0.00 0.00 0.00 14.93 0.00 0.00 85.07 10:49:35 AM 9 0.00 0.00 0.00 0.00 0.00 12.68 0.00 0.00 87.32 10:49:35 AM 10 0.00 0.00 0.00 0.00 0.00 7.58 0.00 0.00 92.42 10:49:35 AM 11 0.00 0.00 0.00 0.00 0.00 10.00 0.00 0.00 90.00 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 21 января, 2015 · Жалоба Ну раз пошла такая пьянка, то Debian 7, ядро 3.2 (+апстрим дрова ixgbe), Xeon e5-2640v2 x2, Intel 82599 x 2. Средеяя нагрузка 5Ge, около 800 kpps (иногда влетает до 5-7mpps), 3 BGP full view. Две таких машины с распределнием нагрузки и горячим failover. Нагрузка в районе 10-14%. Если обновить ядро до 3.18 - упадет до 8 где-то. То есть конфиг протащит около 15 Ge довольно легко. Никаких "падений" / "паников" и прочего, аптайм за 500 дней. "апстрим дрова ixgbe" - это последние с сайта Intel? Модель сетевухи Intel X520-DA2 ? 16 ядер? а говорят лучше иметь один проц и более скоростной. а мамка какая? Горячий failover это две активные BGP сесии с одним провайдером (двумя)? Исходящий трафик через одну машину идет? сервер который в продакшене на тесте тащил 600kpps. Может имеет смысл пока только сетевую поменять и дожать до 2Гбит/с. "апстрим дрова ixgbe" - это последние с сайта Intel? Да Модель сетевухи Intel X520-DA2 ? Да Ядер даже меньше, Intel® Xeon® CPU E5-2620 0 @ 2.00GHz, 12 логических/6 физических. Я тут немного наболтал - физический сокет ровно один, второе гнездо не используется. Да, чтобы не парится с NUMA и локализацией PCI-E по numa нодам я бы отдал предпочтение односокетным процессорам, например, класса e5 1670v3. Хотя если забьется проц на двухсокетном конфиге можно воткнуть второй и увеличить производительность раза в полтора. Мамка - это делл PowerEDGE 720. Я Dell врагу не порекомендую, лучше возьмите Supermicro. А-то у меня половина фич рулится не из Линукса, а из их бестолкового BIOS. Да, с каждым из 3х аплинков две BGP сессии, по 3 с каждого роутера. Пока балансится лишь входящий трафик. Думаем, как поступать с балансингом исходящего - у нас его в 3 раза больше (мы трафикогенератор - враг провайдера! ). Павел, в чем магия, у людей 2 жует и падает, у вас 5 и аптайм 1,5 года? Не знаю - стоковое дистрибное ядро (кривое, медленное, но не падает), конфиги сетевых обычные (RSS) все очереди распределены по всем доступным ядрам. NAT - нету, TC - нету. Тюнинг sysctl - минимальный. Governor: performance. а что значит "конфиги сетевых обычные (RSS)" приведите плиз параметры старта модуля драйвера сетевой ipt_NETFLOW? Конфиг ixgbe: cat /etc/modprobe.d/ixgbe.conf options ixgbe IntMode=2,2,2,2,2,2 MQ=1,1,1,1,1,1 DCA=2,2,2,2,2,2 RSS=0,0,0,0,0,0 VMDQ=0,0,0,0,0,0 max_vfs=0,0,0,0,0,0 InterruptThrottleRate=1,1,1,1,1,1 FCoE=0,0,0,0,0,0 LRO=0,0,0,0,0,0 allow_unsupported_sfp=1,1,1,1,1,1 ipt_NETFLOW был, но теперь нету и не будет никогда, потому что именно ipt_NETFLOW лет несколько назад приводил к 3-4 смачным складыванием нашего ведущего роутера, после этого было решено его (ipt_netflow) перевести на дешевый тазик на mirror-порту, который, к слову, тоже ребутился стабильно раз в пару суток, что в свою очередь привело к отказу от ipt_netflow. Разумеется, сейчас автор ipt_NETFLOW говорит, что такого быть не может и давно починено - но "ложки нашлись и осадок остался", теперь желания тащить на апстримное ядро, которое крутится годами без траблов что-то "свое" отбит напрочь. Тем более, netflow коллектор отлично реализуется в юзерспейсе силами того же PF_RING (к чести сказать, он тоже может кувыркнуть систему, но решительно реже). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pavel.odintsov Опубликовано 21 января, 2015 · Жалоба ip_NETFLOW модуль для этого ядра есть? на какой железке крутится ядро 3.10? Не знаю, мне netflow не нужен. i7-4770k. Ядро тупо стоковое. Драйвер igb с сайта intel. Из тюнинга - прерывания прибиты вручную к ядрам, включён RSS на картах. HT отключен в биосе. Тоже никакой магии :). Вообще я вывел для себя золотое правило, как добиться хорошего роутинга в Linux: не мудрить. Взять Debian, Ubuntu или ещё какой-нибудь широко распространенный дистрибутив, ничего не выдумывать, ничего лишний раз не тюнить без необходимости. Если железка выполняет свою задачу, допустим, с 30% загрузкой CPU - не надо добиваться 10%, пусть работает как работает. В целом категорически согласен. Апстримное 3.2 ядро от Debian 7 Wheezy при всей своей тупости и топорности работает довольно прилично (хотя там даже роут кэш не вычищен, что было причиной моего баттхерта ранее: http://forum.nag.ru/forum/index.php?showtopic=99180&st=0&p=1043622entry1043622 ) Сейчас в CentOS 7 довольно новое ядро - 3.12 с кучей полезных фич и улучшений в сетевой подсистеме. Но признаться я жду Debian 8, так как циклы выпуска релизов у них короче и к тому времени как будет Дебиян 9-10, CentOS вряд ли слезет с 3.12 и снова останется позади мира всего (как произошло с CentOS 6 с 2.6.32). Кроме этого, я бы не сказал, что RedHat активно бэкпортирует критичные для сети фичи в свои ядра, ибо все же им этот кейс побоку - им надо жавку да оракл пускать, а не роутить половина exUSSR :) Хотя могу тут ошибаться, я не сильно глубокий спец в этой теме. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 21 января, 2015 · Жалоба Но признаться я жду Debian 8 Я уже использую. Последние месяца два изменения пошли уже в основном косметические. На всякий случай только igb запаковал в dkms, чтобы не пересобирать руками. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Azamat Опубликовано 21 января, 2015 (изменено) · Жалоба корпус 2U, серверный подошел. Мамка Asus Rampage IV еще есть небольшой файрвол, мусор подрезает типа ссш. ipfw show | wc -l 41 Вечерний трафик: netstat -bdh -w1 input (Total) output packets errs idrops bytes packets errs bytes colls drops 2.5M 0 0 1.6G 2.6M 0 1.6G 0 0 2.5M 0 0 1.6G 2.5M 0 1.6G 0 0 2.5M 0 0 1.6G 2.5M 0 1.6G 0 0 нагрузка: last pid: 79583; load averages: 4.55, 4.64, 4.46 up 437+17:54:02 20:42:18 155 processes: 10 running, 96 sleeping, 49 waiting CPU 0: 0.0% user, 0.0% nice, 0.0% system, 55.0% interrupt, 45.0% idle CPU 1: 0.0% user, 0.0% nice, 0.0% system, 53.8% interrupt, 46.3% idle CPU 2: 0.0% user, 0.0% nice, 1.3% system, 53.8% interrupt, 45.0% idle CPU 3: 0.0% user, 0.0% nice, 0.0% system, 52.5% interrupt, 47.5% idle CPU 4: 0.0% user, 0.0% nice, 0.0% system, 55.0% interrupt, 45.0% idle CPU 5: 0.0% user, 0.0% nice, 0.0% system, 45.0% interrupt, 55.0% idle Mem: 597M Active, 670M Inact, 948M Wired, 823M Buf, 5633M Free Изменено 21 января, 2015 пользователем Azamat Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nma Опубликовано 22 января, 2015 · Жалоба Uptime 615 days, quagga, Linux border 3.9.2-gentoo, 2 х Intel® Xeon® CPU E5645@2.40GHz, 3 BGP full view. Транзит 8 Gb/s+2Gb/s Нагрузка до 35% Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 22 января, 2015 · Жалоба Uptime 615 days, quagga, Linux border 3.9.2-gentoo, 2 х Intel® Xeon® CPU E5645@2.40GHz, 3 BGP full view. Транзит 8 Gb/s+2Gb/s Нагрузка до 35% а материнка какая у Вас? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nma Опубликовано 22 января, 2015 · Жалоба Uptime 615 days, quagga, Linux border 3.9.2-gentoo, 2 х Intel® Xeon® CPU E5645@2.40GHz, 3 BGP full view. Транзит 8 Gb/s+2Gb/s Нагрузка до 35% а материнка какая у Вас? Manufacturer: Intel Corporation Product Name: S5500WB Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 23 января, 2015 · Жалоба Держать трафик более 2 гиг, не рекомендую. Всякие кернел паники, с которыми вы будете один на один :) http://people.netfilter.org/hawk/presentations/LCA2015/net_stack_challenges_100G_LCA2015.pdf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BETEPAH Опубликовано 23 января, 2015 (изменено) · Жалоба CentOS вряд ли слезет с 3.12 и снова останется позади мира всего (как произошло с CentOS 6 с 2.6.32). Это не проблема с http://elrepo.org/tiki/tiki-index.php С весны например у меня бордер на Centos 6: Linux border.realtvcom.ru 3.14.4-1.el6.elrepo.x86_64 #1 SMP Tue May 13 15:33:18 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux Изменено 23 января, 2015 пользователем BETEPAH Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 23 января, 2015 · Жалоба CentOS вряд ли слезет с 3.12 и снова останется позади мира всего (как произошло с CentOS 6 с 2.6.32). Это не проблема с http://elrepo.org/tiki/tiki-index.php С весны например у меня бордер на Centos 6: Linux border.realtvcom.ru 3.14.4-1.el6.elrepo.x86_64 #1 SMP Tue May 13 15:33:18 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux а железо какое у Вас - сетевуха,материнка, проц? сколько трафика и загрузка? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
