Выбор CPU под NAT 10G

[alks]

ну ценник А10 для примерно тех же значений (лучше на самом деле ) будет конечно выше раза в 2-3, что не запредельно согласитесь. За это вы получаете готовое решение со всем необходимым функционалом. Мне кажется что операторам iptables плюс зоопарк из нескольких самописных скриптов, будет не достаточно. У них немного другой взгляд на то что требуется от НАТ устройства.

Нет у нас на нат серверах никаких скриптов, зачем они? вру только один, прерывания раскидать

 

Текущие можности железа конечно зашкаливают, и похоже судя по размерам современного ПО, его "скорости" и отказоустойчивости его таки и пишут на бейсике.

А10 на одиноковой аппаратной платформе дает фактор 2-3 по производительности по сравнению с анаогами и тем более с самосбором.

Практика показывает что сервер двухлетней давности уступает новому по производительности для задач nat в два три раза при одинаковой частоте и кол-ве ядер

и потом, старые серваки всегда есть куда пристроить и чем занять, плюс опять же резервирование

Поверьте я в свое время много чего попробовал и циску и джун, но по соотношению цена- производительность

альтернативы тазикам просто нет, взять тот-же а10 взяли бы девайс а что скажите делать с резервом если он сдохнет в пятницу в 18-00, сервис брать 7X24

и платить приличные деньги? не надо такого счастья ))) сервера если они брендовые дохнут гораздо реже чем любые вендорные железки, даже по блокам питания

я в некоторых 7600 уже по два раза за 8 лет бп сменил

елси бы тот-же а10 продавал чисто софт под обычные интел платформы, это был бы другой разговор

 

Самосбор выгоден только фирмам у которых есть достаточно "бесплатной" раб. силы в лице сисадминов.

Это старый изживший себя шаблон, сервер это обычный линукс, sysctl iptables snmp, конфиг статичен, что вы там администрировать собрались?

 

еще раз - Фортигэйт это файрвол, который как-то умеет делать НАТ для энтерпрайза, но у него нет и половины того функционала который нужен провайдерам.

Логгинг одно из основных требований операторов.

Прозрачность означает, что трафик, особенно P2P, не затыкается на НАТе и не требует для каждого приложения свой ALG. Посмотрите RFC для CGN, там все написано.

 

Это да, раньше логирование это был хороший головняк, хранить netflow было проблемно, объем большой

сейчас почти везде есть netflow v9 и можно с роутеров снимать только нужные поля, объем хранимых данных упал в разы, проблем нет, так что логирование это уже далеко не фишка первой необходимости.

ALG актуален для железных решений.

[GrandPr1de]

всегда было интересно наблюдать за людьми, пытающимися оспорить смысл существования коммерческих производителей.

вангую: когда Вы создадите такую же ОС (как например у А10) с shared memory и symetric-muliprocessor - вряд ли будете раздавать её бесплатно. всё остальное - демагогия в пользу бедных.

- добро пожаловать в жестокий мир денег и промышленных решений.

А вы чьих будете? А то с таким рвением влезли в тему касаемую самосбора.

Может представляете кого?

 

представляю, но не рекламирую.

могу представиться в личке, чтобы не закончилось банальными фразами "продаваны" и прочее. я не продаван.

свою мысль, довольно просто и чётко сформулировал в первом сообщении.

понимая боль и нужды людей (в операторских" средах повторю: все бесплатные решения имеют довольно ограниченную производительность, процессорозависимость ну и дальше можно продолжить

 

что касается фразы одного из коллег - нахер не нужно логирование - вам может быть нахер, а вот другим операторам, которые задумались как бы убрать ненужную шелуху с других уровней сети и устройств, нужен.

 

резюме: я по прежнему с интересом читаю высказывания людей, которые работают в русских операторах, ваяяют на коленке, а потом решают проблемы, каждый день как на подвиг.

 

ну нравится людям это делать - значит нравится. я знаю много людей, которые уже устали следить за бесплатным ПО и серваками, и просто захотели получить рабочее решение с поддержкой.

 

но прекрасно понимаю, что в режиме кризиса - насущные задачи придется чем то решать. и скорей всего, в определенных случаях - нат на серваке будет выгодней до определенного масштаба.

 

никто же не заставляет. все сами вершители своего бизнеса и работы

 

Вот мне интересно что изменилось с момента этой темы?

 

 

 

Edited September 3, 2015 by GrandPr1de

[nuclearcat]

A10 - редкостный отстой, начиная от качества софта и новых релизов, заканчивая техподдержкой. Есть крайне неприятный опыт и теперь железки за кучу денег валяются мертвым грузом. Их прекрасно заменили софтроутеры.

По поводу NAT, здесь конечно всего с избытком, но в чем-то ориентироваться можно.

Памяти 396G, используется реально 1-2 гига, 900k-1 млн conntrack states, траффик 4.1гига, в некоторые дни ~4.5. Карта X520 (X710 не советую)

Два проца E5-2640, но они с избытком, я их реально не могу загрузить. На графике - idle %, т.е. загрузка больше 25% на ядрах не поднимается.

Правил iptables, в т.ч. source routing - немало (~100), в т.ч. connmark и на их основе source routing, это создает дополнительную нагрузку, плюс использую динамический ipset с кучей хостов и периодически (раз в минуту) считываю и анализирую все connstates (из-за этого расческа и пики на графике загрузки проца).

[alks]

Кот а что тюнил в системе и покажи плз sysctl.conf

[DVM-Avgoor]

Памяти 396G, используется реально 1-2 гига

 

Оверкилл какой-то не?

 

Ну и графики сказочные, вы бы хоть выбрали день без косяков, чтобы не так нелепо выглядело.

[nuclearcat]

По памяти что клиент купил, то я и поставил.

И, здесь перебои электричества, потому в определенный час идет массовый "релогин". Так что "день без косяков" тут в принципе невозможен, но хоть стресс-тест для pppoe.

А, еще ночью была атака на Ливан-телеком. К сожалению, учитывая количество каналов и местные стандарты в телекоме - каждый день что-то происходит.

[nuclearcat]

Кот а что тюнил в системе и покажи плз sysctl.conf

Покажу что не забуду:

NAT ~ # cat /proc/cmdline

BOOT_IMAGE=kernel panic=1 intel_idle.max_cstate=0 processor.max_cstate=1

 

net.core.warnings=0

net.netfilter.nf_conntrack_tcp_timeout_close=10

net.netfilter.nf_conntrack_tcp_timeout_close_wait=10

net.netfilter.nf_conntrack_tcp_timeout_established=600 #самое существенное, но для некоторых может быть маловато

net.netfilter.nf_conntrack_tcp_timeout_fin_wait=20

net.netfilter.nf_conntrack_tcp_timeout_last_ack=20

net.netfilter.nf_conntrack_tcp_timeout_max_retrans=60

net.netfilter.nf_conntrack_tcp_timeout_syn_recv=10

net.netfilter.nf_conntrack_tcp_timeout_syn_sent=20

net.netfilter.nf_conntrack_tcp_timeout_time_wait=20

net.netfilter.nf_conntrack_tcp_timeout_unacknowledged=30

net.nf_conntrack_max=6553600

net.core.bpf_jit_enable=1

echo 1048576 >/sys/module/nf_conntrack/parameters/hashsize

 

smp affinity конечно, и rps

echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

ethtool -K eth3 tso off gso off gro off (отключил и на вланах)

ethtool -A eth3 autoneg off rx off tx off

[nuclearcat]

Кстати по крайней мере на гиговых сетевках, иногда, если совсем уж плохо по процу, помогает (с потерей по latency ~1ms) - ethtool -C ethx rx-usecs 1000

[^rage^]

Вы создадите такую же ОС (как например у А10) с shared memory

это есть в любом опенсорс *nix: *bsd, linux.

 

и symetric-muliprocessor

что это?

 

есть определенные цифры, которые можно достичь на одном и том же железе (немного утрирую) - но с разным софтом. и вот что-то, пока преимущества собранного на колене не наблюдается.

сейчас любой может взять netmap/dpdk и написать свой нат/роутер. или взять click.

 

повторю идею - если производительность, самосборного решения устраивает - можно хоть на базе чайника собирать. в остальных случаях - добро пожаловать в жестокий мир денег и промышленных решений.

по моим наблюдениям, "промышленные решения" - это редкостное говно.

[ciberkot]

A10 - редкостный отстой, начиная от качества софта и новых релизов, заканчивая техподдержкой. Есть крайне неприятный опыт и теперь железки за кучу денег валяются мертвым грузом. Их прекрасно заменили софтроутеры.

боюсь, что если у вас А10 заменились софтрутерами, которые както там крутят 1-2Г, то изначально необходимости в А10 не было - вы сами неправильно спозиционировали свои потребности.

Когда до 20-30Г дорастете тогда можно сравнить будет, а так пустой разговор ни о чем.

 

сейчас любой может взять netmap/dpdk и написать свой нат/роутер. или взять click.

 

да неверное, может. Только почему то никто не делает, а если и делает то все равно медленно и криво получается.

Ну и как я заметил ранее, если у фирмы достаточно бесплатной рабсилы, то наверное да, самопал на подержаном железе экономически оправдан.

[ciberkot]

Это да, раньше логирование это был хороший головняк, хранить netflow было проблемно, объем большой

сейчас почти везде есть netflow v9 и можно с роутеров снимать только нужные поля, объем хранимых данных упал в разы, проблем нет, так что логирование это уже далеко не фишка первой необходимости.

ALG актуален для железных решений.

 

логгирование и сейчас головняк. Если НАТ стоит у провайдера, а во преки распостранному ошибочному мнению - провайдеры очень активно использую NAT для своих абонентов, то провайдер просто обязан снимать всю статистику с каждой НАТ трансляции. Поэтому нетфлоу с рутеров тут совсем ни при чем, это должно происходить на НАТ устройстве. Сколько эта фича отжирает процессора? думаю если вы уложитесь в 30% то это будет замечательно, но скорее всего под 50%.

 

ALG нужны всем, не только хардверным решениям. Другой вопрос что следование CGN стандарту позволяет снизить количество приложений, которым ALG жизненно необходим, но всеже для FTP PPP и SIP желательно иметь ALG .

[alks]

Это да, раньше логирование это был хороший головняк, хранить netflow было проблемно, объем большой

сейчас почти везде есть netflow v9 и можно с роутеров снимать только нужные поля, объем хранимых данных упал в разы, проблем нет, так что логирование это уже далеко не фишка первой необходимости.

ALG актуален для железных решений.

 

логгирование и сейчас головняк. Если НАТ стоит у провайдера, а во преки распостранному ошибочному мнению - провайдеры очень активно использую NAT для своих абонентов, то провайдер просто обязан снимать всю статистику с каждой НАТ трансляции. Поэтому нетфлоу с рутеров тут совсем ни при чем, это должно происходить на НАТ устройстве. Сколько эта фича отжирает процессора? думаю если вы уложитесь в 30% то это будет замечательно, но скорее всего под 50%.

 

ALG нужны всем, не только хардверным решениям. Другой вопрос что следование CGN стандарту позволяет снизить количество приложений, которым ALG жизненно необходим, но всеже для FTP PPP и SIP желательно иметь ALG .

Вы поясните тупому в чем отличия от "статистики nat сессии" и "статистики netflow" в разрезе запросов от мвд ск и прочих товарищей

По поводу цпу ничего там не отжирает так как конкретно в нашем случае netflow снимается с цисковских asr

 

ps ciberkot я чую вы операторе никогда не работали так ваши представления что как обычно устроено и какие реально есть нужды у операторов строятся на стандартных презах от той-же циски

[NikAlexAn]

Вы поясните тупому в чем отличия от "статистики nat сессии" и "статистики netflow" в разрезе запросов от мвд ск и прочих товарищей

По поводу цпу ничего там не отжирает так как конкретно в нашем случае netflow снимается с цисковских asr

 

ps ciberkot я чую вы операторе никогда не работали так ваши представления что как обычно устроено и какие реально есть нужды у операторов строятся на стандартных презах от той-же циски

Оператор должен ответить на запрос вида - "кто ходил тогда то с такого то адреса с такого то порта?".

Я вот не знаю как однозначно ответить на такой вопрос только с помощью нетфлоу. Вы знаете?

[darkagent]

тьфу тьфу тьфу, ip nat log translations flow-export прекрасно справляется и не сворачивает асрки в зюзю.

[alks]

Вы поясните тупому в чем отличия от "статистики nat сессии" и "статистики netflow" в разрезе запросов от мвд ск и прочих товарищей

По поводу цпу ничего там не отжирает так как конкретно в нашем случае netflow снимается с цисковских asr

 

ps ciberkot я чую вы операторе никогда не работали так ваши представления что как обычно устроено и какие реально есть нужды у операторов строятся на стандартных презах от той-же циски

Оператор должен ответить на запрос вида - "кто ходил тогда то с такого то адреса с такого то порта?".

Я вот не знаю как однозначно ответить на такой вопрос только с помощью нетфлоу. Вы знаете?

 

Я таких запросов ни разу в жизни не наблюдал. Оператор должен ответить кто ходил с его IP на адрес XXX в указанное время или интервал времени, даже dst порт в большинстве случаев отсутствует

пишут проще "кто с вашего ип ходил в сеть вконтакте 1.01.2015 в 23-15

 

Проблемы были когда какая нибудь следователь присылает запрос в виде "дайте мне статистикупо клиенту А за последние два года" Мы в таком случае предлагаем самим забрать флоу и самостоятельно парсить это дело. Всегда после этого осетра урезают и просят данные за конкретные периоды

 

ну и ***а мне тут переплачивать сотни тысяч $ за уникальную возможность src port вышедшего из NAT?

[NikAlexAn]

Я таких запросов ни разу в жизни не наблюдал.

Ну а если придёт такой запрос и не от зарубежных правообладателей а от уполномоченных органов?

PS: Меня не интересует конкретно А10 а интересует решение позволяющее выполнить данное требование органов. Как и какими средствами?

[NiTr0]

боюсь, что если у вас А10 заменились софтрутерами, которые както там крутят 1-2Г, то изначально необходимости в А10 не было - вы сами неправильно спозиционировали свои потребности.

Софтроутер без особых проблем и десяток гигов пережует какбы.

 

Когда до 20-30Г дорастете тогда можно сравнить будет, а так пустой разговор ни о чем.

Если железку таращит на гиге-двух - с чего бы ей нормально работать на 20-30 гигах?

 

ну и ***а мне тут переплачивать сотни тысяч $ за уникальную возможность src port вышедшего из NAT?

ipt_NETFLOW вроде и такое умеет...

[alks]

Я таких запросов ни разу в жизни не наблюдал.

Ну а если придёт такой запрос и не от зарубежных правообладателей а от уполномоченных органов?

PS: Меня не интересует конкретно А10 а интересует решение позволяющее выполнить данное требование органов. Как и какими средствами?

 

Мы от зарубежных товарищей запросы не обрабатываем от слова совсем, у них свое законодательство у нас свое, и ложили мы на них с большим прибором

Все запросы идут от наших силовых ведомств причем в запросе они тоже не пишут дайте мол нам это, а пишут на основании чего какой статьи пункта закона и так далее

 

Еще раз - их интересует установление физического адреса товарища ходившего в заданное время на определенный ресурс. Бывало приходят а там бабушка одуванчик, инет у нее для того чтобы внучок по чаще в гости заходил, а внучок тот в гостях у бабули где-то что-то натворил в вк, вот его и ищут. src port я даже не могу представить себе ситуацию когда бы он потребовался

 

ipt_NETFLOW вроде и такое умеет...

 

Да и черт бы с ним, мне asr достаточно ))

[taf_321]

Оператор должен ответить на запрос вида - "кто ходил тогда то с такого то адреса с такого то порта?".

 

Там в запросе есть еще неотъемлимая часть "...с такого-то порта на такой-то адрес". И эта часть опрокидывает к чертям весь еэтот "логгинг НАТа", ибо кто куда ходил можно выяснить и до НАТа по тому же NF. Запросы приходили, отрабатывали спокойно.

[NikAlexAn]

 

Там в запросе есть еще неотъемлимая часть "...с такого-то порта на такой-то адрес".

Перечитал на всякий случай раздел "Виды запросов ..." - такого не нашёл.

[alks]

 

Там в запросе есть еще неотъемлимая часть "...с такого-то порта на такой-то адрес".

Перечитал на всякий случай раздел "Виды запросов ..." - такого не нашёл.

 

Самые грамотные запросы приходят от отдела К, все остальные пишут зачастую такую хрень что приходится перезванивать исполнителю и корректировать запрос

могут вообще прислать чужой src IP или спросить кто с таким-то MAC адресом ходил на такой-то сайт и т.п.

Главного это не меняет, хостер дает IP и время - у вас спрашивают кому он принадлежит. Вот и все

кстати надо порыться в формулировках, что-то я не припомню явных требований к идентификации абонента, т.е. что должно храниться в статистике

[SyJet]

Nitro - яж присылал в аське... Вот это и есть, на что напирает продован A10

 

https://home.regit.org/2014/02/logging-connection-tracking-event-with-ulogd/

[Ivan_83]

Ну и как я заметил ранее, если у фирмы достаточно бесплатной рабсилы, то наверное да, самопал на подержаном железе экономически оправдан.

Для чего рабочая сила то?

Оно один раз настраивается и всё. Настройка вероятно чуть дольше чем распаковка коробки из магазина, но дальше то всё тоже самое.

[ibk74]

Народ, раз уж все скромничают, то возьму смелость на себя, ЗА*** ВЫ ТУТ СО СВОИМ ОФФТОПОМ, потом вот так из-за таких проходится листать по 100500 страниц темы с этой ***ней. Если хочется похоливарить, то грандпрайд выше дал ссылку. Куда модеры смотрят?

 

меня тоже интересует куда смотрят модеры, которые допускают таких как ваши выражения

 

и в тему дискуссии:

 

все, кто рассказывает, что логирование на NAT им не уперлось, вы хоть пишите тогда, что вы пользуетесь абсолютно тем же самым, но на других железках, на которых и подняли этот самый NAT. cisco, juniper - значения не имеет.

 

всем, кто хочет продолжать netflow - продолжайте. я даже подозреваю, что вам это нравится, а нельзя запрещать людям делать то, что им нравится, даже не смотря на то, что давно придумано быстрее, проще и так далее

 

всем кто не видел запросов от "органов": предоставить информацию о абоненте, которые посещал ресурс x.x.x.x - поздравляю. но это не значит, что такого не бывает или не должно быть. а получить полную цепочку и сопоставить, можно на NAT, скорректировав информацию о внутреннем, внешнем ip адресе.

 

всем кто пишет "вертел я на бую их требования, я им предлагаю" и прочее ... предлагаете вы им ровно до тех пор, пока "органы" не задумались о том, что им нужно. судя по происходящему - скоро работы может серъезно увеличиться.

 

ну и наверное - "а10 (любой другой вендор) - дерьмо", равно как "промышленные решения - дерьмо" ... не знаю как комментировать высказывания людей, которые пользуются промышленными решениями и не могут создать ни одного промышленного сами. остается пожелать удачи в жизни - придется все таки промышленными решениями пользоваться.

Edited September 12, 2015 by ibk74

[GrandPr1de]

кто рассказывает, что логирование на NAT им не уперлось

я живу не в полицейском государстве - мне ровным счетом всё равно что думают власти о том или инном ресурсе

 

я давал ссылку на тот тред - только ради того, что бы узнать изменилось ли что-то у А10 с того времени или нет. ибо отзывы там отвратительные, что говорит о качестве продукта на тот момент