[ibk74]

Отзывы скольких? Двух трех человек, которые придумали что их бесплатные решения лучше ?

 

Изменились версии по например. Железо новое. О той серии которую там хают есть куча рабочих проектов. Вы сами то как думаете? Не проще самому взять потестить?

[taf_321]

всем кто не видел запросов от "органов": предоставить информацию о абоненте, которые посещал ресурс x.x.x.x - поздравляю. но это не значит, что такого не бывает или не должно быть. а получить полную цепочку и сопоставить, можно на NAT, скорректировав информацию о внутреннем, внешнем ip адресе.

 

Ну вот мне приходится обрабатывать данные по этим самым запросам. И сопоставлять чего-то там с чем-то там "по цепочкам" не возникало побребности ни разу. Вопрос, на какой фиг выкладывать скотские деньги за решение, где якобы это сопоставление есть, и якобы оно вдруг может понадобиться. При этом все остальное сии железки делают ... так себе.

 

И да, при особом желании это самое логирование _запустить_ (ибо функционал уже присутствует) можно в любой момент.

[SyJet]

Отзывы скольких? Двух трех человек, которые придумали что их бесплатные решения лучше ?

 

Изменились версии по например. Железо новое. О той серии которую там хают есть куча рабочих проектов. Вы сами то как думаете? Не проще самому взять потестить?

 

Читаем ниже

Вот это и есть, на что напирает продован A10

https://home.regit.org/2014/02/logging-connection-tracking-event-with-ulogd/

 

А так же читаем это http://forum.nag.ru/forum/index.php?showtopic=82621&view=findpost&p=824193

 

И получаете все то, что вы хочете. Нет проблем с логгированием НАТа, як на а10 только за не сумашедшие деньги даже в виртаул-инстансе,

Есть проблемы в том, что не все хотят делать его, так как в некоторых регионаха прокатывает и так. Н

Изменено 13 сентября, 2015 пользователем SyJet

[SyJet]

Кстати по крайней мере на гиговых сетевках, иногда, если совсем уж плохо по процу, помогает (с потерей по latency ~1ms) - ethtool -C ethx rx-usecs 1000

Не в тему, вы ранее писали тулзу для логирования nat трансляций. Она допилена, на чем живет и тд? И как она по отношению к ulogd грузит систему?

[alks]

и в тему дискуссии:

всем, кто хочет продолжать netflow - продолжайте. я даже подозреваю, что вам это нравится, а нельзя запрещать людям делать то, что им нравится, даже не смотря на то, что давно придумано быстрее, проще и так далее

Очень эмоционально! .. но не убедил, чем плох neflow v9 когда сразу собираются только нужные поля, давай аргументы защитнег и причем такие чтобы можно было убедить ген дира выбросить на воздух пару сотен тысяч $

 

всем кто не видел запросов от "органов": предоставить информацию о абоненте, которые посещал ресурс x.x.x.x - поздравляю. но это не значит, что такого не бывает или не должно быть. а получить полную цепочку и сопоставить, можно на NAT, скорректировав информацию о внутреннем, внешнем ip адресе.

Объясняю, мы обрабатываем такие запросы уже лет 10, одно время их было до 30 в месяц, 30 Карл! и поэтому могу без долгих сюсюканий сразу сказать что органам необходим физ адрес, а как вы его найдете и состав что там хранить их не интересует абсолютно, мало того для однозначной идентификация вам нужно только time src_ip dst_ip port.

 

всем кто пишет "вертел я на бую их требования, я им предлагаю" и прочее ... предлагаете вы им ровно до тех пор, пока "органы" не задумались о том, что им нужно. судя по происходящему - скоро работы может серъезно увеличиться.

Если вы не обрабатывали такие запросы то хотя бы не выставляйте себя полным идиотом. Когда к вам придет идиотский запрос с требованием дать стату по клиенту за три года и по сегодняшний день я очень хочу посмотреть как вы будете его исполнять, расскажите ваш алгоритм действий и примерные сроки на исполнение подобной заявки с учетом того, для примера, что данный лог был с железки с 20к активных ip онлайн в чнн, 20г трафика суммарно и 5-8млн трансляций. Давай рассказывай а я за попкорном

 

ну и наверное - "а10 (любой другой вендор) - дерьмо", равно как "промышленные решения - дерьмо" ... не знаю как комментировать высказывания людей, которые пользуются промышленными решениями и не могут создать ни одного промышленного сами. остается пожелать удачи в жизни - придется все таки промышленными решениями пользоваться.

Для особо одаренных объясню на пальцах, оператор это эксплуотант, он не создает промышленные решения, это не его работа (перечитать три раза)

Ну так вот, идем дальше, опен сурс и intel позволяют сейчас, буквально за час, развернуть на современном сервере аппаратно-програмный комплекс для реализации NAT со всеми нужными плюшками (не путать с навязанными хотелками некоторых продаванов) за довольно приемлимые деньги, добавтье к этому следующий очень важный для оператора момент, это резервирование, так как стоимость одного сервера достаточно небольшая то это позволяет достаточно легко масштабировать это решение, держать несколько недогруженых серверов, и все это вместе в десятки раз дешевле чем держать один или два тазика за цену подержанного боинга

 

еще раз, мы любим промышленные решения, скажем когда речь идет о брасах или транспортной сети, здесь альтернативы нет, но именно касаемо задач NAT, промышленные не могут конкурировать по цене, и как показывают отзывы по некоторым вендорам, и качеству тоже.

[John_obn]

Вот же ж, быстро отключается "Подписка" с уведомлением на почту на свою же тему. Был бы модером, подчистил бы тему. Ушел куда то в сторону разговор. Я начинал за выбор CPU под NAT, продолжил выкладыванием собранной статистики на конкретных конфигурациях.

Продолжу, потестил этот же проц E5-2643v3 на Linux: Ubuntu 14.04.3 , ядро 3.19.0-28-generic. Драйвер от сетевой 1.3.39.1. Кстати, как оказалось, наиболее свежий лежит на sourceforge, а не на официальном сайте. Драйвер работает без нареканий. Очень понравился тюнинг сетевой через ethtool. Во фре, подозреваю, что то такое тоже есть, но не нашел. Но в sysctl помню параметры rx_usecs и tx_usecs. Но ограничение в 16 очередей во фре расстроило и пока не пофиксено.

Результаты приведу в графиках:

На днях возвращаю Intel процессор. Буду ждать другой из доступных (больше ядер, меньше частота).

[random7]

Как вы получали от органов dst_ip?

Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё.

 

Никакого src_port, ясное дело, и близко не было.

[alks]

Как вы получали от органов dst_ip?

Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё.

 

Никакого src_port, ясное дело, и близко не было.

сами говорим дайте конкретный IP если они не могут, по примеру vk, то в качестве dst используем все сети из их ASок

[No_name]

2 John_obn

А десктопные топовые коре7 вообще не рассматриваете? Или они не потянут по вашим условиям?

Если не секрет каков у вас суммарный нат-трафик и кол-во абонентов онлайн в пике?

И сколько серваков их обслуживает?

Изменено 15 сентября, 2015 пользователем Brainiac

[tehmeh]

Как вы получали от органов dst_ip?

Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё.

 

Никакого src_port, ясное дело, и близко не было.

Недавно такой запрос приходил, просто mail.ru и все. Дали список потенциальных победителей, а дальше пусть сами разбираются.

[random7]

Как вы получали от органов dst_ip?

Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё.

 

Никакого src_port, ясное дело, и близко не было.

Недавно такой запрос приходил, просто mail.ru и все. Дали список потенциальных победителей, а дальше пусть сами разбираются.

 

Это хорошо если список. А то ни одного не было (сайт, возможно, менял IP).

[alks]

Как вы получали от органов dst_ip?

Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё.

 

Никакого src_port, ясное дело, и близко не было.

Недавно такой запрос приходил, просто mail.ru и все. Дали список потенциальных победителей, а дальше пусть сами разбираются.

 

Это хорошо если список. А то ни одного не было (сайт, возможно, менял IP).

 

возьмите все сетки из AS хостера (если это вк или майл), если сайт мелкий то в запросе отвечаете что на такое число сайт имеет ип такой-то, попаданий ноль, вполне возможно что ошибка или в запросе или сайт менял ип, для уточнения этого момента необходим ип сайта на дату указанную в запросе №

Самому ковырять архивы в инете кто когда переезжал не надо, это не ваша задача обязанность и головная боль, инициативу проявлять не надо, пусть они сами разбираются

[random7]

если сайт мелкий то в запросе отвечаете что на такое число сайт имеет ип такой-то, попаданий ноль, вполне возможно что ошибка или в запросе или сайт менял ип, для уточнения этого момента необходим ип сайта на дату указанную в запросе №

Самому ковырять архивы в инете кто когда переезжал не надо, это не ваша задача обязанность и головная боль, инициативу проявлять не надо, пусть они сами разбираются

 

В итоге так и делали

[John_obn]

2 John_obn

А десктопные топовые коре7 вообще не рассматриваете? Или они не потянут по вашим условиям?

Если не секрет каков у вас суммарный нат-трафик и кол-во абонентов онлайн в пике?

И сколько серваков их обслуживает?

Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут.

Суммарный трафик через NAT можно посмотреть на графиках. Туда же можно прибавить 1-1,5Gbps downlink трафика от другого города.

Кол-во уникальных абонентов онлайн в пике не смотрел.

Сейчас работает по схеме - несколько серверов, выполняющих роль bras(шейпер+nat).

[^rage^]

Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут.

забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :)

[John_obn]

Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут.

забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :)

Про младшие xeon речи не идет. Замените, пожалуйста, 2 проца E5 серии с кэшем 20M десктопными core i7.

Такие тесты проводить уже времени нет.

[^rage^]

Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут.

забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :)

Про младшие xeon речи не идет. Замените, пожалуйста, 2 проца E5 серии с кэшем 20M десктопными core i7.

а зачем? вам в задачах nat жирный кеш не нужен. лучше будет какой-нибудь i7-5820k: 15Мб кеша, 6 ядер и частота в 3.3ГГц.

у E5 больше ядер, меньше тактовая при той же полосе по памяти, что у 5820k.

и еще придётся пострадать, балансируя по numa-нодам.

[John_obn]

Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут.

забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :)

Про младшие xeon речи не идет. Замените, пожалуйста, 2 проца E5 серии с кэшем 20M десктопными core i7.

а зачем? вам в задачах nat жирный кеш не нужен. лучше будет какой-нибудь i7-5820k: 15Мб кеша, 6 ядер и частота в 3.3ГГц.

у E5 больше ядер, меньше тактовая при той же полосе по памяти, что у 5820k.

и еще придётся пострадать, балансируя по numa-нодам.

Не нашел сразу этот cpu на ark.intel, но спасибо за указание модели.

Сервер собирается надолго и с доступом не все так просто, поэтому хочется его сделать с запасом по производительности. Это одна из основных причин не смотреть на i7.

[random7]

 

вам в задачах nat жирный кеш не нужен.

 

Хммм. По каждому пакету надо лазить в таблицу conntrack - как минимум читать, а то и обновлять. В линуксовом conntrack afair примерно 100 байт на запись. Поместится таблица в кэш или нет - разница должна быть.

 

У меня сейчас вот на боевом NAT 60тыс записей при трафике 600М (входящего) - утро, нагрузка далека от пиковой. При 10G стало быть должно быть около миллиона. Это в идеале не менее 100Мбайт кэша.

[No_name]

Мы тоже задумались уходить от pptp, по ряду причин.

С NAT, на большем объеме трафика, дела пока не имели, т.к. белые ip есть в необходимом кол-ве.

По ходу тестирования пока остановились на pf binat, тут пока что все хорошо.

На kernel nat под фрей как-то все очень печально со скоростью на торрентах,

может готовлю не так.

 

2 John, random7

А какой из разновидностей NAT вы используете.

Как обстоят дела со скоростью на торрентах?

Есть ли еще какие проблемы?

Изменено 23 сентября, 2015 пользователем Brainiac

[GrandPr1de]

На kernel nat под фрей как-то все очень печально со скоростью на торрентах,

ммм куча инстансов ната на кучке серверов, как-то не замечал проблем с торрентами

но на pf просто натить в пул адресов конечно же

[random7]

NAT на линуксе и на микротике (что одно и то же по сути)

каких-то особых проблем давно не видел (ну надо connlimit сделать чтоб один абон не переполнил таблицу)

[John_obn]

Brainiac, kernel nat под FreeBSD проблем не создает. Как уже отметил GrandPr1de, несколько инстансов создаете и нет проблем, работает как часы.

С PF также проблем нет, nat в пул адресов. Единственное - за время тестов PF и linux nat (conntrack) столкнулся с проблемой у одного абонента - у него игра Pro Evolution Soccer отказывалась работать, ругалась, что какой то udp порт закрыт.

[dazgluk]

John_obn, удалось ли потестировать проц с большим количеством ядер но меньшей частотой?

 

Для себя сделали вывод что частота все же круче чем ядра, но интересен опыт коллег.

Ищем современную альтернативу E5-1660 v2, только чтоб поставить два.

Нацеливаемся на 20Gb/s BRAS/NAT/Netflow

[nuclearcat]

Update от меня. 6 гиг ната, ~1 млн трансляций, 2xE5-2640 v3 - нагрузка проца менее 25% в ЧНН.

Сетевка - X520