ibk74 Опубликовано 13 сентября, 2015 · Жалоба Отзывы скольких? Двух трех человек, которые придумали что их бесплатные решения лучше ? Изменились версии по например. Железо новое. О той серии которую там хают есть куча рабочих проектов. Вы сами то как думаете? Не проще самому взять потестить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 13 сентября, 2015 · Жалоба всем кто не видел запросов от "органов": предоставить информацию о абоненте, которые посещал ресурс x.x.x.x - поздравляю. но это не значит, что такого не бывает или не должно быть. а получить полную цепочку и сопоставить, можно на NAT, скорректировав информацию о внутреннем, внешнем ip адресе. Ну вот мне приходится обрабатывать данные по этим самым запросам. И сопоставлять чего-то там с чем-то там "по цепочкам" не возникало побребности ни разу. Вопрос, на какой фиг выкладывать скотские деньги за решение, где якобы это сопоставление есть, и якобы оно вдруг может понадобиться. При этом все остальное сии железки делают ... так себе. И да, при особом желании это самое логирование _запустить_ (ибо функционал уже присутствует) можно в любой момент. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 13 сентября, 2015 (изменено) · Жалоба Отзывы скольких? Двух трех человек, которые придумали что их бесплатные решения лучше ? Изменились версии по например. Железо новое. О той серии которую там хают есть куча рабочих проектов. Вы сами то как думаете? Не проще самому взять потестить? Читаем ниже Вот это и есть, на что напирает продован A10 https://home.regit.org/2014/02/logging-connection-tracking-event-with-ulogd/ А так же читаем это http://forum.nag.ru/forum/index.php?showtopic=82621&view=findpost&p=824193 И получаете все то, что вы хочете. Нет проблем с логгированием НАТа, як на а10 только за не сумашедшие деньги даже в виртаул-инстансе, Есть проблемы в том, что не все хотят делать его, так как в некоторых регионаха прокатывает и так. Н Изменено 13 сентября, 2015 пользователем SyJet Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SyJet Опубликовано 13 сентября, 2015 · Жалоба Кстати по крайней мере на гиговых сетевках, иногда, если совсем уж плохо по процу, помогает (с потерей по latency ~1ms) - ethtool -C ethx rx-usecs 1000 Не в тему, вы ранее писали тулзу для логирования nat трансляций. Она допилена, на чем живет и тд? И как она по отношению к ulogd грузит систему? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 14 сентября, 2015 · Жалоба и в тему дискуссии: всем, кто хочет продолжать netflow - продолжайте. я даже подозреваю, что вам это нравится, а нельзя запрещать людям делать то, что им нравится, даже не смотря на то, что давно придумано быстрее, проще и так далее Очень эмоционально! .. но не убедил, чем плох neflow v9 когда сразу собираются только нужные поля, давай аргументы защитнег и причем такие чтобы можно было убедить ген дира выбросить на воздух пару сотен тысяч $ всем кто не видел запросов от "органов": предоставить информацию о абоненте, которые посещал ресурс x.x.x.x - поздравляю. но это не значит, что такого не бывает или не должно быть. а получить полную цепочку и сопоставить, можно на NAT, скорректировав информацию о внутреннем, внешнем ip адресе. Объясняю, мы обрабатываем такие запросы уже лет 10, одно время их было до 30 в месяц, 30 Карл! и поэтому могу без долгих сюсюканий сразу сказать что органам необходим физ адрес, а как вы его найдете и состав что там хранить их не интересует абсолютно, мало того для однозначной идентификация вам нужно только time src_ip dst_ip port. всем кто пишет "вертел я на бую их требования, я им предлагаю" и прочее ... предлагаете вы им ровно до тех пор, пока "органы" не задумались о том, что им нужно. судя по происходящему - скоро работы может серъезно увеличиться. Если вы не обрабатывали такие запросы то хотя бы не выставляйте себя полным идиотом. Когда к вам придет идиотский запрос с требованием дать стату по клиенту за три года и по сегодняшний день я очень хочу посмотреть как вы будете его исполнять, расскажите ваш алгоритм действий и примерные сроки на исполнение подобной заявки с учетом того, для примера, что данный лог был с железки с 20к активных ip онлайн в чнн, 20г трафика суммарно и 5-8млн трансляций. Давай рассказывай а я за попкорном ну и наверное - "а10 (любой другой вендор) - дерьмо", равно как "промышленные решения - дерьмо" ... не знаю как комментировать высказывания людей, которые пользуются промышленными решениями и не могут создать ни одного промышленного сами. остается пожелать удачи в жизни - придется все таки промышленными решениями пользоваться. Для особо одаренных объясню на пальцах, оператор это эксплуотант, он не создает промышленные решения, это не его работа (перечитать три раза) Ну так вот, идем дальше, опен сурс и intel позволяют сейчас, буквально за час, развернуть на современном сервере аппаратно-програмный комплекс для реализации NAT со всеми нужными плюшками (не путать с навязанными хотелками некоторых продаванов) за довольно приемлимые деньги, добавтье к этому следующий очень важный для оператора момент, это резервирование, так как стоимость одного сервера достаточно небольшая то это позволяет достаточно легко масштабировать это решение, держать несколько недогруженых серверов, и все это вместе в десятки раз дешевле чем держать один или два тазика за цену подержанного боинга еще раз, мы любим промышленные решения, скажем когда речь идет о брасах или транспортной сети, здесь альтернативы нет, но именно касаемо задач NAT, промышленные не могут конкурировать по цене, и как показывают отзывы по некоторым вендорам, и качеству тоже. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 14 сентября, 2015 · Жалоба Вот же ж, быстро отключается "Подписка" с уведомлением на почту на свою же тему. Был бы модером, подчистил бы тему. Ушел куда то в сторону разговор. Я начинал за выбор CPU под NAT, продолжил выкладыванием собранной статистики на конкретных конфигурациях. Продолжу, потестил этот же проц E5-2643v3 на Linux: Ubuntu 14.04.3 , ядро 3.19.0-28-generic. Драйвер от сетевой 1.3.39.1. Кстати, как оказалось, наиболее свежий лежит на sourceforge, а не на официальном сайте. Драйвер работает без нареканий. Очень понравился тюнинг сетевой через ethtool. Во фре, подозреваю, что то такое тоже есть, но не нашел. Но в sysctl помню параметры rx_usecs и tx_usecs. Но ограничение в 16 очередей во фре расстроило и пока не пофиксено. Результаты приведу в графиках: На днях возвращаю Intel процессор. Буду ждать другой из доступных (больше ядер, меньше частота). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
random7 Опубликовано 14 сентября, 2015 · Жалоба Как вы получали от органов dst_ip? Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё. Никакого src_port, ясное дело, и близко не было. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 15 сентября, 2015 · Жалоба Как вы получали от органов dst_ip? Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё. Никакого src_port, ясное дело, и близко не было. сами говорим дайте конкретный IP если они не могут, по примеру vk, то в качестве dst используем все сети из их ASок Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
No_name Опубликовано 15 сентября, 2015 (изменено) · Жалоба 2 John_obn А десктопные топовые коре7 вообще не рассматриваете? Или они не потянут по вашим условиям? Если не секрет каков у вас суммарный нат-трафик и кол-во абонентов онлайн в пике? И сколько серваков их обслуживает? Изменено 15 сентября, 2015 пользователем Brainiac Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
tehmeh Опубликовано 16 сентября, 2015 · Жалоба Как вы получали от органов dst_ip? Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё. Никакого src_port, ясное дело, и близко не было. Недавно такой запрос приходил, просто mail.ru и все. Дали список потенциальных победителей, а дальше пусть сами разбираются. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
random7 Опубликовано 16 сентября, 2015 · Жалоба Как вы получали от органов dst_ip? Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё. Никакого src_port, ясное дело, и близко не было. Недавно такой запрос приходил, просто mail.ru и все. Дали список потенциальных победителей, а дальше пусть сами разбираются. Это хорошо если список. А то ни одного не было (сайт, возможно, менял IP). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alks Опубликовано 16 сентября, 2015 · Жалоба Как вы получали от органов dst_ip? Мне приходилось обрабатывать запросы от органов, и в них не было dst_ip, было только доменное имя в лучшем случае, а в худшем - что-то типа "доступ к почте mail.ru". Поэтому в случае если абонент за NATом, то как правило найти его не получалось, видимо потому что IP сайта или сменился, или в домене опечатка, или сайт отдаёт разные IP разным клиентам, или что-то ещё. Никакого src_port, ясное дело, и близко не было. Недавно такой запрос приходил, просто mail.ru и все. Дали список потенциальных победителей, а дальше пусть сами разбираются. Это хорошо если список. А то ни одного не было (сайт, возможно, менял IP). возьмите все сетки из AS хостера (если это вк или майл), если сайт мелкий то в запросе отвечаете что на такое число сайт имеет ип такой-то, попаданий ноль, вполне возможно что ошибка или в запросе или сайт менял ип, для уточнения этого момента необходим ип сайта на дату указанную в запросе № Самому ковырять архивы в инете кто когда переезжал не надо, это не ваша задача обязанность и головная боль, инициативу проявлять не надо, пусть они сами разбираются Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
random7 Опубликовано 16 сентября, 2015 · Жалоба если сайт мелкий то в запросе отвечаете что на такое число сайт имеет ип такой-то, попаданий ноль, вполне возможно что ошибка или в запросе или сайт менял ип, для уточнения этого момента необходим ип сайта на дату указанную в запросе № Самому ковырять архивы в инете кто когда переезжал не надо, это не ваша задача обязанность и головная боль, инициативу проявлять не надо, пусть они сами разбираются В итоге так и делали Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 16 сентября, 2015 · Жалоба 2 John_obn А десктопные топовые коре7 вообще не рассматриваете? Или они не потянут по вашим условиям? Если не секрет каков у вас суммарный нат-трафик и кол-во абонентов онлайн в пике? И сколько серваков их обслуживает? Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут. Суммарный трафик через NAT можно посмотреть на графиках. Туда же можно прибавить 1-1,5Gbps downlink трафика от другого города. Кол-во уникальных абонентов онлайн в пике не смотрел. Сейчас работает по схеме - несколько серверов, выполняющих роль bras(шейпер+nat). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 16 сентября, 2015 · Жалоба Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут. забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 16 сентября, 2015 · Жалоба Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут. забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :) Про младшие xeon речи не идет. Замените, пожалуйста, 2 проца E5 серии с кэшем 20M десктопными core i7. Такие тесты проводить уже времени нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 16 сентября, 2015 · Жалоба Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут. забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :) Про младшие xeon речи не идет. Замените, пожалуйста, 2 проца E5 серии с кэшем 20M десктопными core i7. а зачем? вам в задачах nat жирный кеш не нужен. лучше будет какой-нибудь i7-5820k: 15Мб кеша, 6 ядер и частота в 3.3ГГц. у E5 больше ядер, меньше тактовая при той же полосе по памяти, что у 5820k. и еще придётся пострадать, балансируя по numa-нодам. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 17 сентября, 2015 · Жалоба Десктоповые процы не рассматриваю. Тесты не делал, но уверен, что они при трафике близком к 10G уже не потянут. забавно. т.е. вас не смущает, что младшие xeon - это фактически десктопные камни, только с ECC? :) Про младшие xeon речи не идет. Замените, пожалуйста, 2 проца E5 серии с кэшем 20M десктопными core i7. а зачем? вам в задачах nat жирный кеш не нужен. лучше будет какой-нибудь i7-5820k: 15Мб кеша, 6 ядер и частота в 3.3ГГц. у E5 больше ядер, меньше тактовая при той же полосе по памяти, что у 5820k. и еще придётся пострадать, балансируя по numa-нодам. Не нашел сразу этот cpu на ark.intel, но спасибо за указание модели. Сервер собирается надолго и с доступом не все так просто, поэтому хочется его сделать с запасом по производительности. Это одна из основных причин не смотреть на i7. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
random7 Опубликовано 17 сентября, 2015 · Жалоба вам в задачах nat жирный кеш не нужен. Хммм. По каждому пакету надо лазить в таблицу conntrack - как минимум читать, а то и обновлять. В линуксовом conntrack afair примерно 100 байт на запись. Поместится таблица в кэш или нет - разница должна быть. У меня сейчас вот на боевом NAT 60тыс записей при трафике 600М (входящего) - утро, нагрузка далека от пиковой. При 10G стало быть должно быть около миллиона. Это в идеале не менее 100Мбайт кэша. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
No_name Опубликовано 23 сентября, 2015 (изменено) · Жалоба Мы тоже задумались уходить от pptp, по ряду причин. С NAT, на большем объеме трафика, дела пока не имели, т.к. белые ip есть в необходимом кол-ве. По ходу тестирования пока остановились на pf binat, тут пока что все хорошо. На kernel nat под фрей как-то все очень печально со скоростью на торрентах, может готовлю не так. 2 John, random7 А какой из разновидностей NAT вы используете. Как обстоят дела со скоростью на торрентах? Есть ли еще какие проблемы? Изменено 23 сентября, 2015 пользователем Brainiac Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GrandPr1de Опубликовано 23 сентября, 2015 · Жалоба На kernel nat под фрей как-то все очень печально со скоростью на торрентах, ммм куча инстансов ната на кучке серверов, как-то не замечал проблем с торрентами но на pf просто натить в пул адресов конечно же Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
random7 Опубликовано 23 сентября, 2015 · Жалоба NAT на линуксе и на микротике (что одно и то же по сути) каких-то особых проблем давно не видел (ну надо connlimit сделать чтоб один абон не переполнил таблицу) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
John_obn Опубликовано 28 сентября, 2015 · Жалоба Brainiac, kernel nat под FreeBSD проблем не создает. Как уже отметил GrandPr1de, несколько инстансов создаете и нет проблем, работает как часы. С PF также проблем нет, nat в пул адресов. Единственное - за время тестов PF и linux nat (conntrack) столкнулся с проблемой у одного абонента - у него игра Pro Evolution Soccer отказывалась работать, ругалась, что какой то udp порт закрыт. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dazgluk Опубликовано 13 ноября, 2015 · Жалоба John_obn, удалось ли потестировать проц с большим количеством ядер но меньшей частотой? Для себя сделали вывод что частота все же круче чем ядра, но интересен опыт коллег. Ищем современную альтернативу E5-1660 v2, только чтоб поставить два. Нацеливаемся на 20Gb/s BRAS/NAT/Netflow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 13 ноября, 2015 · Жалоба Update от меня. 6 гиг ната, ~1 млн трансляций, 2xE5-2640 v3 - нагрузка проца менее 25% в ЧНН. Сетевка - X520 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...