kostil Опубликовано 4 августа, 2010 · Жалоба Здравствуйте. До недавнего времени собирали статистику по netflow. Но с ростом количества абонентов netflow коллектор перестает справлятся с количеством трафика, да и нагружать маршрутизаторы netflow тоже не хочется. Поискал в форуме - в основном советуют зеркалировать трафик на отдельный сервак где уже собирать всю статистику, например с помощью nfacctd. Прошу поделиться опытом у кого реализована подобная схема 1) как зеркалируете трафик? 2) каким железом (PC) принимать такой объем? 3) какую ОС пользовать? 4) каким софтом обрабатывать? P.S. на данный момент до 14к пользователей онлайн. до 5Гб трафика в обе стороны. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vIv Опубликовано 4 августа, 2010 · Жалоба это какие единицы? 5Gbps ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 4 августа, 2010 · Жалоба да, 5Gbps Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 5 августа, 2010 · Жалоба Ни кто не сталкивался с подобным? или не принято на форуме это обсуждать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 5 августа, 2010 (изменено) · Жалоба 5Gbps в одну сторону ? Значит 7-10 в обе ? Тут мега железка нужна... Под словом "ГБ" Вы понимаете ФСБ ? Так они не требуют netflow архивы. Закон не предписывает их собирать и хранить. По этому тут такие темы и не обсуждаются. Изменено 5 августа, 2010 пользователем Ivan Rostovikov Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 5 августа, 2010 · Жалоба На сколько мне известно, могут в любой момент спросить "кто ходил на этот ip два месяца назад, в такое-то время". netflow как раз эту информацию и предоставляет. или есть более простой способ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
UncleDen Опубликовано 5 августа, 2010 · Жалоба Нет способов проще. ФСБ не интересуют ваши проблемы. Мы живём в том, где партия велела - комсомол ответил "Есть!". Невыполнение влечёт приостановку с последующим лишением лицензии. Включайте в расходы ежемесячную покупку десятка терабайтников. Писюк на Линуксе с флоутулзом с этим справится. Нескромный вопрос - каким образом у вас план СОРМ реализован на таких нагрузках? Съёмник у вас или с магистралами смогли договориться? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 5 августа, 2010 · Жалоба То что это целиком и полностью наши проблемы я и не возражал. Просто интуресуюсь как у кого реализован этот процесс с технической точки зрения. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
OK-2004 Опубликовано 5 августа, 2010 · Жалоба Шлюз в инет своей внутренней картой ( к хомякам ) включён в тагированный( у хомяков много вланов ) порт дес-3526. Порт миррорится на ТЕГИРОВАННЫЙ в тех же влан порт , в который включён писюк с интерфейсом в сквозном режиме, и ipt_netflow в RAW-PREROUTING цепочках.Всё шкворчит. IPT_NETFLOW - 4-ое и единственное решение ,удовлетворившее нас по производительности Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
OK-2004 Опубликовано 5 августа, 2010 · Жалоба В dec-3526 можно 2 нетагированных порта миррорить в один тагированный, но у нас такая схема не прокатила. так как клиентские порты - 1гиг, а 2гиг порта на дес-3526 пока не придумали :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ingress Опубликовано 5 августа, 2010 · Жалоба На сколько мне известно, могут в любой момент спросить "кто ходил на этот ip два месяца назад, в такое-то время". netflow как раз эту информацию и предоставляет. или есть более простой способ? немного неправильно, раз они пришли к вам значит у них есть лог в котором есть ваши адреса, и есть время соотвественно. а это уже подпадает под сессию, а сессии хранить намного проще чем тонны флова(нужен он только для разборок с абонами и выявления аномалий) p.s. ну если у вас каждому абону даётся внешний адрес(динамический или статический) :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 5 августа, 2010 · Жалоба 1) как зеркалируете трафик?monitor на кошке2) каким железом (PC) принимать такой объем?чего-нибудь (понятия не имею чего) с нормальной внешней 10гбитной картой, чтобы железно умела параллелить приём по потокам 3) какую ОС пользовать?у нас freebsd 7.24) каким софтом обрабатывать?опять-же у нас ng_netflow + flowtools пы.сы. при пиках до 600Мбит несжатый архив за месяц весит 140Гб грубо говоря 1.5Тбайт/месяц у вас архив будет весить я понятия не имею как это хранить 3 года... учитывая ленты и сжатие, можно на почти топовую ленточку вместить ~1-1.2Тб но с ленточками не набегаешься, вытаскивать данные при необходимости (хотя если приспичит...) а столько винтов покупать, этож в копеечку (хотя тоже спорный вопрос) p.s. ну если у вас каждому абону даётся внешний адрес(динамический или статический) :)а если не даётся, ещё надо и соответствие хранить... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SokolovS Опубликовано 5 августа, 2010 · Жалоба На самом деле данные полученные от сенсора можно еще пожать в 3 раза, если сделать отчет с группировкой ip-src/dst (он кстати есть в поставке flow-tools), хранить только time,src,dst,octets и пожать отчет gzip-ом. Если хранить только входящий, то добавить в отчет фильтр и ужмется относительно исходного в 6-8 раз. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 6 августа, 2010 · Жалоба На самом деле данные полученные от сенсора можно еще пожать в 3 раза, если сделать отчет с группировкой ip-src/dst (он кстати есть в поставке flow-tools), хранить только time,src,dst,octets и пожать отчет gzip-ом. Если хранить только входящий, то добавить в отчет фильтр и ужмется относительно исходного в 6-8 раз.а потом понадобится по AS-кам разобрать... :)не, пусть лучше он сырой будет, чтобы небыло мучительно больно за зря прожитые годы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kostil Опубликовано 6 августа, 2010 · Жалоба Нескромный вопрос - каким образом у вас план СОРМ реализован на таких нагрузках? Съёмник у вас или с магистралами смогли договориться? СОРМ нам внедряли и я к этому не имел отношения - сказать не могу ничего, а вот запросы по статистике за прошлое время не только от органов, но и от сомневающихся абонентов частенько бывают Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
UncleDen Опубликовано 6 августа, 2010 · Жалоба СОРМ нам внедряли и я к этому не имел отношения - сказать не могу ничего, а вот запросы по статистике за прошлое время не только от органов, но и от сомневающихся абонентов частенько бывают А как же периодические тесты большого брата? Они своё не упустят, пальцем погрозят и попросят идти в ногу со временем. А там уж как вы договоритесь с мфи-софт или иным производителем съёмников. Мы пришли к выводу, что на каждый филиал нужен свой съёмник. А это дорого шоппц, зато нет головных болей и сухарей сушёных в суме. Храню сжатый в девятку месячный флов на сервере (терабайта _пока_ хватает) - там же флоувьювер для сиюминутных разборок с хомячками и скриптик для выборки за произвольный период (считаю мало хранения сессий для разбора полётов, нужен именно src-dst расклад по ибоненту). Ещё ни один "орган" от меня не ушёл неудовлетворённым. В начале следующего месяца выкидываю на внешний винт. Стопка терабайтников в сейфе с 2008 года. Сейчас уже в ротацию пошли. Кстати, на просьбы хомячков дать им раскладку по траффику (есть такие деятели - со своей учётной системой неохота заморачиваться, а сотрудников нагнуть за сидение в инете очень хочется или такие, которым везде чудится найопка, и свои потраченные 30 рублей в месяц на безлимите они готовы до милликопейки проверять) - введите в прейскурант "распечатка статистики - 1000 руб/лист" или тому подобное. Нуачо? Ваша обязанность услугу доступа предоставлять, а всё остальное - извините. Но любой каприз за ваши деньги. Почему так дорого? Потому что это титанический труд - искать вашу иголку в стогу сена. В общем, придумайте сами. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 6 августа, 2010 · Жалоба Вопрос: На чем основаны требования "органов" хранить netflow ? Или это все таки не "требования" а "пожелания" ? Я вот собираюсь совсем отказаться от netflow. Все тарифы безлимитные. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
martin74 Опубликовано 6 августа, 2010 · Жалоба скажите пожалуйста, кто из ваших абонентов в период с 3.08.10 по 5.08.10 подключался к таким то ip адресам и портам. И список адрес-порт на поллиста А4.... Ваши действия? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
RialCom.ru Опубликовано 6 августа, 2010 · Жалоба А если несколько месяцев назад дата? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
martin74 Опубликовано 6 августа, 2010 · Жалоба а какая разница?? Из личного опыта - обычно дата отстоит от текущей минимум на два три месяца. И приходят "нам надо срочно, сроки по делу истекают завтра".... Иногда период из будущего берется.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 6 августа, 2010 · Жалоба после четвёртого запроса из МВД, начинаю думать о хранении мак-адресов с портов коммутаторов с аггрегированием по часам. может кому-нибудь это поможет вернуть имущество. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
martin74 Опубликовано 6 августа, 2010 · Жалоба маки ноутбуков? Тоже задумываюсь.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
visir Опубликовано 6 августа, 2010 · Жалоба скажите пожалуйста, кто из ваших абонентов в период с 3.08.10 по 5.08.10 подключался к таким то ip адресам и портам. И список адрес-порт на поллиста А4....Ваши действия? "Такой статистики у нас нет". Сотню раз так отвечал - лишних вопросов не возникало. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 6 августа, 2010 · Жалоба маки ноутбуков?Тоже задумываюсь.... ну мне то неважно, ноутбук это или айпод, или холодильник с автоматическим заказом продуктов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan Rostovikov Опубликовано 6 августа, 2010 · Жалоба >Ваши действия? Нет тех. возможности. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...