white_crow Опубликовано 14 января, 2012 (изменено) · Жалоба поискал тут, почитал еще раз про netflow... Много видел названий пакетов/демонов/софтин... http://nfsen.sourceforge.net/#mozTocId301830 http://nfdump.sourceforge.net/ http://www.flukenetworks.com/enterprise-network/network-monitoring/OptiView-NetFlow-Tracker http://code.google.com/p/flow-tools/ http://www.manageengine.com/products/netflow'>http://www.manageengine.com/products/netflow ORION NetFlow Traffic Analyzer и т.д. и т.п. И все же - какое проверенное решение посоветуете, чтобы минимальное вмешательство было, т.е. админ попадает под троллейбус, приходит другой - читает мануал и разбирается во всем без проблем, а не копается в самописных костылях и скриптах. это может быть как свободное решение, так и коммерческое (но цена должны быть подъемной - т.е. не десятки/сотни тысяч долларов, а единицы тысяч долларов в год). Но рекомендовать только проверенные в продакшн решения. Дано: потоки нетфлоу есть - нужно только собирать, хранить для "погонов" и иметь фронтенд - для персонала - чтобы там поиск был и т.п. Юзеров чуть более чем 10 тысяч физиков. Трафик - единицы гигабит. Понятно - что потребление растет - решение должно быть масштабируемым - т.е. каждый коллектор может обслуживать определенное к-во NASов. Так как адреса белые, и раздаются динамически - собирать нужно - очень желательно- в контексте юзера, а не тупо сначала по логам искать кому какой ip был выдан и когда, потом искать по IP и по времени в базе нетфлоу... Мне вот понравилось http://www.manageengine.com - он берет по snmp - имя тунеля с NASа - т.е. имя (логин) юзера - что является уникальным идентификатором юзера в системе. (да, да - мы лохи - до сих пор не юзаем IPoE - юзаем L2TP). Но эта софтина стоит реально очень дорого - может для буржуев - это хорошо, но с нашими совковыми ARPU - никуда не годится. да и не совсем ясно - подходит это реально для провайдинга... И еще вопрос - насколько все сильно меняется, если сразу в условие ставить, что нужна поддержка netflow v9 - ибо рано или поздно ipv6 настигнет - или когда настигнет - тогда и думать, а заранее не думать про это? И еще вопрос - как меняет всю ситуацию - если нет тунелей, а IPoE - или пофиГ? или зависит как реализовано IPoE ? (это я в контексте, что по snmp имя тунеля с NASа уже не возьмешь...) Изменено 14 января, 2012 пользователем white_crow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
white_crow Опубликовано 15 января, 2012 · Жалоба либо сегодня воскресенье и никто не отвечает, либо тупой вопрос и/или тема, либо никто не ответит вашпе - и надо пробовать разные варианты и собирать самому все грабли, которые сто раз проходили другие... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 15 января, 2012 · Жалоба И еще вопрос - как меняет всю ситуацию - если нет тунелей, а IPoE - или пофиГ? или зависит как реализовано IPoE ? (это я в контексте, что по snmp имя тунеля с NASа уже не возьмешь...)IPoE то по разному можно реализовать, кто то делает NAT 1:1, кто то по dhcp на интерфейс абонента отдаёт реальник, отсюда будет сильно разниться реализация учёта трафика в контексте учётной записи биллинга.Да и вообще в данной сфере мелькают приватные реализации, читай самописные, либо дорогущие, написанные под ограниченный круг ПО, которое интегрируется между собой (биллинг, коллекторы и т.п.). Про сбитого админа лучше не думать - это будет трагедия для конторы! ))) Копаться в самописных костылях придётся. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 16 января, 2012 · Жалоба white_crow Я писал сам, т.к. биллинг самописный, соответвенно особого выбора не было. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
white_crow Опубликовано 17 января, 2012 · Жалоба печально как-то. Может отечественным софтверным компаниям пора написать русский коллектор для сбора статистики для органов? Или нет ниши? И пусть каждый пишет сам? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snark Опубликовано 23 января, 2012 · Жалоба В BGBilling есть коллектор который не только собирает, но и детализацию по пользовательской сессии выдает как в админке, так и в клиентском вебе, высылая файл с детализацией на мыло. Полнейшая интеграция с Вашим L2TP - by default/design ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 23 января, 2012 · Жалоба Коллектор на Java?! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snark Опубликовано 23 января, 2012 · Жалоба Вы так говорите, как будто это что-то плохое. Лично мной, за годы использования, глюков не замечено, да и flow-tools скрестить можно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 23 января, 2012 · Жалоба Да как-то предубеждение против Java есть, что это весьма медленно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snark Опубликовано 23 января, 2012 · Жалоба Я сам такой же был ;) Тоже думал что слова "ява" и "тормоза" это если не синонимы, то уж очень рядом, но практика показала обратное. Попробуйте на досуге - думаю Вы тоже измените свое мнение. Например ихний радиус (тоже ява, ага) нормально держит >1-2k онлайна при поминутных апдейтах. Узким местом оказывается уже не ява или радиус, а БД, правда мускул с иннодб нормально справляется из за отсутствия табличных блокировок. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 23 января, 2012 · Жалоба Спасибо, у меня самописный "разбиратель" на perl, работает вполне удовлетворительно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
white_crow Опубликовано 10 февраля, 2012 (изменено) · Жалоба Короче, резюмирую сам себе по теме "сбор netflow" Попробовал кучу разных утилит и программулек . Остановился на nfdump. Плюсы: 1. Для *NIX 2. Открытый бесплатный проект 3. Понятный и логичный 4. Поддержка NFv9 5. Есть Мануал : ) Инсталляция и запуск прошли без проблем : ) (там фактически то вообще не потребоалось хоть сколько сложный действий) 6. Не нужно ничего самому дописывать 7. Есть разные варианты бэкендов и фронтендов для этой штуки Ща пробую свободный симпатишный проект stager (потом еще попробую NfSen - is a graphical web based front end for the nfdump netflow tools.) Красивые диаграммы, графики, мониторинг, поиск и фильтрация. Хотя, если будет напрягать проц и место БД (postgreSQL) начнет занимать неприлично места, оставлю голый пакет nfdump. В котором простые логичные утилиты и никакх баз данных nfcapd - netflow capture daemon. "слушает" сеть - ловит сырые потоки netflow от сенсоров (кстати, нетфлоу сенсоры я не пробовал - нет нужды, но кто будет читать топик - учтите - выбор сенсора - это отдельная тема от выбора коллектора). nfdump - netflow dump. Кушает сырую стату - и преобразовывает в "текст" в привычном формате tcpdump. Читать можно хоть живьем, скормить Варешарку и т.д. nfprofile - netflow profiler - кушает стату с учетом фильтров. Может быть полезно для уменьшения объемов. Я думаю - для органов вполне хватит хранить только трафик с портами ниже 1024 , весь остальной пир-ту-пир им не нужен. По крайней мере все запросы были по веб трафу и почте. И только один по торрент клиенту - раздача детского порева. Но запрос звучал не "кому раздвал юзер", а наоборот - кто раздавал с такого то IP в такое-то время - логи радиуса тут полностью выручают (раздаем белые адреса , с NATом все было бы не так просто для нас и органов : ) nfreplay - netflow replay Reads the netflow data from the files stored by nfcapd and sends it over the network to another host. Прикольная штука - читает файл со статой и вещает на нужный хост нетфлоу потоки (т.е. обратная операция) nfclean.pl - cleanup old data понятная штука - в крон чистку запуливаем, если надо ft2nfdump - Read and convert flow-tools data. Reads flow-tools data from files or from stdin in a chain of flow-tools commands and converts the data into nfdump format to be processed by nfdump. Понятная штука - может кушать файлы или поток из стандартного ввода (stdin) в формате flow-tools и преобразовывать в nfdump Прим. синтаксис поиска (фильтрации) в nfdump вполне понятен, гибок, удобен. И в мануале расписан на примерах. Изменено 10 февраля, 2012 пользователем white_crow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vxb Опубликовано 11 февраля, 2012 · Жалоба Но запрос звучал не "кому раздвал юзер", а наоборот - кто раздавал с такого то IP в такое-то время - логи радиуса тут полностью выручают (раздаем белые адреса , с NATом все было бы не так просто для нас и органов : ) оно всегда так звучит, ip, дата, время - кто ? в случае с nat'ом и доступом к публичным популярным сервисам как правило предоставляют десяток ситуаций ip, дата, время и url .) отвечай как хочешь.. по теме - раскидываем самописным perl-скриптом Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
white_crow Опубликовано 11 февраля, 2012 (изменено) · Жалоба оно всегда так звучит, ip, дата, время - кто ? 1. Но есть нюанс - почти всегда IP - это твой IP - всмысле IP провайдера - поэтому к тебе и приходит запрос. И вот расскажите мне - если у вас NAT - что Вы делаете? (конечно, если у вас NAT 1 в 1, или 1 к N) и вам еще говорят точное время и + адрес ресурса - тогда вопросов нет... А если адрес ресурса не говорят (но такое бывало редко (real politic : ) - и у вас жуткий маскарадинг, то... уже сложнее ..... {Уже тут ранее писали варианты - типа два коллектора - до NAT и после NAT - синхронизированно время с одного NTP. И можно по timestamp и по сопоставлению вроде портов что-то найти....} Но я вам скажу - мне таки удобно раздавать белые и не париться : ) Все страхи и прочие "недостатки" не волнуют ни грама.... Тупая труба должна только форвардить в обе стороны и все : ) 2. Еще есть один вариант - наоборот - органы рассылают провайдерам адреса ресурсов (например, экстремистские сайты) - просят подготовить список "посетителей". Либо как дело с детской порнографией по линнии интерпола - юзер из западной страны раздавал через "ослика" детскую порнографию. Сообщают его адрес и порт местным органам - те рассылают всем провайдерам и вуаля - надо найти за, например такой-то месяц - всех - кто качал. Потом по цепочке далее - кто раздавал - в итоге сеть порнушников детских получает пативен... Можно, конечно , сказать - никто у нас не качал....но это уже другая история... Был еще странный запрос - точно уже не помню как он звучал, но что-то типа топ 10 или топ 100 посещяемых ресурсов составить (и это не от аналитических агенств, а от МВД : ) Нахрена - не знаю. Но все позиции заняли адреса vkontakte : ) Т.е. профита никакого от такого запроса : ) P.S. Короче - установил пакеты nfdump + nfsen = все просто устанавливается, и работает. Пользоваться просто и удобно. При этом все достаточно мощно, гибко, фильтры, отчеты, визуализация. Ресурсов практически не кушает (кроме, очевидно объемов HDD, но гибко можно настроить - сколько хранить сырую инфу, периоды ротации, агрегации, сжимать или нет и прочее...) Рекомендую тем, кому лень или не хватает времени или мозга самому что-то писать - все уже написано до вас : ) Изменено 11 февраля, 2012 пользователем white_crow Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 13 февраля, 2012 · Жалоба А если адрес ресурса не говорят (но такое бывало редко (real politic : ) - и у вас жуткий маскарадинг, то... уже сложнее ..... {Уже тут ранее писали варианты - типа два коллектора - до NAT и после NAT - синхронизированно время с одного NTP. Какая-то немыслимая экзотика, imho. Коллектор всегда ставится до NAT и ведёт учёт по внутренним IP. Для NAT из динамического пула используется не отдельный коллектор, а журнал назначения NAT-привязок, которым генераторы отчётов пользуются перед обращением к журналу коллектора. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
white_crow Опубликовано 14 февраля, 2012 · Жалоба да, сферическая экзотика в вакууме : ) короче NAT меня вообще не волнует... Сбор нетфлоу осилил. Тема закрыта. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 15 февраля, 2012 · Жалоба "журнал назначения NAT-привязок" это что? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
white_crow Опубликовано 16 февраля, 2012 · Жалоба "журнал назначения NAT-привязок" это что? У меня есть предположение - что это обычный LOG из, например, iptables. тобишь логируется NAT. А затем при поиске в netflow статистике - используются данные из этого журнала. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sherwood Опубликовано 25 февраля, 2017 · Жалоба Здравствуйте. Не много не в тему, но почти. Настраиваю связку manageengine netflow analyzer с mikrotik x86. Как то давно, когда программа была версии 7 делал связку по статье ТУТ ставил программу на Win XP, завелось все без проблем. Теперь встала необходимость еще раз это сделать. Имеем Windows 7 Начальная SP1 32 разрядная. Поставил на неё программу 9.8.6 (билд 9861), активировал лицензию, вроде всё хорошо. На микротике настроил Trafic Flow, там вроде нет проблем ( с этого микротика уже отправляется статистика на другой сервер), я думаю нет проблем с одного микротика отправлять статистику на разные сервера но с одним портом 9996? /ip traffic-flow set enabled=yes /ip traffic-flow target add address=192.168.167.78:9996 version=9 Запустил программу на сколько я помню и в мануалах написано, что она должна сразу получит данные от микротика но в поле девайсы нет ни чего. Пробовал менять порт на 9997, не помогло. Правильно я понимаю, что в программе не надо ни чего настраивать на первом этапе, она должна сама подхватить роутер с интерфейсами? Или в новых версиях что то поменялось? Но я не нашел как добавить роутер в программу. Может Win 7 что то блокирует, но вроде по умолчанию не должно, антивируса нет. Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayf Опубликовано 25 февраля, 2017 · Жалоба оно всегда так звучит, ip, дата, время - кто ? в случае с nat'ом и доступом к публичным популярным сервисам как правило предоставляют десяток ситуаций ip, дата, время и url .) отвечай как хочешь.. Ну как сказать. Последний запрос, который к нам приходил, звучал так: а не появлялся ли у вас на сети ноутбук с мак-адресом таким-то за последние 2 года? А если появлялся, то когда и где. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sherwood Опубликовано 26 февраля, 2017 · Жалоба Победил. Дело было в firewall windows, открыл 9996 порт на соединение и заработало. Теперь проблема с настройкой отсылки репортов на почту. Настроил - и не взлетело. на роутере посмотрел, пакеты с этого ПК и этого порта 465 вроде уходят. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sherwood Опубликовано 10 мая, 2017 (изменено) · Жалоба Здравствуйте. Отсылку репортов осилил, не на все почтовые сервера может отправлять, связано наверное с аунтификацией, поменял почтовый ящик с другого сервера и все заработало. Теперь ни как не могу понять в чем проблема с отчетами, а именно если попытатся найти определенный удаленный адрес (например кто в течении дня, недели, месяца) заходил на определенный ip, то поиск происходит только в диапазоне 2 часа. То есть я в 00:10 пропинговал определенный адрес, в 09:00 решил найти этот адрес, делаю настройки поиска 00:00-08:00 то ни чего нет, а если задать диапазон не более 2 часов, то все находит 00:00-02:00. Облазил все настройки так и не нашел почему так. Может кто знает в чем проблема? Изменено 10 мая, 2017 пользователем sherwood Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...