Сбор статистики PPPOE сессий.

[conrad]

Всем доброго времени суток! Имеется NAS - FreeBSD 10.0 amd64 + mpd5.7(для терминации PPPoE тунелей), в пике ~750 сессий(количество потихоньку растет), нагрузка на канал пока около 200mbit/s, у пользователей динамические ip. Хотелось бы собирать статистику по сессиям (у кого, в какое время и куда убежал трафик), желательно с фильтрацией по классам трафика (к примеру глобальный и городской) и веб интерфейсом, чтобы можно было показать абоненту куда убежал его трафик. Понимаю что нужно смотреть в сторону netflow.... Подскажите пожалуйста чем можно реализовать данный функционал и какие аппаратные ресурсы необходимы для этого? Заранее благодарю за ответ.

[s.lobanov]

у вас не анлимы? если анлимы, то вам это не нужно

[conrad]

у вас не анлимы? если анлимы, то вам это не нужно

Анлимы есть, но в основном потрафиковые.

[boco]

rtfm

[conrad]

rtfm

Ни слова про netflow... Если Вы имели ввиду подсчет количества трафика то это уже есть в abills, нужна большая детализация (ip источника и назначения и тд).

[boco]

rtfm

Ни слова про netflow... Если Вы имели ввиду подсчет количества трафика то это уже есть в abills, нужна большая детализация (ip источника и назначения и тд).

вы же хотели "с фильтрацией по классам трафика (к примеру глобальный и городской)". читайте fm до конца.

[conrad]

вы же хотели "с фильтрацией по классам трафика (к примеру глобальный и городской)". читайте fm до конца.

Разделение по классам трафика уже есть(с помощью фильтров mpd), нужно чтобы в статистике можно было исключить городские сети и посмотреть в каком количестве и на какие ip(будет вообще круто если из веба можно будет орезолвить их) адреса глобальной сети ушел трафик у абонента.

[boco]

тогда только нетфлоу. если трафик между клиентами внутри сервера доступа не интересует - можно навесить нетграф ноду ng_netflow только на внешний интерфейс. если же нужно учитывать и межклиентский трафик, тогда придется заставлять мпд навешивать по хуку netflow на каждый ng-интерфейс.

[conrad]

тогда только нетфлоу. если трафик между клиентами внутри сервера доступа не интересует - можно навесить нетграф ноду ng_netflow только на внешний интерфейс. если же нужно учитывать и межклиентский трафик, тогда придется заставлять мпд навешивать по хуку netflow на каждый ng-интерфейс.

Так вот я и справшиваю какими конкретно средствами можно это реализовать.. думаю что одного ng_netflow будет недостаточно. Если можно, киньте ссылки, заранее благодарю.

[s.lobanov]

conrad

сенсор и коллектор это не проблема.

а вот что делать дальше - как хранить (в файлах или БД), как агрегировать, ротировать и т.д. - это уже работа с напильником и под конкретную задачу

[roysbike]

Всем доброго времени суток! Имеется NAS - FreeBSD 10.0 amd64 + mpd5.7(для терминации PPPoE тунелей), в пике ~750 сессий(количество потихоньку растет), нагрузка на канал пока около 200mbit/s, у пользователей динамические ip. Хотелось бы собирать статистику по сессиям (у кого, в какое время и куда убежал трафик), желательно с фильтрацией по классам трафика (к примеру глобальный и городской) и веб интерфейсом, чтобы можно было показать абоненту куда убежал его трафик. Понимаю что нужно смотреть в сторону netflow.... Подскажите пожалуйста чем можно реализовать данный функционал и какие аппаратные ресурсы необходимы для этого? Заранее благодарю за ответ.

ПОлучаю с mpd поток netflow . Собираю с помощью nfcapd .Как только nfcapd собрал определнное кол-во flow , выполняется скрипт которые заливает в mysql. Каждые сутки создается новая таблица в mysql.

[conrad]

сенсор и коллектор это не проблема.

а вот что делать дальше - как хранить (в файлах или БД), как агрегировать, ротировать и т.д. - это уже работа с напильником и под конкретную задачу

Сенсор понятно.. это mpd + ng_netflow, а в качестве коллектора что посоветуете? Про хранение читал что в файлах лучше, так как требует меньше места на диске и выборка происходит быстрее, а вот что из себя представляет агрегация пока не понял.. Заранее спасибо.

Edited November 21, 2014 by conrad

[roysbike]

Я использую nfdump + mysql. 50 гб за сутки одна таблица . Можно и в файлах. Но нам нужен доступ к этим данным .

[conrad]

Я использую nfdump + mysql. 50 гб за сутки одна таблица . Можно и в файлах. Но нам нужен доступ к этим данным .

Такой объем данных в бд благодаря какому количеству сессий если не секрет? А разве имея все в файлах из них нельзя извлечь инфу?

[roysbike]

Я использую nfdump + mysql. 50 гб за сутки одна таблица . Можно и в файлах. Но нам нужен доступ к этим данным .

Такой объем данных в бд благодаря какому количеству сессий если не секрет? А разве имея все в файлах из них нельзя извлечь инфу?

800к 50-60 гб. Из базы просто проще. Процедуру накотал и вызываю когда , что надо