Jump to content
Калькуляторы

RTL8186 firmware: Статистика и подсчёт трафика

По поводу статистики.

Alexnik все рвется ее засунуть в точку. Ау ! Там места для хранения полноценной статистики не будет. И места под полноценный веб-ифейс тоже.

Давайте не мучать себя.

И еще. Снимать распределение потоков через iptables можно, но при большом количестве сетей не хватит производительности точки.

Мы с этим столкнулись, когда на полноценном маршрутизаторе под FreeBSD пытались посчитать для 200 клиентов трафик отдельно для внутригорода. Там порядка 150 сетей. Помножим на 200 клиентов - 30000 правил. На таком количестве даже при 1 мегабите потока 1.8G Celeron был занят на 50-60% !

Поэтому и отказались - перешли на ipcad. Тольно на cisco accounting - netflow хоть и проще, но имеет тот недостаток, что если коллектор вдруг ляжет - все. Статистика не собирается совсем. С cisco accounting проще в том плане, что она все это время будет накапливаться в памяти точки.

Share this post


Link to post
Share on other sites

dgreen, Все понял учту ... :( У меня цель такого плана :

1)Точка в режиме клиента обслуживает (небольшой офис) или вообще одного клиента.

2)считать траффик нужно по разным направлениям

3)точки не из моей сети вообще но достучаться до них я могу

 

Для всего этого подходит демон stargazer он всего до 200кб занимает места и статистика довольно таки компактная ... храниться по умолчанию /var/stargazer/user/"логин юзера" , проверил что если тупо копировать эту папку на другую машину и обрабатывать скриптами статистику все получаеться Ок :) На самой точке в старгейзере можно управлять юзверами (выставлять лимиты + считать трафик по разным направлениям и соответсвенно цене+ авторизация пользователей :) и.т.д)

Я думаю что можно и сохранять на точке статистику (напрмер прошивка dgreen) и скрипт savelocal :) Ну и чистить статистику не забывать конечно (память не резиновая) ... То есть скриптами в крон чтобы она сохраняла раз в 4-30мин (кому как нравиться) статистику на точке , потом раз в день (два,три,месяц) сбрасывала статистику по фтп на сервер где будет храниться вся статистика и удаляла статистику (кроме данных о логине и паролях) на точке ... мне кажеться для такой задачи это нормальное решение ... нужна помощь в сборке stargazer под rtl8186 :) бо с меня програмер хреновый :(

Share this post


Link to post
Share on other sites

Еще вот мысля закралась в голову на счет снятия статистики - по моему можно поднимать с точки на сервер тунель и монтировать папку с сервера статистики и ложить всю статистику туда ... не пинать (еще не делал ни разу так)

Share this post


Link to post
Share on other sites

dgreen, По поводу

Тольно на cisco accounting - netflow хоть и проще, но имеет тот недостаток, что если коллектор вдруг ляжет - все. Статистика не собирается совсем.

Можно скриптом в кроне сделать проверку на работоспособность коллектора (проверка через каждые допусти 5 минут) и в случае отрицательной проверки отсылать письмо на мобильник :) правда smtp демона надо еще прикручивать :(

 

P.S Идея......Идея..... И де я нахожуся © :)

Share this post


Link to post
Share on other sites

Насчет записи статистики на флеш точки доступа - она у тебя недолго так прослужит... там лимит записи/перезаписи есть. Поэтому и создают корень в памяти изменяемый, а запись по запросу (для сохранения опций)... А вот идея слаживать статистику на дальнем сервере - очень хорошая.

Share this post


Link to post
Share on other sites
Насчет записи статистики на флеш точки доступа - она у тебя недолго так прослужит...  

не подумал :(

N.leiten, Помоги откомпилить stargazer под rtl8186 - лучше даже готовую прошивку без бриджа с iptables (у адрона во второй версий с gre и tc) ..

Share this post


Link to post
Share on other sites

У мя тож есть гре и тс :) во второй версии :) с поддержкой бриджа - старгейзер попробуем, обещать позитив не буду, но результата какого-нить добьемся :)

Share this post


Link to post
Share on other sites

Alexnik, ты таки реншил снимать статистику старгейзером ? Т.е. через ipchains. Аккуратно - уложишь точку по производительности !

Сливать с точки на сервак куда-то там кроном и т.д.....

Ау-уу !

Не делайте ведущим устройством то, что должно быть ведомым !

Сервер статистики должен забирать все с точки, а не точка писать на сервер статистики ! Иначе идеология звезды с активным центром теряется - и получаете массу проблем. (плавали - знаем, по морде получали :) )

Не надо изобретать велосипед. Или гарантированная доставка - и netflow, или не гарантированная доставка - и активный центр на сервере статистики.

А если переписывать старгейзера - то тогда его проще и под cisco accounting переделать.

Share this post


Link to post
Share on other sites

dgreen, Старгейзер и есть собственно коллектор траффика :) Нечто похожее на netflow iptables или ipchains используеться только при авторизаций пользователей (есть там скрипты Onconnect и Ondisconnect которые вызываються самим старгейзером а в них уже как напишешь либо под фрю ipf или linux ipchains,iptables КОРОЧЕ считает траффик сам демон - и как люди отзываються - ОЧЕНЬ правильно). Перед запуском демона старгейзера делаеться скрипт в котором запрещаеться все и открываються несколько портов для SSH и конфигуратора и авторизаторов для клиентов ... а уже при удачной авторизаций клиента запускаеться скрипт онконнект который разрешает пользователю доступ в сеть ... при отключений пользователи запускаеться скрипт ондисконнект и файрвол закрывает доступ для IP пользователя ... КОРОЧЕ можно даже без всяких iptables и.т.д просто демоном снимать статистику .. но этоже не интересно :) А отдавать статистику я предлагаю по твоей схеме!!!!! т.е тунельь и статистика с демона старгейзера уходит на сервер :) При данной схеме - можно выставить на точке у пользователя в старгейзере лимит по траффику .. и как только пользоваетель его превысит он юзверя отрубит :) я считаю удачной идеей ...

Просто ты про старгейзер не внимательно все понял ....

Share this post


Link to post
Share on other sites

Короче говоря старгейзер - это демон (управляемый коллектор траффика) для которого разработан конфигуратор (очень удобный есть версий под винду и юникс) и клиентские утилиты для авторизаций под винду и юникс ... сервер занимает в tgz 116 килобайт :) Можно просто снимать статистику по IP в режиме бриджа или в режиме маршрутизатора настроить скрипты выполняемые при подключений пользователей и отключений (как правило файрвол правила разрешающие доступ ip и запрещающие) а статистику сваливает в виде файлов: ПРИМЕР

/var

/stargazer

/user

/login_name (папки по логинам пользователей)

/2006 (год )

/ 1 (месяц)

/23 (число)

/stat (сам файл статистики)

 

Сырцы есть ... плюс народ написал разные дополнительные скрипты для анализа и веб интерфейс (то уже для нас лишнее)

Значит поднял его на 486dx40 16ram и гонял через него локальный траффик в нескольких направлениях - не падает (ведет себя достойно) ... заработал он даже с дискеты :) Freesco+Stargazer правда место для статистике на дискете почти не осалось :) просто ФАКТ работы сам по себе мне стал интересен ...

Share this post


Link to post
Share on other sites

У старгайзера весь общет идет через raw сокеты. Те самые на которых пишут снифферы. То есть по сути он тупой сниффер. Никакой ip(tables/chains) не используется вообще. Написан на c++.

Думаю проца точки хватит. У меня оно вращается на 233 целе на 300 юзверей и потоком 512 kbit/sec. Нагрузка максимум 5 % на проц.

На счет файлов логов. В моей прошивке есть поддержка nfs. Если например написать helpfs то монтируется папка с заданного сервера. Можно по nfs и сливать статистику старгайзера.

А нужно ли вообще все это ;)

Share this post


Link to post
Share on other sites
adron2, Еще и как нужно .... он маленький - но куча фунций (сам наверно знаешь каких) :) А на счет iptables и ipchains используються в качестве файрвола ... Может реализуешь для бета-тестирования ?

Share this post


Link to post
Share on other sites

Упс, сорри. Невнимательно просмотрел этот ваш старгазер. Мне показалось при первом рассмотрении, что он снеимает статистику с системного файервола.

С raw - сокета - это, как я понимаю, через libpcap - иначе для Linux и для FreeBSD ьыли бы сильно различные методы обсчета. Тогда проблем никаких - libpcap у меня в прошивке собранна.

Тогда действительно пригразит проц процентов на 5-10 максимум.

Share this post


Link to post
Share on other sites
dgreen, Он не наш - ОН обший и под фрей работает тоже Ок :)

Share this post


Link to post
Share on other sites

Хм, в припципе присобачить Звездочет туда можно. Вот только отталкиваться потом надо будет все-таки от более-менее стандартных решений aka netflow. так хоть уверенность будет, что работать будет на любых машинках, точнее с любыми системами.

В общем буду пробовать, а время покажет...

Share this post


Link to post
Share on other sites

netflow больше звезочета ... :( да и функций кроме как тупо считать нету ...

Share this post


Link to post
Share on other sites

Alexnik,

да и функций кроме как тупо считать нету ...

Он вообще-то для анализа делался. А так сделать нормальный SNMP и через него рулить. Например клиент = интерфейсу. Поднял - опустил. А так я за netflow :)

Share this post


Link to post
Share on other sites

Не SNMP ... ну никак не подходит по ряду причин к сожалению ..

1) Оборудование большинство дешевого не поддерживает ... И демон опять таки большой (по крайней мере то что нашел) + КУЧУ библиотек нужно ... что для rtl8186 не приемлимо...

2) Сегодня проверял на двух почти одинаковых машинках (заболел немножко простудой ..вот и время появилось) netflow и stargazer .. почти байт-в байт :)

а размер демона - что для rtl8186+8-16ram очень критично ... РАЗНЫЙ

3) Ну и за чем тогда netflow - ведь им же нельзя нормально управлять ... окромя сбора статистики -в этом ему плюс ...все продумано ...

4) Тему я затеял именно на счет управляемого демона со сбором статистики и выполнением демоном скриптов ... а так dgreen уже все настроил под ipcad и все работает ...

 

ИМХО. SNMP- для нориального коллектора траффика не пойдет ... netflow и ipcad не имеют активного управления .... хотя тоже неплохо :)

А старгейзер и как коллектор нормальный и управляемый к тому-же - остаеться только сбор статистики подогнать (не очень легкая задача) ...

Share this post


Link to post
Share on other sites

Alexnik,

В любом случае запихивать полный коплект системы учета в точку нет смысла. А значит структура в виде "что-то снимающее трафик" на банке и "что-то типа коллесктора и обсчета всего этого" на центральном сервере статистики.

Теперь надо определится - как ни странно - не с этими двумя частями, а с протоколом обмена.

Можно взять что-то стандартное. Я их наю 2 - netflow и cisco accounting - по сути одно и то же, отличающееся лишь инициатором - netflow идет от клиента к серверу постоянно, а cisco accounting по запросу от сервера.

Можно написать свое.

Недостаток второго очевиден - даже описывать все не буду.

Итого: если в качестве системы учета используется старгейзер (а вообще-то учитывая принятие за метод передачи netflow или cisco accounting - то точке ПОФИГУ, что у вас за коллектор стоит) - то проблема, в общем то, со стороны RTL8186 уже и решена. Работает и реально все снимается.

 

Остается вопрос управления клиентами - т.е. поднять-опустить канал до клиента.

А вот это предлагаю - опять же, не мудрствуюя лукаво - на стандартной связке pppoe + radius

Share this post


Link to post
Share on other sites

непонятно немного написал - проблема решена со стороны ТОЧКИ - осталось переделать страгейзер под netflow или cisco accounting. :)

Share this post


Link to post
Share on other sites
dgreen, Сам автор старгейзера - в новых версиях обещает совместимость с netflow (если я правильно все понял) .. Можно ждать новых релизов - а можно и самим поколупаться... Просто лично вся изюминка в этой затей - что поставил точку не в совей сети а у другово оператора для обслуживания (жилого дома 5-15клиентов) или фирма ... Никто больше выставленного лимита не скачает - и если у клиента кончились деньги отрубит ... я уже откомпилил сам бинарник - щас разбираюсь в файловой ...

Share this post


Link to post
Share on other sites
на стандартной связке pppoe + radius

 

Да конечно хорошо ... можно и так ... Но в случае rtl8186+stargazer (чуточку там подправить можно для того чтобы не полные логи откладывал - а только считал и раз в 1час ложил фин. состояние клиента)+аккумулятор - вообще полностью автономная точка получаеться без внешних серверов (только если виснуть не будет) ... я эту идею планирую использовать не в своей сети ... т.е. там где у точки будет только белый IP и все а траффик к моим серверам будет стоить как мир.интернет :(

Короче я сначала попробую старгейзер запихнуть и чтобы заработало .. а потом буду лезть с вопросами по netflow ... :)

Share this post


Link to post
Share on other sites

Хм, я так понял, что мне уже можно и не колупаться со звездочетом?

Share this post


Link to post
Share on other sites
N.leiten, Как это не колупаться :) У меня только скомпиленый бинарник - и то еще не правильный (про специфику файловой опять забыл)

Share this post


Link to post
Share on other sites

Ок, в аське уже списались, ожидаем железа :)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this