Перейти к содержимому
Калькуляторы

RTL8186 firmware: Статистика и подсчёт трафика

По поводу статистики.

Alexnik все рвется ее засунуть в точку. Ау ! Там места для хранения полноценной статистики не будет. И места под полноценный веб-ифейс тоже.

Давайте не мучать себя.

И еще. Снимать распределение потоков через iptables можно, но при большом количестве сетей не хватит производительности точки.

Мы с этим столкнулись, когда на полноценном маршрутизаторе под FreeBSD пытались посчитать для 200 клиентов трафик отдельно для внутригорода. Там порядка 150 сетей. Помножим на 200 клиентов - 30000 правил. На таком количестве даже при 1 мегабите потока 1.8G Celeron был занят на 50-60% !

Поэтому и отказались - перешли на ipcad. Тольно на cisco accounting - netflow хоть и проще, но имеет тот недостаток, что если коллектор вдруг ляжет - все. Статистика не собирается совсем. С cisco accounting проще в том плане, что она все это время будет накапливаться в памяти точки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dgreen, Все понял учту ... :( У меня цель такого плана :

1)Точка в режиме клиента обслуживает (небольшой офис) или вообще одного клиента.

2)считать траффик нужно по разным направлениям

3)точки не из моей сети вообще но достучаться до них я могу

 

Для всего этого подходит демон stargazer он всего до 200кб занимает места и статистика довольно таки компактная ... храниться по умолчанию /var/stargazer/user/"логин юзера" , проверил что если тупо копировать эту папку на другую машину и обрабатывать скриптами статистику все получаеться Ок :) На самой точке в старгейзере можно управлять юзверами (выставлять лимиты + считать трафик по разным направлениям и соответсвенно цене+ авторизация пользователей :) и.т.д)

Я думаю что можно и сохранять на точке статистику (напрмер прошивка dgreen) и скрипт savelocal :) Ну и чистить статистику не забывать конечно (память не резиновая) ... То есть скриптами в крон чтобы она сохраняла раз в 4-30мин (кому как нравиться) статистику на точке , потом раз в день (два,три,месяц) сбрасывала статистику по фтп на сервер где будет храниться вся статистика и удаляла статистику (кроме данных о логине и паролях) на точке ... мне кажеться для такой задачи это нормальное решение ... нужна помощь в сборке stargazer под rtl8186 :) бо с меня програмер хреновый :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Еще вот мысля закралась в голову на счет снятия статистики - по моему можно поднимать с точки на сервер тунель и монтировать папку с сервера статистики и ложить всю статистику туда ... не пинать (еще не делал ни разу так)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dgreen, По поводу

Тольно на cisco accounting - netflow хоть и проще, но имеет тот недостаток, что если коллектор вдруг ляжет - все. Статистика не собирается совсем.

Можно скриптом в кроне сделать проверку на работоспособность коллектора (проверка через каждые допусти 5 минут) и в случае отрицательной проверки отсылать письмо на мобильник :) правда smtp демона надо еще прикручивать :(

 

P.S Идея......Идея..... И де я нахожуся © :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Насчет записи статистики на флеш точки доступа - она у тебя недолго так прослужит... там лимит записи/перезаписи есть. Поэтому и создают корень в памяти изменяемый, а запись по запросу (для сохранения опций)... А вот идея слаживать статистику на дальнем сервере - очень хорошая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Насчет записи статистики на флеш точки доступа - она у тебя недолго так прослужит...  

не подумал :(

N.leiten, Помоги откомпилить stargazer под rtl8186 - лучше даже готовую прошивку без бриджа с iptables (у адрона во второй версий с gre и tc) ..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У мя тож есть гре и тс :) во второй версии :) с поддержкой бриджа - старгейзер попробуем, обещать позитив не буду, но результата какого-нить добьемся :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Alexnik, ты таки реншил снимать статистику старгейзером ? Т.е. через ipchains. Аккуратно - уложишь точку по производительности !

Сливать с точки на сервак куда-то там кроном и т.д.....

Ау-уу !

Не делайте ведущим устройством то, что должно быть ведомым !

Сервер статистики должен забирать все с точки, а не точка писать на сервер статистики ! Иначе идеология звезды с активным центром теряется - и получаете массу проблем. (плавали - знаем, по морде получали :) )

Не надо изобретать велосипед. Или гарантированная доставка - и netflow, или не гарантированная доставка - и активный центр на сервере статистики.

А если переписывать старгейзера - то тогда его проще и под cisco accounting переделать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dgreen, Старгейзер и есть собственно коллектор траффика :) Нечто похожее на netflow iptables или ipchains используеться только при авторизаций пользователей (есть там скрипты Onconnect и Ondisconnect которые вызываються самим старгейзером а в них уже как напишешь либо под фрю ipf или linux ipchains,iptables КОРОЧЕ считает траффик сам демон - и как люди отзываються - ОЧЕНЬ правильно). Перед запуском демона старгейзера делаеться скрипт в котором запрещаеться все и открываються несколько портов для SSH и конфигуратора и авторизаторов для клиентов ... а уже при удачной авторизаций клиента запускаеться скрипт онконнект который разрешает пользователю доступ в сеть ... при отключений пользователи запускаеться скрипт ондисконнект и файрвол закрывает доступ для IP пользователя ... КОРОЧЕ можно даже без всяких iptables и.т.д просто демоном снимать статистику .. но этоже не интересно :) А отдавать статистику я предлагаю по твоей схеме!!!!! т.е тунельь и статистика с демона старгейзера уходит на сервер :) При данной схеме - можно выставить на точке у пользователя в старгейзере лимит по траффику .. и как только пользоваетель его превысит он юзверя отрубит :) я считаю удачной идеей ...

Просто ты про старгейзер не внимательно все понял ....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Короче говоря старгейзер - это демон (управляемый коллектор траффика) для которого разработан конфигуратор (очень удобный есть версий под винду и юникс) и клиентские утилиты для авторизаций под винду и юникс ... сервер занимает в tgz 116 килобайт :) Можно просто снимать статистику по IP в режиме бриджа или в режиме маршрутизатора настроить скрипты выполняемые при подключений пользователей и отключений (как правило файрвол правила разрешающие доступ ip и запрещающие) а статистику сваливает в виде файлов: ПРИМЕР

/var

/stargazer

/user

/login_name (папки по логинам пользователей)

/2006 (год )

/ 1 (месяц)

/23 (число)

/stat (сам файл статистики)

 

Сырцы есть ... плюс народ написал разные дополнительные скрипты для анализа и веб интерфейс (то уже для нас лишнее)

Значит поднял его на 486dx40 16ram и гонял через него локальный траффик в нескольких направлениях - не падает (ведет себя достойно) ... заработал он даже с дискеты :) Freesco+Stargazer правда место для статистике на дискете почти не осалось :) просто ФАКТ работы сам по себе мне стал интересен ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У старгайзера весь общет идет через raw сокеты. Те самые на которых пишут снифферы. То есть по сути он тупой сниффер. Никакой ip(tables/chains) не используется вообще. Написан на c++.

Думаю проца точки хватит. У меня оно вращается на 233 целе на 300 юзверей и потоком 512 kbit/sec. Нагрузка максимум 5 % на проц.

На счет файлов логов. В моей прошивке есть поддержка nfs. Если например написать helpfs то монтируется папка с заданного сервера. Можно по nfs и сливать статистику старгайзера.

А нужно ли вообще все это ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

adron2, Еще и как нужно .... он маленький - но куча фунций (сам наверно знаешь каких) :) А на счет iptables и ipchains используються в качестве файрвола ... Может реализуешь для бета-тестирования ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Упс, сорри. Невнимательно просмотрел этот ваш старгазер. Мне показалось при первом рассмотрении, что он снеимает статистику с системного файервола.

С raw - сокета - это, как я понимаю, через libpcap - иначе для Linux и для FreeBSD ьыли бы сильно различные методы обсчета. Тогда проблем никаких - libpcap у меня в прошивке собранна.

Тогда действительно пригразит проц процентов на 5-10 максимум.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dgreen, Он не наш - ОН обший и под фрей работает тоже Ок :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хм, в припципе присобачить Звездочет туда можно. Вот только отталкиваться потом надо будет все-таки от более-менее стандартных решений aka netflow. так хоть уверенность будет, что работать будет на любых машинках, точнее с любыми системами.

В общем буду пробовать, а время покажет...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

netflow больше звезочета ... :( да и функций кроме как тупо считать нету ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Alexnik,

да и функций кроме как тупо считать нету ...

Он вообще-то для анализа делался. А так сделать нормальный SNMP и через него рулить. Например клиент = интерфейсу. Поднял - опустил. А так я за netflow :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не SNMP ... ну никак не подходит по ряду причин к сожалению ..

1) Оборудование большинство дешевого не поддерживает ... И демон опять таки большой (по крайней мере то что нашел) + КУЧУ библиотек нужно ... что для rtl8186 не приемлимо...

2) Сегодня проверял на двух почти одинаковых машинках (заболел немножко простудой ..вот и время появилось) netflow и stargazer .. почти байт-в байт :)

а размер демона - что для rtl8186+8-16ram очень критично ... РАЗНЫЙ

3) Ну и за чем тогда netflow - ведь им же нельзя нормально управлять ... окромя сбора статистики -в этом ему плюс ...все продумано ...

4) Тему я затеял именно на счет управляемого демона со сбором статистики и выполнением демоном скриптов ... а так dgreen уже все настроил под ipcad и все работает ...

 

ИМХО. SNMP- для нориального коллектора траффика не пойдет ... netflow и ipcad не имеют активного управления .... хотя тоже неплохо :)

А старгейзер и как коллектор нормальный и управляемый к тому-же - остаеться только сбор статистики подогнать (не очень легкая задача) ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Alexnik,

В любом случае запихивать полный коплект системы учета в точку нет смысла. А значит структура в виде "что-то снимающее трафик" на банке и "что-то типа коллесктора и обсчета всего этого" на центральном сервере статистики.

Теперь надо определится - как ни странно - не с этими двумя частями, а с протоколом обмена.

Можно взять что-то стандартное. Я их наю 2 - netflow и cisco accounting - по сути одно и то же, отличающееся лишь инициатором - netflow идет от клиента к серверу постоянно, а cisco accounting по запросу от сервера.

Можно написать свое.

Недостаток второго очевиден - даже описывать все не буду.

Итого: если в качестве системы учета используется старгейзер (а вообще-то учитывая принятие за метод передачи netflow или cisco accounting - то точке ПОФИГУ, что у вас за коллектор стоит) - то проблема, в общем то, со стороны RTL8186 уже и решена. Работает и реально все снимается.

 

Остается вопрос управления клиентами - т.е. поднять-опустить канал до клиента.

А вот это предлагаю - опять же, не мудрствуюя лукаво - на стандартной связке pppoe + radius

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

непонятно немного написал - проблема решена со стороны ТОЧКИ - осталось переделать страгейзер под netflow или cisco accounting. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dgreen, Сам автор старгейзера - в новых версиях обещает совместимость с netflow (если я правильно все понял) .. Можно ждать новых релизов - а можно и самим поколупаться... Просто лично вся изюминка в этой затей - что поставил точку не в совей сети а у другово оператора для обслуживания (жилого дома 5-15клиентов) или фирма ... Никто больше выставленного лимита не скачает - и если у клиента кончились деньги отрубит ... я уже откомпилил сам бинарник - щас разбираюсь в файловой ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

на стандартной связке pppoe + radius

 

Да конечно хорошо ... можно и так ... Но в случае rtl8186+stargazer (чуточку там подправить можно для того чтобы не полные логи откладывал - а только считал и раз в 1час ложил фин. состояние клиента)+аккумулятор - вообще полностью автономная точка получаеться без внешних серверов (только если виснуть не будет) ... я эту идею планирую использовать не в своей сети ... т.е. там где у точки будет только белый IP и все а траффик к моим серверам будет стоить как мир.интернет :(

Короче я сначала попробую старгейзер запихнуть и чтобы заработало .. а потом буду лезть с вопросами по netflow ... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хм, я так понял, что мне уже можно и не колупаться со звездочетом?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

N.leiten, Как это не колупаться :) У меня только скомпиленый бинарник - и то еще не правильный (про специфику файловой опять забыл)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ок, в аське уже списались, ожидаем железа :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.