dgreen Опубликовано 31 марта, 2006 · Жалоба По поводу статистики. Alexnik все рвется ее засунуть в точку. Ау ! Там места для хранения полноценной статистики не будет. И места под полноценный веб-ифейс тоже. Давайте не мучать себя. И еще. Снимать распределение потоков через iptables можно, но при большом количестве сетей не хватит производительности точки. Мы с этим столкнулись, когда на полноценном маршрутизаторе под FreeBSD пытались посчитать для 200 клиентов трафик отдельно для внутригорода. Там порядка 150 сетей. Помножим на 200 клиентов - 30000 правил. На таком количестве даже при 1 мегабите потока 1.8G Celeron был занят на 50-60% ! Поэтому и отказались - перешли на ipcad. Тольно на cisco accounting - netflow хоть и проще, но имеет тот недостаток, что если коллектор вдруг ляжет - все. Статистика не собирается совсем. С cisco accounting проще в том плане, что она все это время будет накапливаться в памяти точки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба dgreen, Все понял учту ... :( У меня цель такого плана : 1)Точка в режиме клиента обслуживает (небольшой офис) или вообще одного клиента. 2)считать траффик нужно по разным направлениям 3)точки не из моей сети вообще но достучаться до них я могу Для всего этого подходит демон stargazer он всего до 200кб занимает места и статистика довольно таки компактная ... храниться по умолчанию /var/stargazer/user/"логин юзера" , проверил что если тупо копировать эту папку на другую машину и обрабатывать скриптами статистику все получаеться Ок :) На самой точке в старгейзере можно управлять юзверами (выставлять лимиты + считать трафик по разным направлениям и соответсвенно цене+ авторизация пользователей :) и.т.д) Я думаю что можно и сохранять на точке статистику (напрмер прошивка dgreen) и скрипт savelocal :) Ну и чистить статистику не забывать конечно (память не резиновая) ... То есть скриптами в крон чтобы она сохраняла раз в 4-30мин (кому как нравиться) статистику на точке , потом раз в день (два,три,месяц) сбрасывала статистику по фтп на сервер где будет храниться вся статистика и удаляла статистику (кроме данных о логине и паролях) на точке ... мне кажеться для такой задачи это нормальное решение ... нужна помощь в сборке stargazer под rtl8186 :) бо с меня програмер хреновый :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба Еще вот мысля закралась в голову на счет снятия статистики - по моему можно поднимать с точки на сервер тунель и монтировать папку с сервера статистики и ложить всю статистику туда ... не пинать (еще не делал ни разу так) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба dgreen, По поводу Тольно на cisco accounting - netflow хоть и проще, но имеет тот недостаток, что если коллектор вдруг ляжет - все. Статистика не собирается совсем. Можно скриптом в кроне сделать проверку на работоспособность коллектора (проверка через каждые допусти 5 минут) и в случае отрицательной проверки отсылать письмо на мобильник :) правда smtp демона надо еще прикручивать :( P.S Идея......Идея..... И де я нахожуся © :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
N.leiten Опубликовано 31 марта, 2006 · Жалоба Насчет записи статистики на флеш точки доступа - она у тебя недолго так прослужит... там лимит записи/перезаписи есть. Поэтому и создают корень в памяти изменяемый, а запись по запросу (для сохранения опций)... А вот идея слаживать статистику на дальнем сервере - очень хорошая. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба Насчет записи статистики на флеш точки доступа - она у тебя недолго так прослужит... не подумал :( N.leiten, Помоги откомпилить stargazer под rtl8186 - лучше даже готовую прошивку без бриджа с iptables (у адрона во второй версий с gre и tc) .. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
N.leiten Опубликовано 31 марта, 2006 · Жалоба У мя тож есть гре и тс :) во второй версии :) с поддержкой бриджа - старгейзер попробуем, обещать позитив не буду, но результата какого-нить добьемся :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dgreen Опубликовано 31 марта, 2006 · Жалоба Alexnik, ты таки реншил снимать статистику старгейзером ? Т.е. через ipchains. Аккуратно - уложишь точку по производительности ! Сливать с точки на сервак куда-то там кроном и т.д..... Ау-уу ! Не делайте ведущим устройством то, что должно быть ведомым ! Сервер статистики должен забирать все с точки, а не точка писать на сервер статистики ! Иначе идеология звезды с активным центром теряется - и получаете массу проблем. (плавали - знаем, по морде получали :) ) Не надо изобретать велосипед. Или гарантированная доставка - и netflow, или не гарантированная доставка - и активный центр на сервере статистики. А если переписывать старгейзера - то тогда его проще и под cisco accounting переделать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба dgreen, Старгейзер и есть собственно коллектор траффика :) Нечто похожее на netflow iptables или ipchains используеться только при авторизаций пользователей (есть там скрипты Onconnect и Ondisconnect которые вызываються самим старгейзером а в них уже как напишешь либо под фрю ipf или linux ipchains,iptables КОРОЧЕ считает траффик сам демон - и как люди отзываються - ОЧЕНЬ правильно). Перед запуском демона старгейзера делаеться скрипт в котором запрещаеться все и открываються несколько портов для SSH и конфигуратора и авторизаторов для клиентов ... а уже при удачной авторизаций клиента запускаеться скрипт онконнект который разрешает пользователю доступ в сеть ... при отключений пользователи запускаеться скрипт ондисконнект и файрвол закрывает доступ для IP пользователя ... КОРОЧЕ можно даже без всяких iptables и.т.д просто демоном снимать статистику .. но этоже не интересно :) А отдавать статистику я предлагаю по твоей схеме!!!!! т.е тунельь и статистика с демона старгейзера уходит на сервер :) При данной схеме - можно выставить на точке у пользователя в старгейзере лимит по траффику .. и как только пользоваетель его превысит он юзверя отрубит :) я считаю удачной идеей ... Просто ты про старгейзер не внимательно все понял .... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба Короче говоря старгейзер - это демон (управляемый коллектор траффика) для которого разработан конфигуратор (очень удобный есть версий под винду и юникс) и клиентские утилиты для авторизаций под винду и юникс ... сервер занимает в tgz 116 килобайт :) Можно просто снимать статистику по IP в режиме бриджа или в режиме маршрутизатора настроить скрипты выполняемые при подключений пользователей и отключений (как правило файрвол правила разрешающие доступ ip и запрещающие) а статистику сваливает в виде файлов: ПРИМЕР /var /stargazer /user /login_name (папки по логинам пользователей) /2006 (год ) / 1 (месяц) /23 (число) /stat (сам файл статистики) Сырцы есть ... плюс народ написал разные дополнительные скрипты для анализа и веб интерфейс (то уже для нас лишнее) Значит поднял его на 486dx40 16ram и гонял через него локальный траффик в нескольких направлениях - не падает (ведет себя достойно) ... заработал он даже с дискеты :) Freesco+Stargazer правда место для статистике на дискете почти не осалось :) просто ФАКТ работы сам по себе мне стал интересен ... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
adron2 Опубликовано 31 марта, 2006 · Жалоба У старгайзера весь общет идет через raw сокеты. Те самые на которых пишут снифферы. То есть по сути он тупой сниффер. Никакой ip(tables/chains) не используется вообще. Написан на c++. Думаю проца точки хватит. У меня оно вращается на 233 целе на 300 юзверей и потоком 512 kbit/sec. Нагрузка максимум 5 % на проц. На счет файлов логов. В моей прошивке есть поддержка nfs. Если например написать helpfs то монтируется папка с заданного сервера. Можно по nfs и сливать статистику старгайзера. А нужно ли вообще все это ;) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба adron2, Еще и как нужно .... он маленький - но куча фунций (сам наверно знаешь каких) :) А на счет iptables и ipchains используються в качестве файрвола ... Может реализуешь для бета-тестирования ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dgreen Опубликовано 31 марта, 2006 · Жалоба Упс, сорри. Невнимательно просмотрел этот ваш старгазер. Мне показалось при первом рассмотрении, что он снеимает статистику с системного файервола. С raw - сокета - это, как я понимаю, через libpcap - иначе для Linux и для FreeBSD ьыли бы сильно различные методы обсчета. Тогда проблем никаких - libpcap у меня в прошивке собранна. Тогда действительно пригразит проц процентов на 5-10 максимум. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 31 марта, 2006 · Жалоба dgreen, Он не наш - ОН обший и под фрей работает тоже Ок :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
N.leiten Опубликовано 31 марта, 2006 · Жалоба Хм, в припципе присобачить Звездочет туда можно. Вот только отталкиваться потом надо будет все-таки от более-менее стандартных решений aka netflow. так хоть уверенность будет, что работать будет на любых машинках, точнее с любыми системами. В общем буду пробовать, а время покажет... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 1 апреля, 2006 · Жалоба netflow больше звезочета ... :( да и функций кроме как тупо считать нету ... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Shiva Опубликовано 1 апреля, 2006 · Жалоба Alexnik, да и функций кроме как тупо считать нету ... Он вообще-то для анализа делался. А так сделать нормальный SNMP и через него рулить. Например клиент = интерфейсу. Поднял - опустил. А так я за netflow :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 1 апреля, 2006 · Жалоба Не SNMP ... ну никак не подходит по ряду причин к сожалению .. 1) Оборудование большинство дешевого не поддерживает ... И демон опять таки большой (по крайней мере то что нашел) + КУЧУ библиотек нужно ... что для rtl8186 не приемлимо... 2) Сегодня проверял на двух почти одинаковых машинках (заболел немножко простудой ..вот и время появилось) netflow и stargazer .. почти байт-в байт :) а размер демона - что для rtl8186+8-16ram очень критично ... РАЗНЫЙ 3) Ну и за чем тогда netflow - ведь им же нельзя нормально управлять ... окромя сбора статистики -в этом ему плюс ...все продумано ... 4) Тему я затеял именно на счет управляемого демона со сбором статистики и выполнением демоном скриптов ... а так dgreen уже все настроил под ipcad и все работает ... ИМХО. SNMP- для нориального коллектора траффика не пойдет ... netflow и ipcad не имеют активного управления .... хотя тоже неплохо :) А старгейзер и как коллектор нормальный и управляемый к тому-же - остаеться только сбор статистики подогнать (не очень легкая задача) ... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dgreen Опубликовано 2 апреля, 2006 · Жалоба Alexnik, В любом случае запихивать полный коплект системы учета в точку нет смысла. А значит структура в виде "что-то снимающее трафик" на банке и "что-то типа коллесктора и обсчета всего этого" на центральном сервере статистики. Теперь надо определится - как ни странно - не с этими двумя частями, а с протоколом обмена. Можно взять что-то стандартное. Я их наю 2 - netflow и cisco accounting - по сути одно и то же, отличающееся лишь инициатором - netflow идет от клиента к серверу постоянно, а cisco accounting по запросу от сервера. Можно написать свое. Недостаток второго очевиден - даже описывать все не буду. Итого: если в качестве системы учета используется старгейзер (а вообще-то учитывая принятие за метод передачи netflow или cisco accounting - то точке ПОФИГУ, что у вас за коллектор стоит) - то проблема, в общем то, со стороны RTL8186 уже и решена. Работает и реально все снимается. Остается вопрос управления клиентами - т.е. поднять-опустить канал до клиента. А вот это предлагаю - опять же, не мудрствуюя лукаво - на стандартной связке pppoe + radius Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dgreen Опубликовано 2 апреля, 2006 · Жалоба непонятно немного написал - проблема решена со стороны ТОЧКИ - осталось переделать страгейзер под netflow или cisco accounting. :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 2 апреля, 2006 · Жалоба dgreen, Сам автор старгейзера - в новых версиях обещает совместимость с netflow (если я правильно все понял) .. Можно ждать новых релизов - а можно и самим поколупаться... Просто лично вся изюминка в этой затей - что поставил точку не в совей сети а у другово оператора для обслуживания (жилого дома 5-15клиентов) или фирма ... Никто больше выставленного лимита не скачает - и если у клиента кончились деньги отрубит ... я уже откомпилил сам бинарник - щас разбираюсь в файловой ... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 2 апреля, 2006 · Жалоба на стандартной связке pppoe + radius Да конечно хорошо ... можно и так ... Но в случае rtl8186+stargazer (чуточку там подправить можно для того чтобы не полные логи откладывал - а только считал и раз в 1час ложил фин. состояние клиента)+аккумулятор - вообще полностью автономная точка получаеться без внешних серверов (только если виснуть не будет) ... я эту идею планирую использовать не в своей сети ... т.е. там где у точки будет только белый IP и все а траффик к моим серверам будет стоить как мир.интернет :( Короче я сначала попробую старгейзер запихнуть и чтобы заработало .. а потом буду лезть с вопросами по netflow ... :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
N.leiten Опубликовано 2 апреля, 2006 · Жалоба Хм, я так понял, что мне уже можно и не колупаться со звездочетом? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Alexnik Опубликовано 3 апреля, 2006 · Жалоба N.leiten, Как это не колупаться :) У меня только скомпиленый бинарник - и то еще не правильный (про специфику файловой опять забыл) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
N.leiten Опубликовано 3 апреля, 2006 · Жалоба Ок, в аське уже списались, ожидаем железа :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...