rsst Опубликовано 12 декабря, 2006 · Жалоба Пишу билинг для небольшой домашней сеточки. Возникла такая проблемка... Инфу о трафике у меня собирает ipcad, соответственно аггрегирует его и засылает netflow на локальный порт. Там я его отлавливаю nfacctd и пытаюсь складывать в базу postgres. Дык вот что мне сказать или первому, или второму (ipcad или nfacctd), чтобы инфа о трафике сбрасывалась в базу постепенно, а не когда юзер скачает в один поток непрерывно фильм метров на 600 при ограничении 50??? Умаялся, уже неделю голову ломаю.... Помогите плз... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
EvilShadow Опубликовано 12 декабря, 2006 · Жалоба Поиграйтесь с таймаутами в настройках ипкада Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
balamutang Опубликовано 13 декабря, 2006 · Жалоба до сих пор думал что нетфлоу инфу только по окончании сессии отдает, вне зависимости от ее продолжительности и размера. или это не так? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
anclbob Опубликовано 13 декабря, 2006 · Жалоба у меня вообще без заморочек работает! настроил ipcad на ng* и сохраняю статистику в файлик (только входящий) и раз в час запускается скрипт , разносит всё в мускульную базу... вообщем биллинг получился на ура с модулями кассиру и прочей лабудой Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Forst Опубликовано 13 декабря, 2006 · Жалоба Я раньше тоже с NetFlow пробывал колбасится, сейчас вернулся к rsh. Получилось классно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
EvilShadow Опубликовано 13 декабря, 2006 · Жалоба до сих пор думал что нетфлоу инфу только по окончании сессии отдает, вне зависимости от ее продолжительности и размера. или это не так?Нет.В комментариях в конфиге ипкада написано, что делает параметр active timeout. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
rsst Опубликовано 13 декабря, 2006 · Жалоба Короче забил я на nfacctd... написал скриптик, который распарсивает и складывает инфу от ipcad в базу и в файл рядышком... В базе видимо хранить таки все не буду... Триггер на insert и процедурка, раскидывающая инфу о байтах в статическую табличку... Все так прикольненько получается :) Вся логика на постгресе. Морду можно писать на чем угодно :) товарищ пишет на пхп, я вот пишу под винду на делфях :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
EvilShadow Опубликовано 13 декабря, 2006 · Жалоба У меня нетфло собирается через fprobe-ulog, два коллектора - nnfc, который складывает все в мускульную рабочую базу и flow-capture, который делает бэкапы. Кста, с постгром nnfc тоже работать умеет. Перепробовал много сенсоров и коллекторов, но текущий вариант имхо лучший Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Илья Дмитриевич Опубликовано 13 декабря, 2006 · Жалоба Ксати существует ли нормальный веб интерфейс для статистики nfacctd а то чё то Flox не очень у меня захотел работать ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ldmitry Опубликовано 28 июля, 2010 (изменено) · Жалоба Друзья, Во-первых, нельзя получать данные по NetFlow ни равномерно, ни по завершении сессии, т.к. роутер должен держать свободными свои буфера, и освобождает их так быстро как возможно. К тому же, счетчик байт на поток только 32 бита. Так что на одну в понимании TCP сессию, вы можете получить многие сотни потоков в понятиях NetFlow. Как вы это обработаете уже не проблема роутера ;-) Во-вторых, БД MySQL в силу многих ограничений очень плохо работает с такими объемными данными которые вы можете получить по NetFlow (большие массивы не удаляются, при параллельных извлечениях и одновременно с этим "большой" вставке запросы на извлечение черезвычайно (встают практически) замедляются вне зависимости от извлекаемого объема). Вам обязательно надо предварительно обработать данные ещё до этой базы. Я имел опыт обработки NetFlow утилитами из пакета flow-tools, работал с тремя базами - MySQL, MS SQL и PostgreSQL, и скажу что для задач работы с сетевой статистикой, баз равных PostgreSQL просто нет. Например, оказалось быстрее загнать данные в PostgreSQL, там суммировать и выгрузить итоги в нужную мне базу, чем делать это утилитами или, тем более (упаси бог) грузить сырые данные в MS или (упаси бог дважды) в MySQL. Вот тут я написал всё на эту тему: http://ldmitry.blogspot.com/2010/07/netflow-3_12.html Изменено 28 июля, 2010 пользователем ldmitry Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
blackjack Опубликовано 28 июля, 2010 · Жалоба наткнулся тоже когдато на такие грабли вот http://forum.nodeny.com.ua/index.php?topic=180.0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ldmitry Опубликовано 28 июля, 2010 · Жалоба наткнулся тоже когдато на такие грабливот http://forum.nodeny.com.ua/index.php?topic=180.0 О, а я тоже использовал ipacct, ещё когда полоса была в пару мегабит всего. Для него 20 тыс. потоков в час уже неплохая нагрузка, к тому же он на роутере работает-то. А по нетфлоу с 400 Мегабитного потока получаем статистику и нет проблем, а там до 70 млн. потоков в час доходит.С ipacct-то я все данные в MySQL заносил и БД не была узким местом :-) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 29 июля, 2010 · Жалоба Друзья, Во-первых, нельзя получать данные по NetFlow ни равномерно, ни по завершении сессии, т.к. роутер должен держать свободными свои буфера, и освобождает их так быстро как возможно. К тому же, счетчик байт на поток только 32 бита. Так что на одну в понимании TCP сессию, вы можете получить многие сотни потоков в понятиях NetFlow. Как вы это обработаете уже не проблема роутера ;-) Во-вторых, БД MySQL в силу многих ограничений очень плохо работает с такими объемными данными которые вы можете получить по NetFlow (большие массивы не удаляются, при параллельных извлечениях и одновременно с этим "большой" вставке запросы на извлечение черезвычайно (встают практически) замедляются вне зависимости от извлекаемого объема). Вам обязательно надо предварительно обработать данные ещё до этой базы. Я имел опыт обработки NetFlow утилитами из пакета flow-tools, работал с тремя базами - MySQL, MS SQL и PostgreSQL, и скажу что для задач работы с сетевой статистикой, баз равных PostgreSQL просто нет. Например, оказалось быстрее загнать данные в PostgreSQL, там суммировать и выгрузить итоги в нужную мне базу, чем делать это утилитами или, тем более (упаси бог) грузить сырые данные в MS или (упаси бог дважды) в MySQL. Вот тут я написал всё на эту тему: http://ldmitry.blogspot.com/2010/07/netflow-3_12.html я против хранения этой информации в реляционной базе данных, в этих данные (netflow) какбы мало реляционности. иногда юзерам надо статистику куда столько денех ушло. ну и по закону, просто храню 3 года... машинка со стареньким процом, с несколькими 2-х терабайтными винтами, которая с каталиста получает копию потока с вланов всех аплинков и пишет на винт в формате flow-tools вот и будет висеть демон, который с помошью запуска flow-tools будет неспеша выгребать нужную информацию с винтов по разным критериям и хранить результат, пока либо абонент не заберёт в личном кабинете, либо девочка в офисе не распечатает и не отдаст за деньги. ПЫ.СЫ. трафик не считаю этой штуковиной. только для информации. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 29 июля, 2010 · Жалоба ну и кто не вкурсе, в сетях нет слова байт, там есть слово октет, и октет равен 8 битам. и как-то некорректно всё это, всмысле учет трафика, тем более по данным netflow. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
blackjack Опубликовано 29 июля, 2010 · Жалоба а по чем корректно? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 30 июля, 2010 · Жалоба а по чем корректно?ну на порту абонента.если хочется по зонам (выделить локальную сеть например) - по счетчикам фаерволла но я ни по тому ни по другому, а по третьему... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ldmitry Опубликовано 30 июля, 2010 (изменено) · Жалоба ну на порту абонента.если хочется по зонам (выделить локальную сеть например) - по счетчикам фаерволла Всяк корректно, я давно работаю в провайдерах и скажу, что по NetFlow корректно и, я бы сказал, стандартно. Главное, Вы можете дать клиенту детализацию, которая совпадет полностью с суммой.На порту, как вы правильно заметили по зонам не разделишь. Хотя это чаще всего не нужно, зато объемы данных заметно меньше. А вот насчет счетчиков фаервола - это для совсем маленьких объемов, т.к. вам надо промаршрутизировать трафик через машину со счетчиками. Есть методы, связанные с пассивным слушанием, но тогда вы не имеете контроля над не подсчитанным объемом. Ведь если свитч, который делает mirroring на ваш "слушающий" интерфейс, или сам интерфейс или ОС дропают такой трафик (из-за нехватки буферов на пиках и т.п.) вы ничего о нем не знаете. В отличие от NetFlow роутеров, которые отчитываются о дропнутых потоках в т.ч. В общем, последними двумя методами (счетчики фаервола и "слушание") пользуются небольшие провайдеры, а для крупных - NetFlow и данные с портов. Изменено 30 июля, 2010 пользователем ldmitry Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 30 июля, 2010 · Жалоба ... по NetFlow вполне корректно.я доверяю только кошке, а т.к. на бордере не кошка, то нетфлоу только для информации Главное, Вы можете дать клиенту детализацию, которая совпадет полностью с суммой.соглашусь, это самый главный плюс учета по данным нетфлоу,и туева туча минусов, например не выделять использовавшийся адрес другому абоненту сколько-то времени (этож надо учесть при выдаче динамического адреса), где-то держать информацию об отключеных абонентах и ловить netflow пакеты, считать октеты Хвремени Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 30 июля, 2010 (изменено) · Жалоба а по чем корректно?ну это всё технически, а есть ещё и экономическая часть (тоесть если делать совсем всё по закону, что не получается)это я про счет за услуги на основании чего? бита/байта/октета, а есть ли эталон этого бита/байте/октета... правда на это никто и не заморачивается тоесть безлимит рулит теперь и у нас и теперь для юриков... Изменено 30 июля, 2010 пользователем Giga-Byte Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
blackjack Опубликовано 31 июля, 2010 · Жалоба ну на порту абонента.если хочется по зонам (выделить локальную сеть например) - по счетчикам фаерволла я вот думаю что по счетчикам фаервола это некорректно, потому что если у васн допустим стоит фря, и через нее ходит 1000 абонентов в интернет и локалку, то не будете же вы держать 2000 правил ipfw count ? по зонам должен разбирать внешний обработчик, который знает какие сеть есть локалка, какие сети есть партнерские/пиринговые, ну и все что не попадает под критерии это интернет. Обработчик самописный скрипт, часть биллинга или еще какая нибудь примочка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
littlesavage Опубликовано 31 июля, 2010 · Жалоба Giga-Byte, эталона бита в секунду для безлимитов тоже нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Giga-Byte Опубликовано 2 августа, 2010 (изменено) · Жалоба Giga-Byte, эталона бита в секунду для безлимитов тоже нет.:)вово, я вообще предлагал сделать один тариф, "доступ в инет", можно модификацию: быстрый и нормальный :) "медленный" делать не стоит, чтобы не ронять АРПУ. Изменено 2 августа, 2010 пользователем Giga-Byte Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...