Negator Posted September 26, 2017 · Report post Вопрос. А чем сейчас трафик считают? Объемы не самые маленькие - около 5-6 гигабит? На данный момент трафик миррорится на узловой циске на TRAF-сервер. На сервере freebsd ipcad/ipacctd, который собирает трафик скриптами его раскладывает и пишет данные по трафику в базу биллинга. Проблема в том, что таких серверов уже 5 штук. Железо там далеко не новое, но и процы и сетевушки в полке. Данная схема была успешной лет 10 назад. С тех пор у нас и существует. Но по моему сейчас уже неактуальна. Есть желание как то оптимизировать сей процесс. Если считать напрямую на BRAS-ах (у нас тазики на freebsd) - растет нагрузка, тоже не вариант. У кого как организован учет трафика для абонентов? Как правильно? P.S. сюда просьба не приплетать Яровую с ее пакетами. Вопрос чисто практический. Share this post Link to post Share on other sites
snvoronkov Posted September 26, 2017 · Report post 4 минуты назад, Negator сказал: У кого как организован учет трафика для абонентов? Netflow/sflow/radius accounting. Со СКАТ-а, например, netflow весьма удобно собирать. Share this post Link to post Share on other sites
Negator Posted September 26, 2017 · Report post Спасибо, ставить СКАТ пока предлагать не нужно. Share this post Link to post Share on other sites
Negator Posted September 26, 2017 · Report post 5 часов назад, snvoronkov сказал: Netflow/sflow/radius accounting. И какая производительность? Share this post Link to post Share on other sites
YuryD Posted September 26, 2017 · Report post Если коллекторы под FreeBSD, наименее нагружный способ с ipwf tee, сливаемый во флоу локально , затем или по фтп по крону в учёт. ipcad кстати много не кушает Share this post Link to post Share on other sites
rdc Posted September 26, 2017 · Report post Я снимаю счётчики с портов доступа по snmp. Нагрузка, очевидно, практически нулевая. Share this post Link to post Share on other sites
alibek Posted September 26, 2017 · Report post Для чего считать? Если просто для общего представления, то SNMP достаточно. Если для учёта, то netflow или радиус-аккаунтинг. Правда не думал, что до сих пор остались тарифы с оплатой трафика. Share this post Link to post Share on other sites
Negator Posted September 26, 2017 · Report post Снимаем для учета, для отписок органам. Регулярно шлют кто куда и когда ходил. Реальников мало, NAT, поэтому трафик нужен. Тарифов по трафику конечно нет давно. Share this post Link to post Share on other sites
alibek Posted September 26, 2017 · Report post Кто и куда ходил - вроде бы это незаконно собирать. Это прерогатива спец.служб и правоохранительных органов. Share this post Link to post Share on other sites
snvoronkov Posted September 26, 2017 · Report post 3 часа назад, Negator сказал: И какая производительность? Производительность чего? Скат в одно лицо и трафик фильтрует, и флоу скидывает на сервак на фряке. Там софтина его считает по абонентам раз в 10 минут. Сбор флоу - константная нагрузка в 5% одного ядра старого оптерона, обсчет - секунд 10-20. Тоже на одном ядре. Share this post Link to post Share on other sites
rdc Posted September 26, 2017 · Report post У меня считается в первую очередь для общего представления и диагностики, конечно. Есть тарифы с лимитом трафика - например, 10 гиг в сутки, далее режется скорость до полуночи. Тарифов именно с оплатой трафика давно нет, конечно. А что до органов - я не сталкивался с запросами "куда ходил". Вообще ни разу за всю историю. Все запросы были из серии "вычислить по ипу". Share this post Link to post Share on other sites
ichthyandr Posted September 27, 2017 (edited) · Report post 22 часа назад, Negator сказал: del Edited September 27, 2017 by ichthyandr Share this post Link to post Share on other sites
YuryD Posted September 27, 2017 · Report post 21 час назад, Negator сказал: Снимаем для учета, для отписок органам. Регулярно шлют кто куда и когда ходил. Реальников мало, NAT, поэтому трафик нужен. Тарифов по трафику конечно нет давно. Для того, чтобы уменьшить объем и облегчить работу коллектора, я помощью правильного ipfw загоняю в tee только нужный трафик, тот что для разборок надобен, торренты и флуд клиентский - тоже не загоняю в коллектор. Сначала писал всё - ipcad съедал одно ядро полностью иногда. Причём для разборок иногда нужен только куда клиент ходил по http/https и когда. Ответы оттуда тоже можно писать, исключительно для разборок с клиентами, но в рабочее время проще trafshow онлайн посмотреть, чтобы сказать чем их канал выеден. 17 часов назад, rdc сказал: А что до органов - я не сталкивался с запросами "куда ходил". Вообще ни разу за всю историю. Все запросы были из серии "вычислить по ипу". По IP ната ? А так - 50% запросов от прочих правоохранителей - именно кто и когда посещал какой-либо ресурс, банковский там или майлвру. Ну редко - форум какой-либо. Остальные - типа тут подземный стук, сообщите, кто стучал... Или вот серийный номер спёртого ноутбука - не светился ли он у вас :) Share this post Link to post Share on other sites
Negator Posted September 27, 2017 · Report post Запросы в основном вида кто посещал мейл.ру тогда то. Ну и IP. А у нас там NAT. Вот и приходится лазить в трафик и сообщать органам информацию. Ну и посмотреть был ли трафик у абонента и сколько тоже бывает полезно. Share this post Link to post Share on other sites
YuryD Posted September 28, 2017 · Report post 14 часов назад, Negator сказал: Запросы в основном вида кто посещал мейл.ру тогда то. Ну и IP. А у нас там NAT. Вот и приходится лазить в трафик и сообщать органам информацию. Ну и посмотреть был ли трафик у абонента и сколько тоже бывает полезно. Стараюсь вежливо посылать лесом, ибо майлвру в данный промежуток времени за натом посещали сотни, и по https. И нормальная отговорка - в каком часовом поясе запрос ? После нескольких итераций запросы становятся внятнее, в стиле а есть ли у вас некта, в таком-то физическом адресе, и если есть, был ли он в инете в заданное время, и что посещал. фскнщикам не отказываю, всегда пытаюсь им помочь. Кашники как-то ушли в тень, осталась прокуратура и прочие по экономическим нарушениям. Share this post Link to post Share on other sites
Negator Posted September 28, 2017 · Report post Да у нас все то же самое. Разве что за НАТ-ом не сотни, а десятки. Запросы кривые, у того же майлру адресов обычно много, посылаю уточнять, регулярно отказываю. Вот и думаю - есть ли вообще смысл собирать этот трафик? Может с порта доступа собирать количество? Исключительно для статистики и разборок с абонентами. Share this post Link to post Share on other sites
Negator Posted October 4, 2017 · Report post В 27.09.2017 в 16:49, YuryD сказал: Для того, чтобы уменьшить объем и облегчить работу коллектора, я помощью правильного ipfw загоняю в tee только нужный трафик, тот что для разборок надобен, торренты и флуд клиентский - тоже не загоняю в коллектор. Сначала писал всё - ipcad съедал одно ядро полностью иногда. Причём для разборок иногда нужен только куда клиент ходил по http/https и когда. Ответы оттуда тоже можно писать, исключительно для разборок с клиентами, но в рабочее время проще trafshow онлайн посмотреть, чтобы сказать чем их канал выеден. А не поделитесь какой трафик нужный? Есть желание миррорить на цисках только его и загонять на сервак подсчета трафика. И вообще - сугубо технически у нас проблемы нет - ставь сколько нужно серверов, делай миррор трафика и все получится, проблема сугубо экономическая - трафика много, миррорится и входяший и исходящий, вешать несколько серверов тупо дорого в установке и содержании. Хотя по закону должны вроде сохранять инфу кто куда когда ходил. Share this post Link to post Share on other sites
YuryD Posted October 4, 2017 · Report post 5 минут назад, Negator сказал: Есть желание миррорить на цисках только его и загонять на сервак подсчета трафика. Мои киски миррорят порты целиком :( Как прикрутить фильтры к flow-tools не пробовал. Share this post Link to post Share on other sites
nixx Posted October 11, 2017 (edited) · Report post В 04.10.2017 в 13:49, Negator сказал: И вообще - сугубо технически у нас проблемы нет - ставь сколько нужно серверов, делай миррор трафика и все получится, проблема сугубо экономическая - трафика много, миррорится и входяший и исходящий, вешать несколько серверов тупо дорого в установке и содержании. я вам еще более дорогой вариант скажу, но вдруг у вас эта железка завалялась )) cisco sce8000, сливает инфу о трафике хоть в нетфлоу, хоть в собственном формате RDR, причем у этого формата огромное преимущество перед нетфлоу - данные льются уже сагрегированные (причем не только "ip-port-bytes", но и URL и еще куча ненужностей). ~5 лет назад с обработкой RDR с трафика в 3-4 гигабита (или даже больше) без проблем справлялся древний даже по тем временам сервер. сейчас принимаемую с SCE инфу о 1,5+ гбитах трафика нормально лопатит скромная виртуалка с двумя ядрами от E5620. Edited October 11, 2017 by nixx Share this post Link to post Share on other sites
