umike Posted July 24, 2007 Posted July 24, 2007 Предположим есть некоторая сеть с x00 слабоактивными пользователями, ходящими в мир через BSD с NAT (ipnat). Пик загрузки единицы мегабит. Хочется собрать статистику по протоколам выше третьего уровня - сколько чего в процентном отношении было потреблено. Например http 70%, наиболее популярные ресурсы www.yandex.ru, www.google.com, www.mail.ru и т.д. Далее интересна статистика еще более подробного вида "http 70% из них 15% html, 40% img" и т.д. Сходу придумывается только что-то вроде любым способом вести логи всего идущего, считать, агрегировать по портам/протоколам - даст примерную картину разделения по протоколам. Хотя может быть немало неясностей. http в принципе можно завернуть на прозрачную проксю и каким-либо анализатором наподобие того-же webalizer'а потом распарсить логи. Еще придумывается что-то типа от'mirror'ить трафик куда-либо и там сделать tcpdump -s0 в файл и потом какому-нибудь анализатору впихнуть. Интервалы времени которые интересно проанализировать длительностью от часа до нескольких часов. Такие вещи вообще как-то доступными софтовыми способами возможно реализовать или это бред моей воспаленной невыспавшейся фантазии? :))) Вставить ник Quote
andriko Posted July 24, 2007 Posted July 24, 2007 (edited) /usr/ports/net-mgmt/flow-tools/ /usr/ports/net-mgmt/flowviewer/ man ng_netflow или tcpdump -w file за день и машинка с 4Г озу с вайршарком Edited July 24, 2007 by andriko Вставить ник Quote
abdula123 Posted July 24, 2007 Posted July 24, 2007 (edited) /usr/ports/net-mgmt/flow-tools//usr/ports/net-mgmt/flowviewer/ man ng_netflow netflow он и есть netflow - сессия, протокол, источник\приемник, кол-во пакетов, кол-во байт. и ВСЁ! а как это счастье заставить анализировать протоколы выше TCP? вопрос "сколько юзеры скачали html, сколько картинок и сколько флэша" - не раскрыт. единственное что приходит в голову - перенаправить юзеров на прозрачный сквид и потом скриптами рыться в его логах. но это только для http. процент порно в p2p трафике так отследить не получится :) Edited July 24, 2007 by abdula123 Вставить ник Quote
vIv Posted July 24, 2007 Posted July 24, 2007 (edited) http://www.sandvine.com/solutions/p2p_policy_mngmt.asp File-sharing traffic today continues to dominate service provider networks despite earlier suggestions that Peer-to-Peer (P2P) traffic would diminish with emerging online services and ongoing industry pressure. This popular technology has now become a mass-market application and remains a key driver for broadband adoption in today’s competitive market. In fact, recent Sandvine studies have confirmed that it now takes almost 20% of top users to account for less than 80% of this Internet traffic – this is a significant shift from previous studies, reinforcing that file-sharing usage has become much more evenly balanced among the subscriber base. Edited July 24, 2007 by vIv Вставить ник Quote
umike Posted July 24, 2007 Author Posted July 24, 2007 (edited) vIv 1. p2p через NAT как-то не очень хорошо работает 2. исходим из предположения что действие происходит в государстве Россия а не Москва т.е. тарификация помегабайтная или есть довольно ограниченный флет abdula123 сколько там порно никого не волнует. Ситуация мной обрисована конечно более "академическая" нежели реальная, тем не менее если в разделе "У нага" обсуждаются степени мультиплексирования, а некоторые операторы не гнушаются заворачивать 80 порт на проксю или выписывать в шейперах кренделя устраивая обрезание качальщикам и блокировки тарелочникам, то почему бы размышляя над плюсами и минусами различных подходов не размышлять конкретно но в масштабах "тестов" или сегментов? :) Edited July 24, 2007 by umike Вставить ник Quote
deep_admin Posted July 24, 2007 Posted July 24, 2007 ну http сессию еще реально собрать в файлы, а вот остальные протоколы ... может достаточно статистики по well known services ? Вставить ник Quote
umike Posted July 24, 2007 Author Posted July 24, 2007 может быть и достаточно Смотря что она покажет :) Вставить ник Quote
abdula123 Posted July 24, 2007 Posted July 24, 2007 (edited) краем уха слышал, что у наших (не российских :) ) особистов есть мега-девайс с мега-софтом, который в отзеркаленом на него трафике восстанавливает tcp-сессиии с http, smtp\pop3\imap и icq, из них собирает и хранит N дней по каждому пользователю - копию каждого открытого им сайта \ письма \ чата. и самое главное - выдает это добро для просмотра в красивой и удобной оболочке. с https, конечно облом, но не так уж его и много. жалкое подобие мега-софта можно написать самому. python + libpcap + libnids. сессии сохраняются каждая в своем файле - раскиданые по папкам c адресами пользователей :) как показывает практика - рыться в куче таких файлов надоедает ОЧЕНЬ быстро :) Edited July 24, 2007 by abdula123 Вставить ник Quote
andriko Posted July 24, 2007 Posted July 24, 2007 (edited) так чем tcpdump -w file за день и машинка с 4Г озу с вайршарком не устраивает? Мона еще -s0 добавить. Чем и сколько потом рыться в файлике, в целом, дело вкуса. заниматься таким на постоянной основе все равно скоро надоест, так как пользы мало, ну, если только Вы не из соотв. органов с соотв. финансированием, что само по себе снимает первоначальный вопрос... Edited July 24, 2007 by andriko Вставить ник Quote
puh Posted July 24, 2007 Posted July 24, 2007 vIv а сколько он стоит? :) а так железки такие есть, тот же цискин SCE - мало того, что всю возможную статистику собирает, так ещё и профилирует трафик... можно на PacketShaper от Packeteer посмотреть - там маленькие железки на несколько мегабит есть. Только опять же, это совсем не софтовое и совсем не бесплатное решение. Вставить ник Quote
umike Posted July 24, 2007 Author Posted July 24, 2007 нет, постоянный в динамике анализ не требуется. Хотя в принципе вот так доступно и красиво http://manageengine.adventnet.com/products.../screen0014.jpg можно сделать при помощи netflow. Вставить ник Quote
YuryD Posted July 25, 2007 Posted July 25, 2007 ethereal чем плох ? tcpdumpите, затем анализируйте, декодеров пакетов там ну очень много Вставить ник Quote
extremist Posted July 25, 2007 Posted July 25, 2007 Снифферы дадут информацию избыточную и поэтому неудобную для парсинга и осмысления. Имхо по информативности/ресурсоемкости netflow + репорт-генератор (Sawmill или Netflow Analyzer) очень хороши. Ведь не бывает же так, что нужно знать все, а на протоколах, которые нужно проанализировать подробнее, можно уже поставить прокси (если это почта, фтп или веб) или использовать уже сниффер. Вставить ник Quote
umike Posted July 25, 2007 Author Posted July 25, 2007 ethereal плох тем, что он действительно весьма избыточен неудобен для осмысления. Процентное соотношение им анализировать весьма неудобно. Для сведения: tcpdump -s 68 -ni xxx -w dumpfile с тестового канала по которому течет ~7мбит за 10 минут занимает ~100метров. На двухядерной машине 3.4GHz с 2Gb DDR2 вайршарк открывает его ~3 минуты и съедает все 2Gb )) Впрочем простейшее построение IO Graphs по фильтрам типа http/ftp-data/smtp показывает вполне внятную картину по приложенной тестовой загрузке )) Вставить ник Quote
edo Posted July 25, 2007 Posted July 25, 2007 если есть время - можно взять skynet (или что похожее) и сделать на его основе. искать можно начать с http://www.gs.ru/info/si/grab.html (хотя страничка устарела - но полезная информация там есть). хотя блажь всё это имхо ;) Вставить ник Quote
abdula123 Posted July 25, 2007 Posted July 25, 2007 если есть время - можно взять skynet (или что похожее) и сделать на его основе.искать можно начать с http://www.gs.ru/info/si/grab.html (хотя страничка устарела - но полезная информация там есть). хотя блажь всё это имхо ;) если уж на то пошло - есть софтинка GiveMeTOO - http://givemetoo.com/ предназначена именно для перехвата качаемых юзерами файлов. только под винды. как отнесется к отзеркаливанию на нее пары мегабит трафика - хз. :) Вставить ник Quote
Sirco Posted July 25, 2007 Posted July 25, 2007 програмка iftop хорошо показывет моментальный трафик пользователей Вся проблема данного топика - как показать результаты .... Вставить ник Quote
andriko Posted July 25, 2007 Posted July 25, 2007 ethereal плох тем, что он действительно весьма избыточен неудобен для осмысления. Процентное соотношение им анализировать весьма неудобно. Для сведения: tcpdump -s 68 -ni xxx -w dumpfile с тестового канала по которому течет ~7мбит за 10 минут занимает ~100метров. На двухядерной машине 3.4GHz с 2Gb DDR2 вайршарк открывает его ~3 минуты и съедает все 2Gb )) Впрочем простейшее построение IO Graphs по фильтрам типа http/ftp-data/smtp показывает вполне внятную картину по приложенной тестовой загрузке )) хмм, я игрался с "паругиговыми" файликами... pflog.0 можно для начала все лишнее тем же тспидампом отрубить в другой файлик Вставить ник Quote
sirmax Posted July 25, 2007 Posted July 25, 2007 а некоторые операторы не гнушаются заворачивать 80 порт на проксю или выписывать в шейперах кренделяТа то они балуються ) А в рамках задачи - в сторону iptables+layer7 никто не смотрел? Имхо для простого случяя подойдет... Вставить ник Quote
abdula123 Posted July 26, 2007 Posted July 26, 2007 (edited) базу netflow, к примеру, за месяц (именно столько у нас детализация по трафику хранится) вполне можно сгруппировать по dst-адресам и протоколам\портам объему данных и кол-ву сессий. как для каждого более-менее активного юзера, так и для всей кучи целиком... получится вполне себе картинка - чем пользуются и куда ходят основная масса юзеров. еще можно наложить на это дело список днс-запросов\ответов для каждого пользователя (если озадачиться его ведением - сейчас он ничем нигде не ведется) - картинка получится немного яснее :) а вот зачем они туда ходят и что там делают - увы узнать не получится. Edited July 26, 2007 by abdula123 Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.