Вопрос о Squid

[Денис Матюнин]

Проблема:

Нужно просмотреть логи squid-а за пару месяцев последних.

Размер файла 6 с лишним гигов. (лог сквида)

 

1. Можно ли его под виндой разобрать и посмотреть детально?

2. Если можно то какой софтиной? (название)

3. Если нельзя выше сказанное проделать, то как сделать под nix?

4. Опять же какой софт под nix?

 

Спасибо заранее.

[ntil]

копай в сторону sarg.

[Денис Матюнин]

Ну а под виндой есть какой-нибудь анализатор? Ну или хотя бы существует?

[ntil]

Ну а под виндой есть какой-нибудь анализатор? Ну или хотя бы существует?

Существует. Помоему и сарг под винь уже давно портанули.

[user145]

Internet Access Monitor хотя типа и за деньги

но 6 гиг лога :) главное шоб виндавоз под этой прогой не стал в свою любимую позу

[Towerman]

Проблема:

Нужно просмотреть логи squid-а за пару месяцев последних.

Размер файла 6 с лишним гигов. (лог сквида)

 

1. Можно ли его под виндой разобрать и посмотреть детально?

2. Если можно то какой софтиной? (название)

3. Если нельзя выше сказанное проделать, то как сделать под nix?

4. Опять же какой софт под nix?

 

Спасибо заранее.

 

Если знаете какие адреса через squid "ходили", то можно делать выборку по этим адресам и кидать в другой файл.

Типа: grep ip_адрес лог-файл >новый файл.

[Guest]

Запустил Internet Access Monitor 2.7d... часа три назад... :( думаю все таки "встанет"...

[Денис Матюнин]

Как это и не странно, но винда выдержала(!) испытание, логи изучены... кого нужно будем наказывать... за 127 Гигов трафика :)))) Всего за 6 часов был сделан анализ выше упомянутой софтиной...

 

Всем спасибо

[Ombu]

Года четыре тому назад, когда на контору был взят канал 128 кбит, было нарисовано на перле два тупых корявых скрипта, которые строят списки загрузки сквида. Строится в разрезе по урлам и в разрезе по клиентам. Для того и для другого разреза отдельные сортированные списки по:

 

-- полному траффику

-- количеству запросов

-- среднему размеру объекта

-- количеству "denied by acl"

 

Вот как выглядит недельный список в разрезе по сайтам и по траффику

 

---down---- ---cache-----%%-- --req-- ---Site---------------------------

9506908721     1845433 0.00    3463 www.pinnaclesys.com

5557511445             0.00  208376 music.greenwater.ru

3889808899             0.00     366 dl6.rapidshare.de

2243976561             0.00      61 dl7.rapidshare.de

1674845463             0.00  356057 downloads.winsov.ru

1373331966             0.00    6113 ftp4.ttdown.com

1218393290       58621 0.00   53318 www.arista.com.ua

1188710111             0.00   25559 24.144.94.174

1026236001     5078372 0.00    1525 video.net.ua

 

А так - по клиентам:

 

---down---- ---cache-----%%-- --req-- ---Site---------------------------

2900633791    29754203 0.01  128777 10.6.33.102

1795566466      717185 0.00    1288 10.6.133.101

1615510285     8498309 0.00   11842 10.7.77.77

1134296057    49785721 0.04   31371 10.6.77.2

1014669060    38288937 0.03  139903 10.1.4.3

 670015586     9231924 0.01    1612 10.6.83.12

 569225034     1190276 0.00    5204 10.6.77.10

 514724527     1238078 0.00   29791 10.6.11.1

 447088043    20271658 0.04   79048 10.2.77.33

 

Поскольку контора - универ, то режутся нещадно чаты-варезы-гамезы-мувизы-аудизы-порево. Ленивый просмотр топ-20 в каждом из списков раз в неделю дает 95% фильтрацию. Каждый из видов "крамольного" траффика имеет свои характерные признаки. Чаты и онлайн-гамезы - по кол-ву запросов, варезы и адвертизы - по среднему размеру объекта. Была даже мысль написать полный анализер, который выдавал бы 20-50 готовых кандидатов на фильтрование, но за 4 года так лень и не одолел...

 

Сейчас канал мегабитный, и в день откладывается около 200м логов. Суточный лог обрабатывается за 10-15 секунд. Прогрессия от периода - линейная.

[Egor Komov]

для анализа чего угодно хорошо подходит Crystal Report 9-10-11

вот им можно что угодна и в каком угодно разрезе делать

[Kuzmich]

Вы таки будете смеяться, но я это делал Microsoft Access'ом....

[terapeut]

Ну а под виндой есть какой-нибудь анализатор? Ну или хотя бы существует?

 

http://www.webspy.com/products/giga/analyzergiga.aspx

 

феерическая весч! лечилово в инетах есть давно уже - люди пользуются.

 

 

Знает большое количество форматов, в том числе SQUID

 

Позволяет очень наглядно и не побоюсь этого слова, гениально просто (в смысле юзабилити) формировать отчёты по совокупности критериев из последовательности фильтров -- буквально несколькими кликами мышки. А также "ползать" по цепочке этих фильтров взад-вперёд и менять их на лету. Сразу становится ясна вся картина -- что где когда и как происходило.

 

Может составлять красивые отчёты "для начальства" с картинками, табличками и диаграммами, которые потом (в html) или в процессе создания можно легко поправить =) отчёты имеют вид очень внушительный и презентабельный - не какие-нибудь там текстовые таблички с цифрами.

 

Может создавать отчёты по заданным правилам по шедулеру, например раз в час, забирая логи и выдавая HTML, который доступен пользователю с сайта.

 

Повторюсь -- ВСЁ это делается ОЧЕНЬ просто, буквально несколькими кликами - не нужно ничего программировать или читать длинные доки по внутреннему "языку разметки". Просто мечта админа-имбецила или просто человека, ценящего своё время.

 

Одно время долго и продуктивно его использовал, да и сейчас иногда бывает экономит день-другой работы =)))

 

хинт:

- создаём "Storage"

- импортируем логи, не убирая галочку типа "проанализировать всё"

- При необходимости - "Run Analysis"

- основная работа идёт с уже (однократно) обработанными (возможно минут 20, в зависимости от объёма) данными в разделе "Summaries"

- Последовательность фильтров выбирается и выстраивается в самой верхней строчке.

[Towerman]

Может быть кто-нибудь подскажет как отслеживать использование кэша Squid? Хочу знать какой у него размер на текущий момент и что в кэше на данный же момент хранится.