логи посещения сайтов

[Minkevich]

Привет!

Есть услуга, которую очень и очень часто запрашивают и готовы платить за неё деньги.

Это услуга - "расшифровка трафика - посещённые ресурсы". Лет 7 назад, когда компания только открывалась (уточняю - это Казахстан - здесь провайдинг отстаёт от России лет на 5-10) - маршрутизатор был на линуксе, пользователей не так много и всё было не проблемно. Весь http-траффик перегонялся на 3128 порт прокси, которая вела логи. Логи потом парсили и отдавали клиенту за некоторы деньги.

Теперь маршрутизаторы уже стоят Cisco 72хх... Есть и микротики...

Вопрос: как на микротике организовать сбор http логов и чем потом их парсить?

Может быть перенаправлять http траффик на какой-либо из портов соседнего, специально построенного прокси-сервера, чтобы тот вёл логи, парсил и использовался в качестве кеш-сервера?

Кто реализовывал?

[Ivan_83]

У нас один провайдер предоставляет такую услугу.

Вернее распечатку адрес:порт, по требованию.

Прокси поставить можно, но кеширование на диске наверно придётся отключить, оставить только в памяти, и то вопрос. Зависит от нагрузки.

Под сквид есть фри-са, лайтсквид, сарг ругают (фриса как раз позиционируется как замена сарга, которая быстро пашет).

 

Другой вариант: просто собирать всю статистику адрес:порт и далее фильтровать по 80 порту, а потом можно резолвить имена, для красочности и читабельности отчёта.

[Minkevich]

У нас один провайдер предоставляет такую услугу.

Вернее распечатку адрес:порт, по требованию.

Прокси поставить можно, но кеширование на диске наверно придётся отключить, оставить только в памяти, и то вопрос. Зависит от нагрузки.

Под сквид есть фри-са, лайтсквид, сарг ругают (фриса как раз позиционируется как замена сарга, которая быстро пашет).

 

Другой вариант: просто собирать всю статистику адрес:порт и далее фильтровать по 80 порту, а потом можно резолвить имена, для красочности и читабельности отчёта.

так. ну статистика у меня кажется собирается в биллинге. парсить - это к программерам уже...

а чем имена резолвить? их там ведь несколько сотен будет - как считаешь?

[Ivan_83]

Тогда и этот вопрос к программистам :)

Даже несколько тысяч не проблема. ДНСом резолвить :)

Я только под винду програмлю, пока.

[anix]

Тогда и этот вопрос к программистам :)

Даже несколько тысяч не проблема. ДНСом резолвить :)

Я только под винду програмлю, пока.

не всегда по резолву ip адреса можно что то понять, сейчас везде впс, хостинги и прочее.... поэтому вариант с детектированием на 7 уровне надежнее :) но накладнее

можно мирорить трафик к примеру в сервак с http://netams.com/doc/kb_url.html. а потом скриптом из базы по ip клиента выгребать урлы. в офисе пробовали (celeron 533/128M/20G) - работает, но винты емкие нужны, все пишется в мускул и рутера хватало на стату за 1,5-2 месяца, плохело от выгребания логов :)

[_J_]

Сам не пробовал, но вот сейчас покрутив микротик /ip web-proxy заметил фичу как transparent, так вот, если клиенту нужна детализация, то велкам в транспарент, ну а там каг обычно

transparent redirect -> squid -> access.log -> sarg -> парсим вывод на билинг клиенту -> услуга в массы -> деньги в кассы