Перейти к содержимому
Калькуляторы

логи посещения сайтов с использованием mikrotik

Привет!

Есть услуга, которую очень и очень часто запрашивают и готовы платить за неё деньги.

Это услуга - "расшифровка трафика - посещённые ресурсы". Лет 7 назад, когда компания только открывалась (уточняю - это Казахстан - здесь провайдинг отстаёт от России лет на 5-10) - маршрутизатор был на линуксе, пользователей не так много и всё было не проблемно. Весь http-траффик перегонялся на 3128 порт прокси, которая вела логи. Логи потом парсили и отдавали клиенту за некоторы деньги.

Теперь маршрутизаторы уже стоят Cisco 72хх... Есть и микротики...

Вопрос: как на микротике организовать сбор http логов и чем потом их парсить?

Может быть перенаправлять http траффик на какой-либо из портов соседнего, специально построенного прокси-сервера, чтобы тот вёл логи, парсил и использовался в качестве кеш-сервера?

Кто реализовывал?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас один провайдер предоставляет такую услугу.

Вернее распечатку адрес:порт, по требованию.

Прокси поставить можно, но кеширование на диске наверно придётся отключить, оставить только в памяти, и то вопрос. Зависит от нагрузки.

Под сквид есть фри-са, лайтсквид, сарг ругают (фриса как раз позиционируется как замена сарга, которая быстро пашет).

 

Другой вариант: просто собирать всю статистику адрес:порт и далее фильтровать по 80 порту, а потом можно резолвить имена, для красочности и читабельности отчёта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас один провайдер предоставляет такую услугу.

Вернее распечатку адрес:порт, по требованию.

Прокси поставить можно, но кеширование на диске наверно придётся отключить, оставить только в памяти, и то вопрос. Зависит от нагрузки.

Под сквид есть фри-са, лайтсквид, сарг ругают (фриса как раз позиционируется как замена сарга, которая быстро пашет).

 

Другой вариант: просто собирать всю статистику адрес:порт и далее фильтровать по 80 порту, а потом можно резолвить имена, для красочности и читабельности отчёта.

так. ну статистика у меня кажется собирается в биллинге. парсить - это к программерам уже...

а чем имена резолвить? их там ведь несколько сотен будет - как считаешь?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тогда и этот вопрос к программистам :)

Даже несколько тысяч не проблема. ДНСом резолвить :)

Я только под винду програмлю, пока.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тогда и этот вопрос к программистам :)

Даже несколько тысяч не проблема. ДНСом резолвить :)

Я только под винду програмлю, пока.

не всегда по резолву ip адреса можно что то понять, сейчас везде впс, хостинги и прочее.... поэтому вариант с детектированием на 7 уровне надежнее :) но накладнее

можно мирорить трафик к примеру в сервак с http://netams.com/doc/kb_url.html. а потом скриптом из базы по ip клиента выгребать урлы. в офисе пробовали (celeron 533/128M/20G) - работает, но винты емкие нужны, все пишется в мускул и рутера хватало на стату за 1,5-2 месяца, плохело от выгребания логов :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сам не пробовал, но вот сейчас покрутив микротик /ip web-proxy заметил фичу как transparent, так вот, если клиенту нужна детализация, то велкам в транспарент, ну а там каг обычно

transparent redirect -> squid -> access.log -> sarg -> парсим вывод на билинг клиенту -> услуга в массы -> деньги в кассы

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.