Статистика

[Forst]

У кого-нить есть скриптики? Или ссылки на них. Написал свои но времени нехватает, чтобы до ума довести. Если кому интересно, то могу выложить их. (свои скрипты)

[xenomorph]

У меня вроде гдето была программа по обрпботки статистики (дано писал, може похерилась уже)

Если интерестно пиши на sdkikilo@mail.ru. Вышлю исходник и объясню как работает.

[Forst]

Пишу!

 

И вообще интересно какую информацию должен давать билинг народу?

[Forst]

Ну ладно, вроде разобрался статистика ложиться в SQL скриптик небольшой.

 

Но вот тут появился такой вопрос: за час с меня одного набирается около 1000 записей в базе. сетка у меня небольшая. поэтому со всей сетки я думаю в сутки будет около 30.000 записей. MySQL непомрёт от этого? Точней сказать помереть не помрёт, просто запрос на вывод стаистики не будет-ли выполняться по несколько мин.??

[Kirya]

Какой сервак, какая версия Mysql ?

[xenomorph]

Forst,

Глупости вы говорите, такого небывает.:) Даже в таблици весом в несколько гигов запрос выпалняется ну максимум секунду. Да и вообще, за чем запихивать в mysql полность лог аккаунтига, не проще ли складывать в mysql обработанные данные, и база рости не будет как грибы после дождя.

 

Kirya,

Да и версия MySQL тут непричём.:)

[Kirya]

Forst,

Глупости вы говорите, такого небывает.:) Даже в таблици весом в несколько гигов запрос выпалняется ну максимум секунду. Да и вообще, за чем запихивать в mysql полность лог аккаунтига, не проще ли складывать в mysql обработанные данные, и база рости не будет как грибы после дождя.

 

Kirya,

Да и версия MySQL тут непричём.:)

 

Спецификации железа сервера, где select по таблице в несколько гигов с данными по трафику выполняется за несколько секунд в студию !

[xenomorph]

Kirya,

 

#cat /proc/cpuinfo

processor       : 0

vendor_id       : GenuineIntel

cpu family      : 15

model           : 1

model name      : Intel(R) Xeon(TM) CPU 1.40GHz

stepping        : 1

cpu MHz         : 1394.170

cache size      : 256 KB

Physical processor ID   : 0

Number of siblings      : 2

fdiv_bug        : no

hlt_bug         : no

f00f_bug        : no

coma_bug        : no

fpu             : yes

fpu_exception   : yes

cpuid level     : 2

wp              : yes

flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm

bogomips        : 2761.63



processor       : 1

vendor_id       : GenuineIntel

cpu family      : 15

model           : 1

model name      : Intel(R) Xeon(TM) CPU 1.40GHz

stepping        : 1

cpu MHz         : 1394.170

cache size      : 256 KB

Physical processor ID   : 134549472

Number of siblings      : 2

fdiv_bug        : no

hlt_bug         : no

f00f_bug        : no

coma_bug        : no

fpu             : yes

fpu_exception   : yes

cpuid level     : 2

wp              : yes

flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm

bogomips        : 2786.93



processor       : 2

vendor_id       : GenuineIntel

cpu family      : 15

model           : 1

model name      : Intel(R) Xeon(TM) CPU 1.40GHz

stepping        : 1

cpu MHz         : 1394.170

cache size      : 256 KB

Physical processor ID   : 67108864

Number of siblings      : 2

fdiv_bug        : no

hlt_bug         : no

f00f_bug        : no

coma_bug        : no

fpu             : yes

fpu_exception   : yes

cpuid level     : 2

wp              : yes

flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm

bogomips        : 2786.93



processor       : 3

vendor_id       : GenuineIntel

cpu family      : 15

model           : 1

model name      : Intel(R) Xeon(TM) CPU 1.40GHz

stepping        : 1

cpu MHz         : 1394.170

cache size      : 256 KB

Physical processor ID   : 1107461400

Number of siblings      : 2

fdiv_bug        : no

hlt_bug         : no

f00f_bug        : no

coma_bug        : no

fpu             : yes

fpu_exception   : yes

cpuid level     : 2

wp              : yes

flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm

bogomips        : 2786.93

[Kirya]

Я рад за вас. :)

Но хотелось бы увидеть данные по кол-ву памяти и дисковой подсистеме.

На объеме таблицы в несколько гиг они будут играть куда большую роль, чем 4 Xeona.

[xenomorph]

Kirya,

а присём тут дисковая извините дисковая подсистема (оперативки 2 гига)?

глупости вы говорите товарисч, дисковая подсистема неиграетникакой роли если это SCSI

А вот про оперативку согласан.

[Kirya]

xenomorph, Цитирую

Даже в таблици весом в несколько гигов запрос выпалняется ну максимум секунду

 

Возьмем к примеру табличку размером в 3 гига, 2 гб не несколько, а 3 уже можно с натяжкой назвать "несколькими".

Предположим что, 2 из них положились в кеш в оперативке.

Остался 1 гб который, так или иначе надо считать с диска в общем случае, изврат с индексами не рассматриваем.

В итоге получается, что диск может выдавать 1 гб данных в секунду.

Марку такого SCSI винта в студию, так как обычные производители в данном случае просто отдыхают :).

[xenomorph]

Kirya,

влом копатся в /proc

 

Возьмем к примеру табличку размером в 3 гига, 2 гб не несколько, а 3 уже можно с натяжкой назвать "несколькими".

Предположим что, 2 из них положились в кеш в оперативке.

 

товарисч не путайте INSERT c SELECT

INSERT ничего в памяать не помещает:), да и вопрос с SELECT просто решается ибо нефиг делать

SELECT * FROM table

надо делать запрос по столбцам :)

мануалы и проблем не будет

[Forst]

Ну ладно, с этим разобрался со всем.

 

Возник другой вопрос. IPcad пишет информацию типа Src IP, Dst IP.

А есть ли какая-нибудь софтинка которая выдовала бы не на какой IP пошёл человек из сети, а на какой хост.

т.е. чтоб пользователь в статистике видел не 204.46.130.108, а microsoft.com например.

squid пользовать неохото. есть альтернативы?

[ToSHiC]

Forst, а если named virtual hosting на сервере используется ? тут надо сореджимое пакетов проверять...

[Forst]

С этим должен помочь ulog наверно?

[Forst]

Люди, а как вы решаете спорные вопросы с клиентом вот приходит какой-нить и говорит, а от куда у мя лишний гигабайт на счету а ты ему хрясь ссылочку в нос типа вот от сюда-то скачал вот это и усё.

 

А сейчас, я могу ему показать только ИП, откуда это было скачано, но проблема в том, что на одном ИП адресе может быть несколько хостов, да и некрасиво это как-то показывать ИП, а не хост!

[ShumBor]

У нас статистика за месяц только по ip. Но если обратились сразу как заметили то есть шанс что в логах сквида что-то осталось (храним 2 недели) + еще статистика входов от радиуса (логин+ip+mac) За все время разборки по этому поводу были 2 раза. 1 раз у клиента уперли пароль соседи. 2 раз были мы удивлены как за 4 дня было слито 10 гиг (у нас просто это редкость) ну и давай звонить клиенту. Тут уж выручила статистика по ip. Порнуху у ник кто-то там качать начал :) Хотя по мне больше бы таких клиентов :)