[nuclearcat]

И каков срок окупаемости в вашем случае? Ну так, чисто поржать :-)

1. Если система кэширования будет отдавать с кэша не более 23% трафика - год

2. Если система кэширования будет отдавать с кэша не более 15% трафика - 1,5/2 года

Второй вариант более правдоподобный, ибо в сказки не верим.

Примечательно что если (а это точно) стоимость аплинков будет падать - период окупаемости будет еще выше.

В моем случае я направляю в такой кеш только 80-й порт (PBR), и все чудненько. Тестил неделю Bluecoat - 50% кеша вылетает. Но! Это арабы.

[ThreeDHead]

В моем случае я направляю в такой кеш только 80-й порт (PBR), и все чудненько. Тестил неделю Bluecoat - 50% кеша вылетает.

Вы мне подскажите суть системы Blue Coat - это тупо http-прокси или некий аналог от PeerApp?

 

Но! Это арабы.

А разве их тянет к порнушке браузингу интернета больше чем к убийственным гонкам на авто? :)

[nuclearcat]

Вы мне подскажите суть системы Blue Coat - это тупо http-прокси или некий аналог от PeerApp?

Я его пользую там где он наиболее эффективен - http proxy. Изначально был непрозрачным, но вот на днях одному из субпровайдеров буду ставить в прозрачном режиме.

 

А разве их тянет к порнушке браузингу интернета больше чем к убийственным гонкам на авто? :)

Все успевают.

Я вот такое

часто наблюдаю

[ThreeDHead]

Я его пользую там где он наиболее эффективен - http proxy. Изначально был непрозрачным, но вот на днях одному из субпровайдеров буду ставить в прозрачном режиме.

Т.е. это тупо http прокси-сервер?

[nuclearcat]

Вроде как да

[Hawk128]

На каком трафике обычно затыкается squid?

И можно ли его заставить работать на гигабитных каналах? Как?

Может есть другие похожие средства?

[nuclearcat]

Зависит от железа

Похожие - или клоны или намного хуже.

[nuclearcat]

Несколько дней работы блюкота.

[Hawk128]

Я попробовал squid в прозрачном режиме, более менее держит челок 150-250. Больше даешь - через несколько минут его стопорит, хотя нагрузка в ТОПе 20-30%. Думаю проблема с кешом на HDD. Хотя хз в чем дело, непонятно. Машинка 2 х Xeon 5570, 12G ОЗУ.

[st_re]

2 nuclearcat А что там что ? Синее влет из инета, зеленое вылет в локалку ? Что то слишком круто, процентов 40 точно. Все пошли смотреть один и тот же фильм ? или это тупо ин-аут после девайса ? Так 26, 27 это выходные. народ просто больше скачал.

[[anp/hsw]]

Cache information for squid:

Hits as % of all requests: 5min: 31.6%, 60min: 33.3%

Hits as % of bytes sent: 5min: 2.7%, 60min: 3.4%

Memory hits as % of hit requests: 5min: 5.3%, 60min: 6.3%

Disk hits as % of hit requests: 5min: 44.2%, 60min: 49.2%

Storage Swap size: 221184236 KB

Storage Swap capacity: 90.0% used, 10.0% free

Storage Mem size: 260416 KB

Storage Mem capacity: 99.9% used, 0.1% free

Mean Object Size: 24.39 KB

Requests given to unlinkd: 0

 

supermicro/corei7/2x150g SAS

онлайн на этом сервере 600-700 человек, несколько сот ACL по regex (в основном вирус и фишинг).

а вот http/1.1 да, появился полноценно только в squid 3.2, но надеюсь я смогу заапдейтиться до массового перехода на него.

 

про 6ТБ кэша не знаю. 30г кэша - 20% hit rate, 200г - 33%, думаю на 1тб можно смело остановиться, больше 50% не возьмет, если не наглеть с кэшированием динамики и прочим.

[st_re]

только желающим поэкономить на трафике нужно обратить внимание не на

Hits as % of all requests: 5min: 31.6%, 60min: 33.3%

а на

Hits as % of bytes sent: 5min: 2.7%, 60min: 3.4%

 

кешируется миллион копеечных картинок, а не тяжелый контент.

[[anp/hsw]]

А как вы предлагаете экономить трафик, если кругом контент динамический?

А вот общую латентность при браузинге squid снижает на пятерочку, т.к. современные страницы просто облеплены статической мелочью.

 

Ах да, сколько процентов от общего трафика у вас занимает http? 5? 10? 15? 20?

Даже если в итоге у вас выйдет 50% экономия трафика, то в общей массе будет не больше 10%. Но "честными методами" этого не добиться. давайте пофлеймим насчет переписывания "refresh" в запрос "if modified since"

Изменено 27 ноября, 2011 пользователем [anp/hsw]

[d1m0n]

Я попробовал squid в прозрачном режиме, более менее держит челок 150-250. Больше даешь - через несколько минут его стопорит, хотя нагрузка в ТОПе 20-30%. Думаю проблема с кешом на HDD. Хотя хз в чем дело, непонятно. Машинка 2 х Xeon 5570, 12G ОЗУ.

а какие винты были и был ли рейд? Тоже думаю попробовать, ибо масштабы у меня очень небольшие.

[[anp/hsw]]

а какие винты были и был ли рейд? Тоже думаю попробовать, ибо масштабы у меня очень небольшие.

 

Винты seagate cheetah 15k (или как там они под SAS называются), контроллер интегрированый mptsas.

Без рейда. Мануал сквида недвусмысленно на это намекает. На каждый винт по 2 раздела, posix aio, 256 threads. Глубина очереди на каждый винт - 128.

 

Насчет "стопорит" - нужны хоть какие-то логи. А то у меня ведь и IPCP, и много чего прикручено, но глюки пока не всплывают. Правда юзаю сквид со времен 2.3, так что конфиг без глупых ошибок.

Сейчас работаю на 3.1.16, ранее 3.1.10 и 3.1.14, все версии были стабильные, и если и валились, то не чаще 1 раза в 3-4 месяца.

[nuclearcat]

2 nuclearcat А что там что ? Синее влет из инета, зеленое вылет в локалку ? Что то слишком круто, процентов 40 точно. Все пошли смотреть один и тот же фильм ? или это тупо ин-аут после девайса ? Так 26, 27 это выходные. народ просто больше скачал.

Круто или нет - факт. Сквид показывал вдвое худшие результаты.

[[anp/hsw]]

В плане http любой кэш будет одинаков, если не нарушать общие правила.

По дефолту сквид ничего не нарушает.

Кэшируем динамику? +5%

Refresh_into_IMS? еще 5%

Переписываем url основных CDN? тоже 5%

 

Из этого и складывается. Проприетарные акселераторы удобнее, что "все в одном", но как только вы уткнетесь в какие-нибудь их специфичные ограничения - тут и начнется.

[st_re]

2 [anp/hsw] именно на это я и хотел обратить внимание. Кеширущий прокси очень давно на трафике экономить не помогает ни разу. У меня в знакомом корпоративе вообще сквид стоит с выключенным кешем. Типа акцес контроль + логинг для упрощения разбора полетов. А включая всякие "кешировать некешируемое" часто приводит к вони "все разъехалось". Ибо разработчики сайтов немного не рассчитывали на такое.

 

Просто некоторые, увидя 30 % попадания к кеш, подумают о светлом будущем и экономии трафика. Чтобы обломов небыло :) и там 3% от 10%-15% веба. На фоне прочих торрентов вообще не видать.

[telematic]

кешируется миллион копеечных картинок, а не тяжелый контент.

PeerApp кэширует ещё апдейты софта и ролики ютюба. Это довольно приличный объём.

[[anp/hsw]]

PeerApp кэширует ещё апдейты софта и ролики ютюба. Это довольно приличный объём.

 

И нарушение правил, т.к. кэшировать динамический контент нельзя (например выпустили апдейст с уязвимостью, заметили, заменили, а у вас он так в кэше и остался).

Переписывание ссылок ютуба для того, чтобы их можно было кэшировать - тоже спорный момент.

 

PeerApp в этом плане будет ничуть не лучше сквида, настроеного "кэшировать все", а ведь в сквиде есть еще "offline mode", попробуйте поставить, будет ну прямо 100% hit rate :)

А вся поддерка таких продуктов заключается в "ой, опять url в ютубе поменялся, давайте, проплатите нам очередной срок, и мы его заменим на новый".

[telematic]

' timestamp='1322449709' post='659887']

PeerApp кэширует ещё апдейты софта и ролики ютюба. Это довольно приличный объём.

 

И нарушение правил, т.к. кэшировать динамический контент нельзя (например выпустили апдейст с уязвимостью, заметили, заменили, а у вас он так в кэше и остался).

Переписывание ссылок ютуба для того, чтобы их можно было кэшировать - тоже спорный момент.

 

PeerApp в этом плане будет ничуть не лучше сквида, настроеного "кэшировать все", а ведь в сквиде есть еще "offline mode", попробуйте поставить, будет ну прямо 100% hit rate :)

А вся поддерка таких продуктов заключается в "ой, опять url в ютубе поменялся, давайте, проплатите нам очередной срок, и мы его заменим на новый".

 

Я не готов спорить аргументированно, но предполагаю, что перед тем, как отдать файл их кэша, PeerApp сравнивает его с тем, который запросил абонент.

Короче, я не хочу опять ввязываться в холивар "нафига платить за фирму, давайте поставим фриварную софтину на писюк и всё будет точно также но дешевле".

Хотите ствить сквид - ставьте.

[[anp/hsw]]

но предполагаю, что перед тем, как отдать файл их кэша, PeerApp сравнивает его с тем, который запросил абонент.

 

Технически невозможно (с чем мы будем сравнивать файл, если его тело еще не загружено? а если мы загрузим тело, то сразу же уроним эффективность до 0%) - разве что делать надстройку над http, чтобы та сначала выкачивала хэш, сравнивала, а потом если и надо качала файл. но тогда придется модернизировать весь софт, который только имеется у абонента. Любое кэширование основано на допущениях "надеюсь юзер не заметит" и "ну уж этот-то сайт правильно отдает заголовки".

 

Это не холивар на тему "писюк с фрисофтом или энтерпрайз проприетарщина". Это собственно о самой эффективности таких систем. Доля ПЛАТНОГО http-трафика у крупного оператора с несколькими пирингами исчезающе мала - пользователи кучкуются на городских ресурсах и яндексе/контактиках. А для мелкого оператора какраз подойдет писюк, а на сэкономленные деньги можно кучку IX'ов наподключать.

Изменено 28 ноября, 2011 пользователем [anp/hsw]

[telematic]

' timestamp='1322451339' post='659892']

Доля ПЛАТНОГО http-трафика у крупного оператора с несколькими пирингами исчезающе мала

 

У меня пиров нет. Как я уже писал выше, после недельного тестирования, доля http трафика, отдаваемого их кэша, достигала 16%. Думаю, до 20% она поднимется. Для меня такие показатели являются достаточными, чтобы окупить вложения в довольно короткие сроки.

[[anp/hsw]]

Позвольте спросить, какая у вас доля http-трафика от общей полосы?

[telematic]

' timestamp='1322453520' post='659896']

Позвольте спросить, какая у вас доля http-трафика от общей полосы?

 

Пардон,я неправильно выразился. Доля всего трафика, отдаваемого из кэша, была 16%.