[vasly]

Задумка кеширования абсолютно бессмысленна.

Это умозаключение, или утверждение основанное на цифрах и опыте?

Я знаю пример, когда провайдер используя прозрачный прокси на сквиде, экономит полосу в 10% что в его цифрах, это один гиг.

 

Ну и за уралом полоса в 1 гиг это от 500 до 700 тыс рублей в месяц. операционных расходов.

 

По поводу хранения, стоимость железа и дисков постоянно снижается, при кешировании не важно время отклика, главное, чтобы затем контент без задержек отдавался, даже тоже видео потоковое.

 

Стоит задуматься.

[sirmax]

Задумка кеширования абсолютно бессмысленна.

Это умозаключение, или утверждение основанное на цифрах и опыте?

Я знаю пример, когда провайдер используя прозрачный прокси на сквиде, экономит полосу в 10% что в его цифрах, это один гиг.

 

Ну и за уралом полоса в 1 гиг это от 500 до 700 тыс рублей в месяц. операционных расходов.

 

По поводу хранения, стоимость железа и дисков постоянно снижается, при кешировании не важно время отклика, главное, чтобы затем контент без задержек отдавался, даже тоже видео потоковое.

 

Стоит задуматься.

в цифру 10% готов поверить, но когда это было принудительное проксирование всех подряд. (достаточно давно)

 

[[anp/hsw]]

в цифру 10% готов поверить, но когда это было принудительное проксирование всех подряд. (достаточно давно)

Cache information for squid:

Hits as % of all requests: 5min: 27.7%, 60min: 28.9%

Hits as % of bytes sent: 5min: 7.5%, 60min: 8.6%

Memory hits as % of hit requests: 5min: 7.3%, 60min: 7.6%

Disk hits as % of hit requests: 5min: 49.3%, 60min: 47.2%

Storage Swap size: 54065056 KB

Storage Swap capacity: 88.0% used, 12.0% free

Storage Mem size: 130212 KB

Storage Mem capacity: 99.9% used, 0.1% free

Mean Object Size: 29.67 KB

 

Типичный сквид. 100-мегабит канал.

Увеличение кэша в 10 раз (до 500 гигов) дает прирост +15-20% к hits и порядка 7-10 к bytes.

С принудительным кэшированием bytes вполне может перевалить за 50%, а hits - за 80%, но всякие службы сообщений mail.ru, одноклассников, и подобных, идут в пешее эротическое, так что фильтры надо настраивать.

 

Вот только доля http-трафика у каждого своя. У кого-то 10%, а у кого-то 50.

Так что такие системы вполне реальны, просто нужно сначала над экономической эффективностью подумать.

 

[EDA_SPB]

Тоже интересен опыт установки кеширующих серверов от Google.

Какие затраты несет оператор? Возможна ли установка на IX и совместное использование несколькими операторами?

[littlesavage]

Cache information for squid:

Hits as % of all requests: 5min: 27.7%, 60min: 28.9%

Hits as % of bytes sent: 5min: 7.5%, 60min: 8.6%

Типичный сквид. 100-мегабит канал.

А какая-нибудь статистика по экономии полосы в ЧНН есть? Что-то типа счетчика до сквида, и после?

[[anp/hsw]]

Вот вам трафик с одной из машин сквида (остальной трафик прозрачно пропускается, и шейпится уже выше).

Экономия полосы в "щадящем режиме" небольшая. Но стоит включить принудительное кэширование....

Изменено 19 января, 2011 пользователем [anp/hsw]

[Yokodzun]

Это умозаключение, или утверждение основанное на цифрах и опыте?

Я знаю пример, когда провайдер используя прозрачный прокси на сквиде, экономит полосу в 10% что в его цифрах, это один гиг.

А юзера с вилами не стоят у дверей, праведно негодуя, узнав о заворачивании их трафика на прокси?

[vasly]

Yokodzun абонентам можно дать возможность отключать проксирование на сайте (управление.статистика.личный кабинет)

И те 3% которым это кретично, могут этим воспользоваться.

 

Но разговор все о веб трафике, он у нас, к примеру, не более 10%. А меня лично интересуют "операторские" решения кэширования потокового видео и р2р трафика.

 

 

[[anp/hsw]]

Кэшировать потоковое видео (а что, оно разве не http?)можно только при условии, что у него есть начало и конец. Сами понимаете, что спутниковый TS-поток с какого-нибудь сайта кэшировать бесполезно. Тут в ход идут только ретрансляторы, и то, при наличии достаточно аудитории.

 

Операторское решение кэширования п2п-трафика состоит из мальчика, который торрентами качает все новинки, и потом с радостью на местном форуме раздает ссылки на них, которые находятся внутри локалной сети.

 

Кэшировать стандартными методами п2п-трафик невозможно, просто потому, что установление сессии в торренте не означает скачивания полного файла.

Может скачать к примерно 50мб с одного ип, 70, с другого и все остальное с третьего. Получатся куски.

О каком канале мы говорим? 1мбит? 10 мбит? уже на 100 мегабитах "в лоб" кэшировать п2п-трафик слижком ресурсоемко.

 

[vasly]

[anp/hsw] мы говорим о каналах в 5 и более гигабит . И о решениях за десятки тысяч баксов :)

 

[Thorn]

Мы тут говорим о PeerApp и только?

Мне интересны альтернативы решения PeerApp и сравнение с ними

например Oversi

И кто что может сказать о проблематике p2p кеширования помимо криптования?

 

 

[HelgS]

Легко , у нас стоят их сервера, которые они сами прислали. восновном с них льётся трафик сервиса youtube. Кстати очень эффективная вещь, кол-во потребляемого внешнего трафика/кол-во отданого внутрь = 1/7

 

сейчас они туда перенаправляют даже поисковые запросы

 

Вот так у нас резолвится гугл

host google.com

google.com has address 212.154.168.243

А то что другие провайдеры получают трафик с ваших кеш-серверов гугла через KAZ-IX не напрягает?

 

Tracing route to google.com [212.154.168.243] over a maximum of 30 hops:

5 1 ms 1 ms <1 ms ebgp.intelsoft.com [217.15.178.147]

6 6 ms 1 ms 1 ms 195.2.230.2 (KAZ-IX)

7 24 ms 24 ms 23 ms 95.59.170.132

8 19 ms 20 ms 21 ms alma-core-l1-6.online.kz [92.47.145.17]

9 29 ms 27 ms 34 ms asta-core-l1-1.online.kz [92.47.145.10]

10 28 ms 24 ms 25 ms 92.47.144.225

11 23 ms 24 ms 23 ms 95.59.170.167

12 19 ms 19 ms 19 ms 212.154.168.243

[starina]

Мы тут говорим о PeerApp и только?

Мне интересны альтернативы решения PeerApp и сравнение с ними

например Oversi

И кто что может сказать о проблематике p2p кеширования помимо криптования?

 

 

Поддерживаю вопрос! Мне тоже интересны эти ихние выкрутасы с кешированием p2p-трафика. Как именно это работает и какой эффект дает?

 

И кстати вполне возможно, что выход нового uTorrent с включенным по умолчанию шифрованием убьет всю затею.

[orlik]

Легко , у нас стоят их сервера, которые они сами прислали. восновном с них льётся трафик сервиса youtube. Кстати очень эффективная вещь, кол-во потребляемого внешнего трафика/кол-во отданого внутрь = 1/7

 

сейчас они туда перенаправляют даже поисковые запросы

 

Вот так у нас резолвится гугл

host google.com

google.com has address 212.154.168.243

А то что другие провайдеры получают трафик с ваших кеш-серверов гугла через KAZ-IX не напрягает?

 

Tracing route to google.com [212.154.168.243] over a maximum of 30 hops:

5 1 ms 1 ms <1 ms ebgp.intelsoft.com [217.15.178.147]

6 6 ms 1 ms 1 ms 195.2.230.2 (KAZ-IX)

7 24 ms 24 ms 23 ms 95.59.170.132

8 19 ms 20 ms 21 ms alma-core-l1-6.online.kz [92.47.145.17]

9 29 ms 27 ms 34 ms asta-core-l1-1.online.kz [92.47.145.10]

10 28 ms 24 ms 25 ms 92.47.144.225

11 23 ms 24 ms 23 ms 95.59.170.167

12 19 ms 19 ms 19 ms 212.154.168.243

\

 

нет не напрягает , а если быть точнее , именено так все и было задумано.

[GFORGX]

Легко , у нас стоят их сервера, которые они сами прислали. восновном с них льётся трафик сервиса youtube. Кстати очень эффективная вещь, кол-во потребляемого внешнего трафика/кол-во отданого внутрь = 1/7

Как-то не вяжутся у меня в голове "провайдер из Мухосранска" и Казахтелеком :)

 

P.S. Подняли у себя пару дней назад кэш на Squid-е, играемся :)

gforgx@emachines:~$ traceroute youtube.com
traceroute to youtube.com (109.229.160.81), 30 hops max, 60 byte packets
1  10.42.0.1 (10.42.0.1)  2.676 ms  2.647 ms  2.622 ms
2  core-metro.asket.eu.org (109.229.160.97)  2.154 ms  2.163 ms  2.084 ms
3  smg-youtube-cache01.asket.eu.org (109.229.160.81)  0.279 ms  0.248 ms  0.211 ms

 

На уровне DNS, прозрачное считаю негуманным.

Изменено 16 апреля, 2011 пользователем GFORGX

[vIv]

За подделку документов публичных DNS лицензии лишать надо. С последующей казнью лично ответственных.

 

Сам я стараюсь везде пользоваться 8.8.8.8/8.8.4.4 Но дома пользуюсь провайдерским - ради retracker.local

[GFORGX]

За подделку документов публичных DNS лицензии лишать надо. С последующей казнью лично ответственных.

 

Сам я стараюсь везде пользоваться 8.8.8.8/8.8.4.4 Но дома пользуюсь провайдерским - ради retracker.local

Кто, где? :) Вы меня, видимо, неправильно поняли - публичные DNS серверы никто не подменяет. Просто в провайдерском:

 

zone "youtube.com" {

type master;

file "master/db.youtube.com";

};

 

Вот за другие операции над трафиком (прозрачное проксирование и т. п.) - да, я так думаю, убивать надо, ибо безвыходно для абонента.

Изменено 16 апреля, 2011 пользователем GFORGX

[vIv]

Вот именно это я и имел ввиду, если это делается иначе, чем по явному соглашению с youtube.com - в вашем случае Гугл в курсе, что вы решили поредактировать его зону? А абоненты в курсе, что вместо Гугла получают продукцию отечественного производителя? А надзор в курсе, что под видом интернета вы продаёте собственный креатив?

 

Это называется "интернет ломать".

[GFORGX]

Вот именно это я и имел ввиду, если это делается иначе, чем по явному соглашению с youtube.com - в вашем случае Гугл в курсе, что вы решили поредактировать его зону? А абоненты в курсе, что вместо Гугла получают продукцию отечественного производителя? А надзор в курсе, что под видом интернета вы продаёте собственный креатив?

 

Это называется "интернет ломать".

Это называется "Казахстан" :)

[vIv]

Аа... вон оно чо, Петрович!

[HelgS]

Вот именно это я и имел ввиду, если это делается иначе, чем по явному соглашению с youtube.com - в вашем случае Гугл в курсе, что вы решили поредактировать его зону? А абоненты в курсе, что вместо Гугла получают продукцию отечественного производителя? А надзор в курсе, что под видом интернета вы продаёте собственный креатив?

 

Это называется "интернет ломать".

Это называется "Казахстан" :)

Наверное это национальный инновационный метод "регулирования ответственности" сайтов. :)

Правительство России заинтересовалось опытом блокирования Интернета в странах Азии

Цена лота под названием «Зарубежный опыт регулирования ответственности участников правоотношений при использовании сети Интернет» — 973 тыс. руб. В документации к заказу отмечается, что цель данной работы — «проведение научного исследования и подготовка на его основе научного отчета, позволяющего определить основные существующие подходы в законодательстве зарубежных стран к правовому регулированию ответственности участников правоотношений при использовании сети Интернет за содержание размещаемой информации в сети информации». При этом в качестве примера предлагается рассмотреть опыт зарубежных стран, в том числе таких, как Казахстан, Белоруссия и Китай.

Таки мы идем к вам!

[Ivan_83]

Сам я стараюсь везде пользоваться 8.8.8.8/8.8.4.4 Но дома пользуюсь провайдерским - ради retracker.local

А unbound себе поставить не?

Для зоны локал можно и форвадинг сделать на провайдера.

 

Вообще, есть и другие публично доступные рекурсеры, стоит только поискать.

Для гугля это просто ещё одно очень дешёвое средство узнать пользователей получше.

[vIv]

Зачем мне другие, если эти прекрасно работают?

 

А так у меня бинд есть =)

[L-ZiX]

' timestamp='1295459214' post='578433']Cache information for squid:

Hits as % of all requests: 5min: 27.7%, 60min: 28.9%

Hits as % of bytes sent: 5min: 7.5%, 60min: 8.6%

Memory hits as % of hit requests: 5min: 7.3%, 60min: 7.6%

Disk hits as % of hit requests: 5min: 49.3%, 60min: 47.2%

Storage Swap size: 54065056 KB

Storage Swap capacity: 88.0% used, 12.0% free

Storage Mem size: 130212 KB

Storage Mem capacity: 99.9% used, 0.1% free

Mean Object Size: 29.67 KB

 

Типичный сквид. 100-мегабит канал.

Как бы Вам для всеобщего блага поделиться конфигом стабильно работающего сквида в качестве прозрачного прокси? Ну очень нужно : )

[Ivan_83]

У меня не падает, в связке с ПФ, но траффика у меня через него почти нет, каналы до 2 мегабит и пользователей меньше 50 - SOHO

 

Попробуйте для начала кешировать только в ОЗУ.