vasly Опубликовано 19 января, 2011 · Жалоба Задумка кеширования абсолютно бессмысленна.Это умозаключение, или утверждение основанное на цифрах и опыте?Я знаю пример, когда провайдер используя прозрачный прокси на сквиде, экономит полосу в 10% что в его цифрах, это один гиг. Ну и за уралом полоса в 1 гиг это от 500 до 700 тыс рублей в месяц. операционных расходов. По поводу хранения, стоимость железа и дисков постоянно снижается, при кешировании не важно время отклика, главное, чтобы затем контент без задержек отдавался, даже тоже видео потоковое. Стоит задуматься. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 19 января, 2011 · Жалоба Задумка кеширования абсолютно бессмысленна.Это умозаключение, или утверждение основанное на цифрах и опыте?Я знаю пример, когда провайдер используя прозрачный прокси на сквиде, экономит полосу в 10% что в его цифрах, это один гиг. Ну и за уралом полоса в 1 гиг это от 500 до 700 тыс рублей в месяц. операционных расходов. По поводу хранения, стоимость железа и дисков постоянно снижается, при кешировании не важно время отклика, главное, чтобы затем контент без задержек отдавался, даже тоже видео потоковое. Стоит задуматься. в цифру 10% готов поверить, но когда это было принудительное проксирование всех подряд. (достаточно давно) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
[anp/hsw] Опубликовано 19 января, 2011 · Жалоба в цифру 10% готов поверить, но когда это было принудительное проксирование всех подряд. (достаточно давно) Cache information for squid: Hits as % of all requests: 5min: 27.7%, 60min: 28.9% Hits as % of bytes sent: 5min: 7.5%, 60min: 8.6% Memory hits as % of hit requests: 5min: 7.3%, 60min: 7.6% Disk hits as % of hit requests: 5min: 49.3%, 60min: 47.2% Storage Swap size: 54065056 KB Storage Swap capacity: 88.0% used, 12.0% free Storage Mem size: 130212 KB Storage Mem capacity: 99.9% used, 0.1% free Mean Object Size: 29.67 KB Типичный сквид. 100-мегабит канал. Увеличение кэша в 10 раз (до 500 гигов) дает прирост +15-20% к hits и порядка 7-10 к bytes. С принудительным кэшированием bytes вполне может перевалить за 50%, а hits - за 80%, но всякие службы сообщений mail.ru, одноклассников, и подобных, идут в пешее эротическое, так что фильтры надо настраивать. Вот только доля http-трафика у каждого своя. У кого-то 10%, а у кого-то 50. Так что такие системы вполне реальны, просто нужно сначала над экономической эффективностью подумать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
EDA_SPB Опубликовано 19 января, 2011 · Жалоба Тоже интересен опыт установки кеширующих серверов от Google. Какие затраты несет оператор? Возможна ли установка на IX и совместное использование несколькими операторами? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
littlesavage Опубликовано 19 января, 2011 · Жалоба Cache information for squid: Hits as % of all requests: 5min: 27.7%, 60min: 28.9% Hits as % of bytes sent: 5min: 7.5%, 60min: 8.6% Типичный сквид. 100-мегабит канал. А какая-нибудь статистика по экономии полосы в ЧНН есть? Что-то типа счетчика до сквида, и после? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
[anp/hsw] Опубликовано 19 января, 2011 (изменено) · Жалоба Вот вам трафик с одной из машин сквида (остальной трафик прозрачно пропускается, и шейпится уже выше). Экономия полосы в "щадящем режиме" небольшая. Но стоит включить принудительное кэширование.... Изменено 19 января, 2011 пользователем [anp/hsw] Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Yokodzun Опубликовано 19 января, 2011 · Жалоба Это умозаключение, или утверждение основанное на цифрах и опыте?Я знаю пример, когда провайдер используя прозрачный прокси на сквиде, экономит полосу в 10% что в его цифрах, это один гиг. А юзера с вилами не стоят у дверей, праведно негодуя, узнав о заворачивании их трафика на прокси? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vasly Опубликовано 20 января, 2011 · Жалоба Yokodzun абонентам можно дать возможность отключать проксирование на сайте (управление.статистика.личный кабинет) И те 3% которым это кретично, могут этим воспользоваться. Но разговор все о веб трафике, он у нас, к примеру, не более 10%. А меня лично интересуют "операторские" решения кэширования потокового видео и р2р трафика. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
[anp/hsw] Опубликовано 20 января, 2011 · Жалоба Кэшировать потоковое видео (а что, оно разве не http?)можно только при условии, что у него есть начало и конец. Сами понимаете, что спутниковый TS-поток с какого-нибудь сайта кэшировать бесполезно. Тут в ход идут только ретрансляторы, и то, при наличии достаточно аудитории. Операторское решение кэширования п2п-трафика состоит из мальчика, который торрентами качает все новинки, и потом с радостью на местном форуме раздает ссылки на них, которые находятся внутри локалной сети. Кэшировать стандартными методами п2п-трафик невозможно, просто потому, что установление сессии в торренте не означает скачивания полного файла. Может скачать к примерно 50мб с одного ип, 70, с другого и все остальное с третьего. Получатся куски. О каком канале мы говорим? 1мбит? 10 мбит? уже на 100 мегабитах "в лоб" кэшировать п2п-трафик слижком ресурсоемко. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vasly Опубликовано 1 февраля, 2011 · Жалоба [anp/hsw] мы говорим о каналах в 5 и более гигабит . И о решениях за десятки тысяч баксов :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Thorn Опубликовано 15 марта, 2011 · Жалоба Мы тут говорим о PeerApp и только? Мне интересны альтернативы решения PeerApp и сравнение с ними например Oversi И кто что может сказать о проблематике p2p кеширования помимо криптования? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
HelgS Опубликовано 16 марта, 2011 · Жалоба Легко , у нас стоят их сервера, которые они сами прислали. восновном с них льётся трафик сервиса youtube. Кстати очень эффективная вещь, кол-во потребляемого внешнего трафика/кол-во отданого внутрь = 1/7 сейчас они туда перенаправляют даже поисковые запросы Вот так у нас резолвится гугл host google.com google.com has address 212.154.168.243 А то что другие провайдеры получают трафик с ваших кеш-серверов гугла через KAZ-IX не напрягает? Tracing route to google.com [212.154.168.243] over a maximum of 30 hops: 5 1 ms 1 ms <1 ms ebgp.intelsoft.com [217.15.178.147] 6 6 ms 1 ms 1 ms 195.2.230.2 (KAZ-IX) 7 24 ms 24 ms 23 ms 95.59.170.132 8 19 ms 20 ms 21 ms alma-core-l1-6.online.kz [92.47.145.17] 9 29 ms 27 ms 34 ms asta-core-l1-1.online.kz [92.47.145.10] 10 28 ms 24 ms 25 ms 92.47.144.225 11 23 ms 24 ms 23 ms 95.59.170.167 12 19 ms 19 ms 19 ms 212.154.168.243 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
starina Опубликовано 4 апреля, 2011 · Жалоба Мы тут говорим о PeerApp и только? Мне интересны альтернативы решения PeerApp и сравнение с ними например Oversi И кто что может сказать о проблематике p2p кеширования помимо криптования? Поддерживаю вопрос! Мне тоже интересны эти ихние выкрутасы с кешированием p2p-трафика. Как именно это работает и какой эффект дает? И кстати вполне возможно, что выход нового uTorrent с включенным по умолчанию шифрованием убьет всю затею. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
orlik Опубликовано 4 апреля, 2011 · Жалоба Легко , у нас стоят их сервера, которые они сами прислали. восновном с них льётся трафик сервиса youtube. Кстати очень эффективная вещь, кол-во потребляемого внешнего трафика/кол-во отданого внутрь = 1/7 сейчас они туда перенаправляют даже поисковые запросы Вот так у нас резолвится гугл host google.com google.com has address 212.154.168.243 А то что другие провайдеры получают трафик с ваших кеш-серверов гугла через KAZ-IX не напрягает? Tracing route to google.com [212.154.168.243] over a maximum of 30 hops: 5 1 ms 1 ms <1 ms ebgp.intelsoft.com [217.15.178.147] 6 6 ms 1 ms 1 ms 195.2.230.2 (KAZ-IX) 7 24 ms 24 ms 23 ms 95.59.170.132 8 19 ms 20 ms 21 ms alma-core-l1-6.online.kz [92.47.145.17] 9 29 ms 27 ms 34 ms asta-core-l1-1.online.kz [92.47.145.10] 10 28 ms 24 ms 25 ms 92.47.144.225 11 23 ms 24 ms 23 ms 95.59.170.167 12 19 ms 19 ms 19 ms 212.154.168.243 \ нет не напрягает , а если быть точнее , именено так все и было задумано. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GFORGX Опубликовано 16 апреля, 2011 (изменено) · Жалоба Легко , у нас стоят их сервера, которые они сами прислали. восновном с них льётся трафик сервиса youtube. Кстати очень эффективная вещь, кол-во потребляемого внешнего трафика/кол-во отданого внутрь = 1/7 Как-то не вяжутся у меня в голове "провайдер из Мухосранска" и Казахтелеком :) P.S. Подняли у себя пару дней назад кэш на Squid-е, играемся :) gforgx@emachines:~$ traceroute youtube.com traceroute to youtube.com (109.229.160.81), 30 hops max, 60 byte packets 1 10.42.0.1 (10.42.0.1) 2.676 ms 2.647 ms 2.622 ms 2 core-metro.asket.eu.org (109.229.160.97) 2.154 ms 2.163 ms 2.084 ms 3 smg-youtube-cache01.asket.eu.org (109.229.160.81) 0.279 ms 0.248 ms 0.211 ms На уровне DNS, прозрачное считаю негуманным. Изменено 16 апреля, 2011 пользователем GFORGX Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vIv Опубликовано 16 апреля, 2011 · Жалоба За подделку документов публичных DNS лицензии лишать надо. С последующей казнью лично ответственных. Сам я стараюсь везде пользоваться 8.8.8.8/8.8.4.4 Но дома пользуюсь провайдерским - ради retracker.local Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GFORGX Опубликовано 16 апреля, 2011 (изменено) · Жалоба За подделку документов публичных DNS лицензии лишать надо. С последующей казнью лично ответственных. Сам я стараюсь везде пользоваться 8.8.8.8/8.8.4.4 Но дома пользуюсь провайдерским - ради retracker.local Кто, где? :) Вы меня, видимо, неправильно поняли - публичные DNS серверы никто не подменяет. Просто в провайдерском: zone "youtube.com" { type master; file "master/db.youtube.com"; }; Вот за другие операции над трафиком (прозрачное проксирование и т. п.) - да, я так думаю, убивать надо, ибо безвыходно для абонента. Изменено 16 апреля, 2011 пользователем GFORGX Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vIv Опубликовано 16 апреля, 2011 · Жалоба Вот именно это я и имел ввиду, если это делается иначе, чем по явному соглашению с youtube.com - в вашем случае Гугл в курсе, что вы решили поредактировать его зону? А абоненты в курсе, что вместо Гугла получают продукцию отечественного производителя? А надзор в курсе, что под видом интернета вы продаёте собственный креатив? Это называется "интернет ломать". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GFORGX Опубликовано 16 апреля, 2011 · Жалоба Вот именно это я и имел ввиду, если это делается иначе, чем по явному соглашению с youtube.com - в вашем случае Гугл в курсе, что вы решили поредактировать его зону? А абоненты в курсе, что вместо Гугла получают продукцию отечественного производителя? А надзор в курсе, что под видом интернета вы продаёте собственный креатив? Это называется "интернет ломать". Это называется "Казахстан" :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vIv Опубликовано 16 апреля, 2011 · Жалоба Аа... вон оно чо, Петрович! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
HelgS Опубликовано 18 апреля, 2011 · Жалоба Вот именно это я и имел ввиду, если это делается иначе, чем по явному соглашению с youtube.com - в вашем случае Гугл в курсе, что вы решили поредактировать его зону? А абоненты в курсе, что вместо Гугла получают продукцию отечественного производителя? А надзор в курсе, что под видом интернета вы продаёте собственный креатив? Это называется "интернет ломать". Это называется "Казахстан" :) Наверное это национальный инновационный метод "регулирования ответственности" сайтов. :) Правительство России заинтересовалось опытом блокирования Интернета в странах Азии Цена лота под названием «Зарубежный опыт регулирования ответственности участников правоотношений при использовании сети Интернет» — 973 тыс. руб. В документации к заказу отмечается, что цель данной работы — «проведение научного исследования и подготовка на его основе научного отчета, позволяющего определить основные существующие подходы в законодательстве зарубежных стран к правовому регулированию ответственности участников правоотношений при использовании сети Интернет за содержание размещаемой информации в сети информации». При этом в качестве примера предлагается рассмотреть опыт зарубежных стран, в том числе таких, как Казахстан, Белоруссия и Китай. Таки мы идем к вам! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 18 апреля, 2011 · Жалоба Сам я стараюсь везде пользоваться 8.8.8.8/8.8.4.4 Но дома пользуюсь провайдерским - ради retracker.local А unbound себе поставить не? Для зоны локал можно и форвадинг сделать на провайдера. Вообще, есть и другие публично доступные рекурсеры, стоит только поискать. Для гугля это просто ещё одно очень дешёвое средство узнать пользователей получше. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vIv Опубликовано 18 апреля, 2011 · Жалоба Зачем мне другие, если эти прекрасно работают? А так у меня бинд есть =) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
L-ZiX Опубликовано 18 апреля, 2011 · Жалоба ' timestamp='1295459214' post='578433']Cache information for squid: Hits as % of all requests: 5min: 27.7%, 60min: 28.9% Hits as % of bytes sent: 5min: 7.5%, 60min: 8.6% Memory hits as % of hit requests: 5min: 7.3%, 60min: 7.6% Disk hits as % of hit requests: 5min: 49.3%, 60min: 47.2% Storage Swap size: 54065056 KB Storage Swap capacity: 88.0% used, 12.0% free Storage Mem size: 130212 KB Storage Mem capacity: 99.9% used, 0.1% free Mean Object Size: 29.67 KB Типичный сквид. 100-мегабит канал. Как бы Вам для всеобщего блага поделиться конфигом стабильно работающего сквида в качестве прозрачного прокси? Ну очень нужно : ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 19 апреля, 2011 · Жалоба У меня не падает, в связке с ПФ, но траффика у меня через него почти нет, каналы до 2 мегабит и пользователей меньше 50 - SOHO Попробуйте для начала кешировать только в ОЗУ. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...