Jump to content
Калькуляторы

Кеширование p2p

Недавно нашел в интернете статью заморских коллег, посвященную кешированию p2p. Вкратце: анализируют трафик, складывают чанки в локальное хранилище, а потом локальный сервис берет эти чанки и предлагает их скачать локальным клиентам (как-то так :) )

 

Есть ли какие-то работающие реализации этого?

 

Сейчас у нас просто запущен ретрекер, но его эффективность не особо радует.

Ситуацию удалось немного улучшить, когда запустили urlsnarf, который смотрит в трафике запросы по ключу info_hash и публикует адреса локальных пиров на ретрекере (таким образом удалось поместить на ретрекер раздачи с трекеров, не добавляющих автоматически retracker.local).

Edited by MMM

Share this post


Link to post
Share on other sites

Пойдите дальше. ловите все пролетающие torrent файлы и вставляйте туда Ваш ретрекер.

#358. Торренты. Приручение.

 

Правде есть мнение, что сильно входящий трафик это не сократит, а исходящий только повысит. Да и с законностью не все гладко. как никак изменение контента. но тут каждый сам себе буратин.

Edited by st_re

Share this post


Link to post
Share on other sites
Недавно нашел в интернете статью заморских коллег, посвященную кешированию p2p. Вкратце: анализируют трафик, складывают чанки в локальное хранилище, а потом локальный сервис берет эти чанки и предлагает их скачать локальным клиентам (как-то так :) )

 

Есть ли какие-то работающие реализации этого?

 

Сейчас у нас просто запущен ретрекер, но его эффективность не особо радует.

Ситуацию удалось немного улучшить, когда запустили urlsnarf, который смотрит в трафике запросы по ключу info_hash и публикует адреса локальных пиров на ретрекере (таким образом удалось поместить на ретрекер раздачи с трекеров, не добавляющих автоматически retracker.local).

По порядку.

 

Лично мое мнение, что кешировать p2p трафик предлагаемым способом - глупость.

Из данных одного из наших ретрекеров что под рукой (оператор с 10К абонентов):

за двое суток началось 3789 закачек, общим объемом 9926,64 ГБ

из них ретрекер локализовал (нашелся как минимум 1 локальный пир) 594 закачки (15,68%), объемом 1252,16 ГБ (12,61%)

выходит что 3195 закачек объемом 8674,47 ГБ закачивается из Интернета, причем это за двое суток.

Предложение взять эти 9ТБ и положить на случай а вдруг следующая закачка локализуется, звучит как-то не привлекательно! Причем если кешировать хотя бы месячный трафик, то надо уже порядка 150ТБ! Поэтому я и против кеширования p2p путем забивания дисковых массивов. :)

В таком кешировании основная проблема (если хочется сэкономить на дисках) это спрогнозировать какой именно контент в будущем будут качать. Более того, даже если складывать все 150ТБ в месяц регулярно, совершенно очевидно, что добится хотя бы экономии 50% - не получится.

 

Отсюда подтвержение ващего тезиса что "...запущен ретрекер, но его эффективность не особо радует".

Да, локальный ретрекер как правило запускают потому что он "как бы" экономит внешку, во всяком случае об этом пишет вики. :) Вот все и пробуют.

 

Теперь что касается трекеров, которые не добавляют retracker.local. По статистике наших ретрекеров (они кстати работают путем проксирования запросов клиент-трекер, поэтому работают со всеми трекерами) около 80% всех закачек, это закачки с трекеров которые публикуют retracker.local.

Так что ваши ухищрения с urlsnarf наверняка много эффекта не дают. Тем более, что info_hash с разных трекеров (даже если это один и тот же файл) как правило разные. Да, бывают что они совпадают, но редко...

 

PS Если все таки хотите кеширование попробовать, то вот вам ссылка на бесплатную софтину http://nsl.cs.sfu.ca/wiki/index.php/pCacheOverview Дистрибутив там найдете. Мы это не пробовали и не планируем, по описанным выше причинам. Ну а вам удачи! И если попробуете, то не забудьте рассказать! ;)

Edited by starina

Share this post


Link to post
Share on other sites

На удивление, urlsnarf дал результат, на популярных раздачах часто одинаковый info_hash. Кроме того, у нас есть локальный трекер, там тоже часть раздач дублируется с внешки без изменения info_hash.

 

P.S. Кеширование по вышеуказанной схеме трудно реализуемо.

 

Share this post


Link to post
Share on other sites

Мне подумалось, что можно еще влезать в dht и добавлять туда "правильных" пиров, благо оно по udp вроде как работает. С другой стороны, выделить dht в трафике довольно проблематично.

Share this post


Link to post
Share on other sites

Есть такие пацаны - peerapp.com, тестировал - даже работает.

Share this post


Link to post
Share on other sites
Мне подумалось, что можно еще влезать в dht и добавлять туда "правильных" пиров, благо оно по udp вроде как работает. С другой стороны, выделить dht в трафике довольно проблематично.

Вы имеете ввиду на лету проксировать DHT сообщения и прямо в внутри них править список пиров? А зачем? Какой качественный эффект это даст?

Или вы хотите в DHT "подсмотреть" пиров, их проанализировать и "правильных" добавить в список ретрекера?

Да DHT работает по UDP. Можете весь UDP проксировать и анализировать, благо доля UDP трафика пока не велика.

 

 

ugenk, а сколько стоят решения этих ребят (peerapp.com)?

Share this post


Link to post
Share on other sites

А найти заинтересованного человека, дать ему льготный инет и доступ к дисковому массиву слабо? Тогда он вам запросто на 10ТБ закеширует наиболее востребованные закачки в области интересов и с вероятностью 80% они будут удовлетворять запросы прочих пользователей.

Share this post


Link to post
Share on other sites

ugenk, а сколько стоят решения этих ребят (peerapp.com)?

Вопрос сложный - зависит от конкретного сэйла. Но у них есть модель продаж при которой вы с ходу платите только за железо, а стоимость софта выплачиваете ежемесячно в виде половины сэкономленого траффика, пока не выплатите. Т.е. если оно вам экономит 200$, всего нужно заплатить 1000$, то вы будете платить 100$ в месяц в течении 10 месяцев.

Share this post


Link to post
Share on other sites
ugenk, а сколько стоят решения этих ребят (peerapp.com)?
Вопрос сложный - зависит от конкретного сэйла. Но у них есть модель продаж при которой вы с ходу платите только за железо, а стоимость софта выплачиваете ежемесячно в виде половины сэкономленого траффика, пока не выплатите. Т.е. если оно вам экономит 200$, всего нужно заплатить 1000$, то вы будете платить 100$ в месяц в течении 10 месяцев.

Опа, интересно!

А как интересно они (или вы) считаете сколько именно оно экономит?

Ну и потом, если экономит 200$, то почему все-таки надо платить 1000$?? Непонятно... Про 10 месяцев и 100$ понятно.

 

ayvango, откуда цифра 80%? Она реальная?

Ну а так то подход известен. Обычно этот самый тип, которому "дали доступ" как вы выражаетесь быстро сдувается и отваливается, приходится искать нового. Если хочется на постоянку, то надо плаить денюжку и такая "работа" становится уже профессией. :) Но вот деньги, я подозреваю, никто платить не желает.

Share this post


Link to post
Share on other sites
Опа, интересно!

А как интересно они (или вы) считаете сколько именно оно экономит?

Ну и потом, если экономит 200$, то почему все-таки надо платить 1000$?? Непонятно... Про 10 месяцев и 100$ понятно.

Про 1000$ - это из головы. Еще раз :)

 

Дано:

Общая стоимость решения для вас - 1000$

Экономия в месяц - 200$

Результат:

10 месяцев по 100$ (т.е. 10 * 100 = 1000).

 

Конкретная стоимость решения зависит от вашего канала.

 

Учет того, сколько оно экономит - элементарно, из статистики - там отлично видно, сколько траффика было выдано из кеша, сколько взято из интернета. Реально, на канале > 200 мегабит - экономия ~ 40%.

 

Share this post


Link to post
Share on other sites
Ну а так то подход известен. Обычно этот самый тип, которому "дали доступ" как вы выражаетесь быстро сдувается и отваливается, приходится искать нового. Если хочется на постоянку, то надо плаить денюжку и такая "работа" становится уже профессией. :) Но вот деньги, я подозреваю, никто платить не желает.

обычно создаётся портал и даётся 4-м активистам к нему полный доступ и шаровый интрнет на маскимальном тарифном плане.

они добавляют обычных аплоадеров.

как правило из этого организуетсякомьюнити.

 

насчёт точных цифр экономии сказать не могу, но обьективно полок при каждом появлении новой dvdrip-ки не стало. т.е. они были когда небыло "портала", а когда портал появился они со временем кудато чудесным образом исчезли.

 

ЗЫ не надейтесь что всё получится сразу после покупки железа, нам понадобилось 6 месяцев что бы "система заработала".

ЗЫЫ кстати в результате когда у нас небыло возможности расширить фтп клиенты стали подымать свои собственные и выкладывать ссылки на них.

Edited by t0ly

Share this post


Link to post
Share on other sites

Оживим тему! :)

 

Напала тут на меня мысль на математической модели посчитать эффективность p2p кеша.

Так вот, получилось что если бы не было на нашей сети ретрекера и мы бы сохраняли весь p2p контент, то только 16,6% сохраненного оказалось бы полезным.

В условиях когда у нас есть ретрекер (а понятно что он тоже как-бы p2p кеш, но бесплатный) и мы сохраняем весь p2p контент, то только 7,6% оказывается полезным!

 

Для себя вопрос закрыл. Эффективность кеша p2p в 8% это слишком мало. Даже заморачиваться не стоит с ним.

Кеширвание web трафика не считал ибо неопнятно как. Это если вдруг кто будет приводить "реальные" % попадания в кеш действующих систем, а они как мне изветсно кешируют и web и p2p.

 

Если кому интересно как считал, спрашивайте. А то неохота в пустоту писать много. :)

 

Share this post


Link to post
Share on other sites
Кеширвание web трафика не считал ибо неопнятно как. Это если вдруг кто будет приводить "реальные" % попадания в кеш действующих систем, а они как мне изветсно кешируют и web и p2p.
Почему же непонятно. В свое время использовался Cisco CacheEngine с WCPP с 2х BRASов. Эффективность кеширования была 11%.

Отказались из-за огромного геморроя с сайтам с неправильной авторизацией по связкам логин+ип. Т.е. в исключения их надоело вводить. С тех пор много воды утекло, может и починили:).

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this