Перейти к содержимому
Калькуляторы

Кеширование p2p

Недавно нашел в интернете статью заморских коллег, посвященную кешированию p2p. Вкратце: анализируют трафик, складывают чанки в локальное хранилище, а потом локальный сервис берет эти чанки и предлагает их скачать локальным клиентам (как-то так :) )

 

Есть ли какие-то работающие реализации этого?

 

Сейчас у нас просто запущен ретрекер, но его эффективность не особо радует.

Ситуацию удалось немного улучшить, когда запустили urlsnarf, который смотрит в трафике запросы по ключу info_hash и публикует адреса локальных пиров на ретрекере (таким образом удалось поместить на ретрекер раздачи с трекеров, не добавляющих автоматически retracker.local).

Изменено пользователем MMM

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пойдите дальше. ловите все пролетающие torrent файлы и вставляйте туда Ваш ретрекер.

#358. Торренты. Приручение.

 

Правде есть мнение, что сильно входящий трафик это не сократит, а исходящий только повысит. Да и с законностью не все гладко. как никак изменение контента. но тут каждый сам себе буратин.

Изменено пользователем st_re

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Недавно нашел в интернете статью заморских коллег, посвященную кешированию p2p. Вкратце: анализируют трафик, складывают чанки в локальное хранилище, а потом локальный сервис берет эти чанки и предлагает их скачать локальным клиентам (как-то так :) )

 

Есть ли какие-то работающие реализации этого?

 

Сейчас у нас просто запущен ретрекер, но его эффективность не особо радует.

Ситуацию удалось немного улучшить, когда запустили urlsnarf, который смотрит в трафике запросы по ключу info_hash и публикует адреса локальных пиров на ретрекере (таким образом удалось поместить на ретрекер раздачи с трекеров, не добавляющих автоматически retracker.local).

По порядку.

 

Лично мое мнение, что кешировать p2p трафик предлагаемым способом - глупость.

Из данных одного из наших ретрекеров что под рукой (оператор с 10К абонентов):

за двое суток началось 3789 закачек, общим объемом 9926,64 ГБ

из них ретрекер локализовал (нашелся как минимум 1 локальный пир) 594 закачки (15,68%), объемом 1252,16 ГБ (12,61%)

выходит что 3195 закачек объемом 8674,47 ГБ закачивается из Интернета, причем это за двое суток.

Предложение взять эти 9ТБ и положить на случай а вдруг следующая закачка локализуется, звучит как-то не привлекательно! Причем если кешировать хотя бы месячный трафик, то надо уже порядка 150ТБ! Поэтому я и против кеширования p2p путем забивания дисковых массивов. :)

В таком кешировании основная проблема (если хочется сэкономить на дисках) это спрогнозировать какой именно контент в будущем будут качать. Более того, даже если складывать все 150ТБ в месяц регулярно, совершенно очевидно, что добится хотя бы экономии 50% - не получится.

 

Отсюда подтвержение ващего тезиса что "...запущен ретрекер, но его эффективность не особо радует".

Да, локальный ретрекер как правило запускают потому что он "как бы" экономит внешку, во всяком случае об этом пишет вики. :) Вот все и пробуют.

 

Теперь что касается трекеров, которые не добавляют retracker.local. По статистике наших ретрекеров (они кстати работают путем проксирования запросов клиент-трекер, поэтому работают со всеми трекерами) около 80% всех закачек, это закачки с трекеров которые публикуют retracker.local.

Так что ваши ухищрения с urlsnarf наверняка много эффекта не дают. Тем более, что info_hash с разных трекеров (даже если это один и тот же файл) как правило разные. Да, бывают что они совпадают, но редко...

 

PS Если все таки хотите кеширование попробовать, то вот вам ссылка на бесплатную софтину http://nsl.cs.sfu.ca/wiki/index.php/pCacheOverview Дистрибутив там найдете. Мы это не пробовали и не планируем, по описанным выше причинам. Ну а вам удачи! И если попробуете, то не забудьте рассказать! ;)

Изменено пользователем starina

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На удивление, urlsnarf дал результат, на популярных раздачах часто одинаковый info_hash. Кроме того, у нас есть локальный трекер, там тоже часть раздач дублируется с внешки без изменения info_hash.

 

P.S. Кеширование по вышеуказанной схеме трудно реализуемо.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне подумалось, что можно еще влезать в dht и добавлять туда "правильных" пиров, благо оно по udp вроде как работает. С другой стороны, выделить dht в трафике довольно проблематично.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Есть такие пацаны - peerapp.com, тестировал - даже работает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мне подумалось, что можно еще влезать в dht и добавлять туда "правильных" пиров, благо оно по udp вроде как работает. С другой стороны, выделить dht в трафике довольно проблематично.

Вы имеете ввиду на лету проксировать DHT сообщения и прямо в внутри них править список пиров? А зачем? Какой качественный эффект это даст?

Или вы хотите в DHT "подсмотреть" пиров, их проанализировать и "правильных" добавить в список ретрекера?

Да DHT работает по UDP. Можете весь UDP проксировать и анализировать, благо доля UDP трафика пока не велика.

 

 

ugenk, а сколько стоят решения этих ребят (peerapp.com)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А найти заинтересованного человека, дать ему льготный инет и доступ к дисковому массиву слабо? Тогда он вам запросто на 10ТБ закеширует наиболее востребованные закачки в области интересов и с вероятностью 80% они будут удовлетворять запросы прочих пользователей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ugenk, а сколько стоят решения этих ребят (peerapp.com)?

Вопрос сложный - зависит от конкретного сэйла. Но у них есть модель продаж при которой вы с ходу платите только за железо, а стоимость софта выплачиваете ежемесячно в виде половины сэкономленого траффика, пока не выплатите. Т.е. если оно вам экономит 200$, всего нужно заплатить 1000$, то вы будете платить 100$ в месяц в течении 10 месяцев.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ugenk, а сколько стоят решения этих ребят (peerapp.com)?
Вопрос сложный - зависит от конкретного сэйла. Но у них есть модель продаж при которой вы с ходу платите только за железо, а стоимость софта выплачиваете ежемесячно в виде половины сэкономленого траффика, пока не выплатите. Т.е. если оно вам экономит 200$, всего нужно заплатить 1000$, то вы будете платить 100$ в месяц в течении 10 месяцев.

Опа, интересно!

А как интересно они (или вы) считаете сколько именно оно экономит?

Ну и потом, если экономит 200$, то почему все-таки надо платить 1000$?? Непонятно... Про 10 месяцев и 100$ понятно.

 

ayvango, откуда цифра 80%? Она реальная?

Ну а так то подход известен. Обычно этот самый тип, которому "дали доступ" как вы выражаетесь быстро сдувается и отваливается, приходится искать нового. Если хочется на постоянку, то надо плаить денюжку и такая "работа" становится уже профессией. :) Но вот деньги, я подозреваю, никто платить не желает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Опа, интересно!

А как интересно они (или вы) считаете сколько именно оно экономит?

Ну и потом, если экономит 200$, то почему все-таки надо платить 1000$?? Непонятно... Про 10 месяцев и 100$ понятно.

Про 1000$ - это из головы. Еще раз :)

 

Дано:

Общая стоимость решения для вас - 1000$

Экономия в месяц - 200$

Результат:

10 месяцев по 100$ (т.е. 10 * 100 = 1000).

 

Конкретная стоимость решения зависит от вашего канала.

 

Учет того, сколько оно экономит - элементарно, из статистики - там отлично видно, сколько траффика было выдано из кеша, сколько взято из интернета. Реально, на канале > 200 мегабит - экономия ~ 40%.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну а так то подход известен. Обычно этот самый тип, которому "дали доступ" как вы выражаетесь быстро сдувается и отваливается, приходится искать нового. Если хочется на постоянку, то надо плаить денюжку и такая "работа" становится уже профессией. :) Но вот деньги, я подозреваю, никто платить не желает.

обычно создаётся портал и даётся 4-м активистам к нему полный доступ и шаровый интрнет на маскимальном тарифном плане.

они добавляют обычных аплоадеров.

как правило из этого организуетсякомьюнити.

 

насчёт точных цифр экономии сказать не могу, но обьективно полок при каждом появлении новой dvdrip-ки не стало. т.е. они были когда небыло "портала", а когда портал появился они со временем кудато чудесным образом исчезли.

 

ЗЫ не надейтесь что всё получится сразу после покупки железа, нам понадобилось 6 месяцев что бы "система заработала".

ЗЫЫ кстати в результате когда у нас небыло возможности расширить фтп клиенты стали подымать свои собственные и выкладывать ссылки на них.

Изменено пользователем t0ly

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Оживим тему! :)

 

Напала тут на меня мысль на математической модели посчитать эффективность p2p кеша.

Так вот, получилось что если бы не было на нашей сети ретрекера и мы бы сохраняли весь p2p контент, то только 16,6% сохраненного оказалось бы полезным.

В условиях когда у нас есть ретрекер (а понятно что он тоже как-бы p2p кеш, но бесплатный) и мы сохраняем весь p2p контент, то только 7,6% оказывается полезным!

 

Для себя вопрос закрыл. Эффективность кеша p2p в 8% это слишком мало. Даже заморачиваться не стоит с ним.

Кеширвание web трафика не считал ибо неопнятно как. Это если вдруг кто будет приводить "реальные" % попадания в кеш действующих систем, а они как мне изветсно кешируют и web и p2p.

 

Если кому интересно как считал, спрашивайте. А то неохота в пустоту писать много. :)

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кеширвание web трафика не считал ибо неопнятно как. Это если вдруг кто будет приводить "реальные" % попадания в кеш действующих систем, а они как мне изветсно кешируют и web и p2p.
Почему же непонятно. В свое время использовался Cisco CacheEngine с WCPP с 2х BRASов. Эффективность кеширования была 11%.

Отказались из-за огромного геморроя с сайтам с неправильной авторизацией по связкам логин+ип. Т.е. в исключения их надоело вводить. С тех пор много воды утекло, может и починили:).

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.