MMM Опубликовано 9 января, 2010 (изменено) · Жалоба Недавно нашел в интернете статью заморских коллег, посвященную кешированию p2p. Вкратце: анализируют трафик, складывают чанки в локальное хранилище, а потом локальный сервис берет эти чанки и предлагает их скачать локальным клиентам (как-то так :) ) Есть ли какие-то работающие реализации этого? Сейчас у нас просто запущен ретрекер, но его эффективность не особо радует. Ситуацию удалось немного улучшить, когда запустили urlsnarf, который смотрит в трафике запросы по ключу info_hash и публикует адреса локальных пиров на ретрекере (таким образом удалось поместить на ретрекер раздачи с трекеров, не добавляющих автоматически retracker.local). Изменено 9 января, 2010 пользователем MMM Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 9 января, 2010 (изменено) · Жалоба Пойдите дальше. ловите все пролетающие torrent файлы и вставляйте туда Ваш ретрекер. #358. Торренты. Приручение. Правде есть мнение, что сильно входящий трафик это не сократит, а исходящий только повысит. Да и с законностью не все гладко. как никак изменение контента. но тут каждый сам себе буратин. Изменено 9 января, 2010 пользователем st_re Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
starina Опубликовано 11 января, 2010 (изменено) · Жалоба Недавно нашел в интернете статью заморских коллег, посвященную кешированию p2p. Вкратце: анализируют трафик, складывают чанки в локальное хранилище, а потом локальный сервис берет эти чанки и предлагает их скачать локальным клиентам (как-то так :) ) Есть ли какие-то работающие реализации этого? Сейчас у нас просто запущен ретрекер, но его эффективность не особо радует. Ситуацию удалось немного улучшить, когда запустили urlsnarf, который смотрит в трафике запросы по ключу info_hash и публикует адреса локальных пиров на ретрекере (таким образом удалось поместить на ретрекер раздачи с трекеров, не добавляющих автоматически retracker.local). По порядку. Лично мое мнение, что кешировать p2p трафик предлагаемым способом - глупость. Из данных одного из наших ретрекеров что под рукой (оператор с 10К абонентов): за двое суток началось 3789 закачек, общим объемом 9926,64 ГБ из них ретрекер локализовал (нашелся как минимум 1 локальный пир) 594 закачки (15,68%), объемом 1252,16 ГБ (12,61%) выходит что 3195 закачек объемом 8674,47 ГБ закачивается из Интернета, причем это за двое суток. Предложение взять эти 9ТБ и положить на случай а вдруг следующая закачка локализуется, звучит как-то не привлекательно! Причем если кешировать хотя бы месячный трафик, то надо уже порядка 150ТБ! Поэтому я и против кеширования p2p путем забивания дисковых массивов. :) В таком кешировании основная проблема (если хочется сэкономить на дисках) это спрогнозировать какой именно контент в будущем будут качать. Более того, даже если складывать все 150ТБ в месяц регулярно, совершенно очевидно, что добится хотя бы экономии 50% - не получится. Отсюда подтвержение ващего тезиса что "...запущен ретрекер, но его эффективность не особо радует". Да, локальный ретрекер как правило запускают потому что он "как бы" экономит внешку, во всяком случае об этом пишет вики. :) Вот все и пробуют. Теперь что касается трекеров, которые не добавляют retracker.local. По статистике наших ретрекеров (они кстати работают путем проксирования запросов клиент-трекер, поэтому работают со всеми трекерами) около 80% всех закачек, это закачки с трекеров которые публикуют retracker.local. Так что ваши ухищрения с urlsnarf наверняка много эффекта не дают. Тем более, что info_hash с разных трекеров (даже если это один и тот же файл) как правило разные. Да, бывают что они совпадают, но редко... PS Если все таки хотите кеширование попробовать, то вот вам ссылка на бесплатную софтину http://nsl.cs.sfu.ca/wiki/index.php/pCacheOverview Дистрибутив там найдете. Мы это не пробовали и не планируем, по описанным выше причинам. Ну а вам удачи! И если попробуете, то не забудьте рассказать! ;) Изменено 11 января, 2010 пользователем starina Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MMM Опубликовано 11 января, 2010 · Жалоба На удивление, urlsnarf дал результат, на популярных раздачах часто одинаковый info_hash. Кроме того, у нас есть локальный трекер, там тоже часть раздач дублируется с внешки без изменения info_hash. P.S. Кеширование по вышеуказанной схеме трудно реализуемо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MMM Опубликовано 15 января, 2010 · Жалоба Мне подумалось, что можно еще влезать в dht и добавлять туда "правильных" пиров, благо оно по udp вроде как работает. С другой стороны, выделить dht в трафике довольно проблематично. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ugenk Опубликовано 17 января, 2010 · Жалоба Есть такие пацаны - peerapp.com, тестировал - даже работает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
starina Опубликовано 18 января, 2010 · Жалоба Мне подумалось, что можно еще влезать в dht и добавлять туда "правильных" пиров, благо оно по udp вроде как работает. С другой стороны, выделить dht в трафике довольно проблематично. Вы имеете ввиду на лету проксировать DHT сообщения и прямо в внутри них править список пиров? А зачем? Какой качественный эффект это даст? Или вы хотите в DHT "подсмотреть" пиров, их проанализировать и "правильных" добавить в список ретрекера? Да DHT работает по UDP. Можете весь UDP проксировать и анализировать, благо доля UDP трафика пока не велика. ugenk, а сколько стоят решения этих ребят (peerapp.com)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ayvango Опубликовано 19 января, 2010 · Жалоба А найти заинтересованного человека, дать ему льготный инет и доступ к дисковому массиву слабо? Тогда он вам запросто на 10ТБ закеширует наиболее востребованные закачки в области интересов и с вероятностью 80% они будут удовлетворять запросы прочих пользователей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ugenk Опубликовано 19 января, 2010 · Жалоба ugenk, а сколько стоят решения этих ребят (peerapp.com)? Вопрос сложный - зависит от конкретного сэйла. Но у них есть модель продаж при которой вы с ходу платите только за железо, а стоимость софта выплачиваете ежемесячно в виде половины сэкономленого траффика, пока не выплатите. Т.е. если оно вам экономит 200$, всего нужно заплатить 1000$, то вы будете платить 100$ в месяц в течении 10 месяцев. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
starina Опубликовано 20 января, 2010 · Жалоба ugenk, а сколько стоят решения этих ребят (peerapp.com)?Вопрос сложный - зависит от конкретного сэйла. Но у них есть модель продаж при которой вы с ходу платите только за железо, а стоимость софта выплачиваете ежемесячно в виде половины сэкономленого траффика, пока не выплатите. Т.е. если оно вам экономит 200$, всего нужно заплатить 1000$, то вы будете платить 100$ в месяц в течении 10 месяцев. Опа, интересно! А как интересно они (или вы) считаете сколько именно оно экономит? Ну и потом, если экономит 200$, то почему все-таки надо платить 1000$?? Непонятно... Про 10 месяцев и 100$ понятно. ayvango, откуда цифра 80%? Она реальная? Ну а так то подход известен. Обычно этот самый тип, которому "дали доступ" как вы выражаетесь быстро сдувается и отваливается, приходится искать нового. Если хочется на постоянку, то надо плаить денюжку и такая "работа" становится уже профессией. :) Но вот деньги, я подозреваю, никто платить не желает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ugenk Опубликовано 20 января, 2010 · Жалоба Опа, интересно! А как интересно они (или вы) считаете сколько именно оно экономит? Ну и потом, если экономит 200$, то почему все-таки надо платить 1000$?? Непонятно... Про 10 месяцев и 100$ понятно. Про 1000$ - это из головы. Еще раз :) Дано: Общая стоимость решения для вас - 1000$ Экономия в месяц - 200$ Результат: 10 месяцев по 100$ (т.е. 10 * 100 = 1000). Конкретная стоимость решения зависит от вашего канала. Учет того, сколько оно экономит - элементарно, из статистики - там отлично видно, сколько траффика было выдано из кеша, сколько взято из интернета. Реально, на канале > 200 мегабит - экономия ~ 40%. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
t0ly Опубликовано 20 января, 2010 (изменено) · Жалоба Ну а так то подход известен. Обычно этот самый тип, которому "дали доступ" как вы выражаетесь быстро сдувается и отваливается, приходится искать нового. Если хочется на постоянку, то надо плаить денюжку и такая "работа" становится уже профессией. :) Но вот деньги, я подозреваю, никто платить не желает. обычно создаётся портал и даётся 4-м активистам к нему полный доступ и шаровый интрнет на маскимальном тарифном плане. они добавляют обычных аплоадеров. как правило из этого организуетсякомьюнити. насчёт точных цифр экономии сказать не могу, но обьективно полок при каждом появлении новой dvdrip-ки не стало. т.е. они были когда небыло "портала", а когда портал появился они со временем кудато чудесным образом исчезли. ЗЫ не надейтесь что всё получится сразу после покупки железа, нам понадобилось 6 месяцев что бы "система заработала". ЗЫЫ кстати в результате когда у нас небыло возможности расширить фтп клиенты стали подымать свои собственные и выкладывать ссылки на них. Изменено 20 января, 2010 пользователем t0ly Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
starina Опубликовано 9 февраля, 2010 · Жалоба Оживим тему! :) Напала тут на меня мысль на математической модели посчитать эффективность p2p кеша. Так вот, получилось что если бы не было на нашей сети ретрекера и мы бы сохраняли весь p2p контент, то только 16,6% сохраненного оказалось бы полезным. В условиях когда у нас есть ретрекер (а понятно что он тоже как-бы p2p кеш, но бесплатный) и мы сохраняем весь p2p контент, то только 7,6% оказывается полезным! Для себя вопрос закрыл. Эффективность кеша p2p в 8% это слишком мало. Даже заморачиваться не стоит с ним. Кеширвание web трафика не считал ибо неопнятно как. Это если вдруг кто будет приводить "реальные" % попадания в кеш действующих систем, а они как мне изветсно кешируют и web и p2p. Если кому интересно как считал, спрашивайте. А то неохота в пустоту писать много. :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Oleg Gawriloff Опубликовано 9 февраля, 2010 · Жалоба Кеширвание web трафика не считал ибо неопнятно как. Это если вдруг кто будет приводить "реальные" % попадания в кеш действующих систем, а они как мне изветсно кешируют и web и p2p.Почему же непонятно. В свое время использовался Cisco CacheEngine с WCPP с 2х BRASов. Эффективность кеширования была 11%.Отказались из-за огромного геморроя с сайтам с неправильной авторизацией по связкам логин+ип. Т.е. в исключения их надоело вводить. С тех пор много воды утекло, может и починили:). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...