Jump to content
Калькуляторы

Торрент Web-сид.local/announce в сетях провайдеров Возможно ли ?

Всем известно , что не очень давно ( начиная ещё с torrents.ru , а затем и другие трекеры ) стали прикручивать у себя в торрент-файлах адрес http://retracker.local/announce

И провайдеры так же начали устанавливать у себя ретрекеры .

 

В тоже самое время в торрент-клиентах есть опция Web-сиды . Она позволяет подключаться пирам к http серверу который настроен соответсвующим образом и скачивать с него залитые файлы .

Другими словами многий контент размещённый на торрент-трекерах можно раздавать теми же самыми торрентами с локального сервера провайдера .

 

Интересует вопрос

Возможно ли сделать адрес Web-сида глобальным как адрес http://retracker.local/announce , например http://web.local/announce ?

Если это возможно , то адрес веб-сида можно сделать автоматически добавляемым , так же как адрес ретрекера , во все торренты например того же рутрекера .

Share this post


Link to post
Share on other sites

На раздачах всегда в любое время будет сид , даже если их не будет в интернете

Скорость загрузки у пользователя будет максимальной

Провайдерам получится сохранить ещё больше внешнего трафика , увеличив локальный трафик

 

К тому же с популяризацией utorrent 3.0 и возможностью просмотра видео во время загрузки торрента , а также возможно в будущем "выстрелевшей" технологии DNA (аля p2p ютуб) веб-сид будет интересен провайдерам так же и с этой стороны .

Share this post


Link to post
Share on other sites

grey_rat

Т.е. вы предлагаете, чтобы провайдер скачивал на свой http-сервер содержимое раздачи и чтобы этот веб-сид был виден абонентам его сети? Сомнительное дело, даже с технологической точки зрения, не говоря уж про юридическую. Для популярных раздач от этого будет мало смыла, а под непопулярные раздачи никакого места не напосёшься

Share this post


Link to post
Share on other sites

Ну у каждого провайдера есть свои файлопомойки. Причём провайдеры разные бывают , у кого-то это пару десятков гигабайт бесплатного софта , а у кого-то чуть ли не петабайты фильмов , игр и прочего добра - им скачивать ничего не нужно всё есть у себя . Провайдер сам может решить , что шарить в торренты , а что нет . С технологической стороны думаю проблем не будет , если судить , что в торрент-клиентах поддержка веб-сидов существует очень давно . И в инете также встречал на некоторых форумах сетей провайдеров реплики пользователей у которых на локальном торрент-трекере в сети был настроен и работал веб-сид . Единственный вопрос возможен ли единый адрес веб-сида на все торренты web.local/announce

Share this post


Link to post
Share on other sites

Так нет же смысла это делать, выше верно написали.

 

Я анализировал как-то это дело, собирал подробную статистику с ретрекера. Тоже хотел попробовать зеркалить.

Всё популярное в торрентах, то что реально жрёт канал, оно всегда и так находится через ретеркер, абоненты выполняют роль распределённого хранилища для мэйнстрима, зеркалить у себя тоже самое - мартышкин труд, а непопулярное зеркалить - не будет выхлопа по экономии, только затраты на хранение.

Edited by disappointed

Share this post


Link to post
Share on other sites

Вобщем я так понял , что веб-сид станет актуальным когда p2p видео станет популярным . И ставить их будут не провайдеры , а владельцы веб-серверов .

Share this post


Link to post
Share on other sites

grey_rat

Хорошо, даже отбросив вопрос юридический и закрыв глаза на проблему с террабайтами места, опишите, как вы себе представляете весь технологический процесс этого мероприятия. Я это вижу так:

1. Поднимается http-сервер на сервере с неограниченным кол-вом места, расположенный в серверной ISP

2. Каким-то образом отслеживается появление новых раздач(по ретрекеру, вручную или с помощью вашего глобального веб-сида(как именно, и что именно приходит в http-запросе?))

3. Новые раздачи скачиваются на сервер исключительно ради:

- возможности скачать в будущем, даже если не будет сидов

- возможности быстро скачать в первые минуты/часы после появления раздачи для абонентов с разделением скоростей по направлениям(мало на внешку и много в локалку)

 

Я всё правильно понимаю? Если да, то тут цели никак не оправдывают средства, но может быть за исключением совсем уж отдалённых провайдеров, где внешка очень дорогая даже для самого оператора. Например, как здесь.

 

Вобщем я так понял , что веб-сид станет актуальным когда p2p видео станет популярным . И ставить их будут не провайдеры , а владельцы веб-серверов .

 

Ага, и называется это CDN. И ютуб уже давно распределённый.

Share this post


Link to post
Share on other sites
1. Поднимается http-сервер на сервере с неограниченным кол-вом места, расположенный в серверной ISP

Ну вот , что я нашёл по веб-сидам :

Веб-сид

Одним из вариантов использования является так называемое web–сидирование. Иногда на сервере по разным причинам нельзя запустить полноценный торрент клиент. В этом случае в качестве источника раздачи выступает сервер, работающий по протоколу HTTP. Как правило, клиенты отдают предпочтение другим BitTorrent клиентам и обращаются к web сиду только по необходимости. Следует знать, что реализован этот вариант использования как минимум трёмя способами: BEP0017 BitTornado style webseeding, BEP0019 GetRight style webseeding и External Sourcing, каждый из которых отличается в деталях реализации.

Впервые был создан Джоном "TheSHAD0W" Хоффманом, который создал BitTornado. Начиная с версии 5.0 клиент BitTorrent поддерживает веб-сиды и загрузки с веб-сайтов, был создан простой инструмент, который создает публикации веб сидов торрентов. В μTorrent добавлена поддержка для получения веб-сидов в версии 1.7. В BitComet добавлена поддержка для получения веб-сидов в версии 1.14.

 

От этой ссылки три варианта реализации этого самого веб-сида

bep 017

bep 19 HTTP/FTP Seeding

External Sourcing

 

2. Каким-то образом отслеживается появление новых раздач(по ретрекеру, вручную или с помощью вашего глобального веб-сида(как именно, и что именно приходит в http-запросе?))
Как я понимаю в строку веб сида вставляется обычный адрес http/ftp . Вот кстати один чел реализовал вот так http://torrentu.ru/forum/viewtopic.php?p=8169
Например ты создал торрент файл с программой 93.71_forceware_winxp2k_english_whql.exe , идёш на трекер и начинаеш заливать,а в поле "Web сид" вставляеш ссылку с сайта

Цитата:http://http.download.nvidia.com/Wind...glish_whql.exe

 

Когда человек начинает качать (если у бего на данный момент µTorrent 1.7 Beta) то он качает и с тебя (если ты тоже как сид),и с веб ссылки,которая уже встроена в торрент файл

 

P.S: Главное что бы имя файла который ты создал был и на веб сайте через который люди будут качать

Выше , в самом начале топика я задал вопрос про единую ссылку для веб-сида . Другими словами в торренте есть автоматически добавляемый адрес ретрекера , который генерят почти все торрент-трекеры , может быть возможна в автоматическом режиме переадресация этой глобальной веб-сид ссылки на конкретную ссылку скачиваемого файла с сервера :) И никому при этом ничего добавлять не понадобится создавая раздачу на трекере . Аналогично и по настройке веб-сида , может быть возможен вариант автоматической работы .

3. Новые раздачи скачиваются на сервер исключительно ради:

- возможности скачать в будущем, даже если не будет сидов

- возможности быстро скачать в первые минуты/часы после появления раздачи для абонентов с разделением скоростей по направлениям(мало на внешку и много в локалку)

Но если эти раздачи будут лежать годами на сервере , то они автоматически станут уже не новыми , а старыми .

Эх , а как же шаги на встречу любителям покачать торрентами ? :)

 

Ага, и называется это CDN. И ютуб уже давно распределённый.

DNA проще ,хоть и не заменяет CDN, правда не знаю прописывается ли адрес ретрекера в DNA загрузки .

Edited by grey_rat

Share this post


Link to post
Share on other sites

Так просто как вы говорите это невозможно, поскольку в 2ух раздачах может содержаться файл videout.avi и если будет единый веб-сид, то ссылка в обоих торрент-файлах будет http://web.local/videout.avi . Ладно, допустим в пределах одного трекера можно будет генерить ссылки вида http://web.local/id_раздачи/videout.avi, но как обеспечить уникальность ссылок между различными трекерами? Добавлять /id_трекер/id_раздачи/ в url? Так они ж никогда не договоряться между собой о значении id_трекер.

 

Но самый главный вопрос тут не в проблемах реализации, а в целесообразности этого мероприятия. Пока вы не дадите разъяснений в каких случаях этот механизм будет полезен, обсуждать особо-то и нечего. Я уже выше написал, когда это может быть полезно(подытожив, можно сказать, что почти никогда), теперь вы выскажите свои мысли на эту тему.

Share this post


Link to post
Share on other sites
Так просто как вы говорите это невозможно, поскольку в 2ух раздачах может содержаться файл videout.avi и если будет единый веб-сид, то ссылка в обоих торрент-файлах будет http://web.local/videout.avi . Ладно, допустим в пределах одного трекера можно будет генерить ссылки вида http://web.local/id_...ачи/videout.avi, но как обеспечить уникальность ссылок между различными трекерами? Добавлять /id_трекер/id_раздачи/ в url? Так они ж никогда не договоряться между собой о значении id_трекер.
вот как бы это и есть главный вопрос на который я не знаю ответ , как из общей ссылки веб-сида направить её на конкретный файл . Быть может возможен такой вариант , как сделано здесь http://btdigg.org/

Это сайт поисковик по DHT запросам . Вводишь название чего-либо и он выводит магнет-ссылки с названием торрентов или названием файлов находящихся в них . Работает он так : Торрент клиент пользователя у которого включено DHT автоматом генерит в сеть интернет поисковый DHT запрос , данный сервер принимает этот запрос и если данного хеша торрента в запясях нет , отправляет этому торрент-клиенту запрос на получение данных этого торрента по принципу магнет-ссылки . Вот так формируется списки торрентов и файлов в них . Вот пример из созданной мной и товарищем раздачи на рутрэкере http://btdigg.org/search?info_hash=02fc6770e580ca8b2daaae0fa0a8c1bb26ec227e&q=Portal2_maps и найденной её в этом поисковике .

Как я понимаю , может быть возможен такой вариант , когда сервер с веб-сидом запрашивает у юзера информацию о торренте , и исходя из полученного названия и размера файлов выдаёт ему адрес веб-сида на скачивание ...

 

Но самый главный вопрос тут не в проблемах реализации, а в целесообразности этого мероприятия. Пока вы не дадите разъяснений в каких случаях этот механизм будет полезен, обсуждать особо-то и нечего. Я уже выше написал, когда это может быть полезно(подытожив, можно сказать, что почти никогда), теперь вы выскажите свои мысли на эту тему.

Для обыкновенных пользователей это будет полезно при просмотре видео , когда на раздаче нет сидов http://www.kinoarena.tv/forum-arena/index.php?topic=2145.new#new

Ну и про DNA я уже упоминал , кстати на торрентфрике разработчики utorrent грозились похоронить традиционные видеосервисы своим ноу-хау :)

normal_3745957.jpg

Share this post


Link to post
Share on other sites

Веб сид придуман для тех кто начинать раздачу хочет с хттп сервака и для обхода торрент давилок.

 

Лучше ретрекер локал пилите и фильтруйте отдачу внешних пиров все популярными трекерами.

 

 

Share this post


Link to post
Share on other sites

и как провайдер будет объяснять, в случае необходимости, органам, что он раздаёт со своего сервера хрен знает какой софт, контент?

Share this post


Link to post
Share on other sites
Лучше ретрекер локал пилите и фильтруйте отдачу внешних пиров все популярными трекерами.

Так как бы я обычный юзер :) Кстати ретрекер допилить получилось isp.bep 22 прикрутили http://forum.nag.ru/forum/index.php?showtopic=63924&st=0&p=588200&fromsearch=1entry588200 спасибо что подсказали-расказали как и что , всё пригодилось человеку и всё получилось :) utorrent 3.0 с включённым по умолчанию isp.bep 22 уже в релизе , однако разработчики ещё боятся пускать его в обновление старого , устраняя походу пока косяки в новом.

 

А вот с рутрекером (ограничение выдаваемых IP двумя его трекерами) не получилось протолкнуть , даже до 50 внешних IP как было раньше . Посмотрим какие подарки ждут нас с 10 миллионным пользователем рутрекера.

 

и как провайдер будет объяснять, в случае необходимости, органам, что он раздаёт со своего сервера хрен знает какой софт, контент?
а как они сейчас это объясняют ? Я знаю , что есть провы у которых на файлопомойках только бесплатное и нет ни DC хабов и прочего что связано с авторским правом , но есть и такие , которые рискуют и ставят всё чем только можно привлечь потенциального клиента .

 

Вот кстати такой ещё вопрос в одном из последних обнов utorrent добавили вот это

Feature: Enable pairing from LAN IP ranges, to enable LAN streaming

это приоритезация коннекта для LAN IP адресов ?

Share this post


Link to post
Share on other sites

нет ни DC хабов и прочего что связано с авторским правом

Хабы с авторским правом связаны ровно так же, как и торренты вообще-то.

Share this post


Link to post
Share on other sites

grey_rat

Давайте не будем превращать вашу же тему в помойку и поток сознания. По поводу бессмысленности(с технологической точки зрения) web-сида в серверных большинства ISP вас убедили или есть ещё какие-то соображения по этому поводу?(кроме того, что можно будет качать в момент отсутсвия p2p-сидов, что в чистом виде благотворительность для 2-3ёх уникумов, которые качают настолько редкие вещи, что они никому не нужны)

Share this post


Link to post
Share on other sites
А вот с рутрекером (ограничение выдаваемых IP двумя его трекерами) не получилось протолкнуть , даже до 50 внешних IP как было раньше . Посмотрим какие подарки ждут нас с 10 миллионным пользователем рутрекера.

 

У них (rutracker.org) 4-5 трекеров: ix.rutracker.org, ix2.rutracker.org...ix5.rutracker.org

 

И мне лично плевать что они (и другие, типа лоста - любителя приватности в торрентах) там напридумывают, я заканчиваю свой трекер-прокси, и он будет ходить по разным открытым трекерам и регать/искать там там мои раздачи/закачки, попутно стараясь отдавать мне по больше локальных пиров и меньше внешних.

 

 

Share this post


Link to post
Share on other sites
Хабы с авторским правом связаны ровно так же, как и торренты вообще-то.
На ADC хабах инфа о шаре пользователей хранится на самом хабе . И в отличие от торрентов хаб ищет и по названию файлов , а не только по хешу . Поисковый Функционал DC немного шире чем у торрентов.

 

Давайте не будем превращать вашу же тему в помойку и поток сознания. По поводу бессмысленности(с технологической точки зрения) web-сида в серверных большинства ISP вас убедили или есть ещё какие-то соображения по этому поводу?(кроме того, что можно будет качать в момент отсутсвия p2p-сидов, что в чистом виде благотворительность для 2-3ёх уникумов, которые качают настолько редкие вещи, что они никому не нужны)

Я ж никого не заставляю что-то делать , я даже не знаю будут ли работать мои предположения :)

 

У них (rutracker.org) 4-5 трекеров: ix.rutracker.org, ix2.rutracker.org...ix5.rutracker.org

в торрент прописывается только два bt* и ix*

 

 

И мне лично плевать что они (и другие, типа лоста - любителя приватности в торрентах) там напридумывают, я заканчиваю свой трекер-прокси, и он будет ходить по разным открытым трекерам и регать/искать там там мои раздачи/закачки, попутно стараясь отдавать мне по больше локальных пиров и меньше внешних.

 

Ну уменьшить число 50 до 10 намного легче чем воротить свои прокси-трекеры . Конечно не всегда такие глобальные идеи будут услышаны , однако за попытку никто не бьёт :)

 

К примеру в новом флайлинке 5** разработчики по умолчанию включили DHT поиск , помимо этого хаб через каждые 10 секунд бомбардируется поисковыми TTH запроcами от пользователя. Скоро DC станет таким же флудящим и вредным для сети как бродкастовый чат во времена становления Ethernet сетей :))) А разработчикам флая это "до лампочки" , их всё устраивает и менять они ничего не собираются .

Это я к чему , иногда прежде чем воротить свои серверы , прокси и пр. можно попытать счастья достучаться до сознания человека который может одним движением руки по клавиатуре изменить всё . Ну , а если не получится достучаться , то тогда уже придумывать что-то своё .

Share this post


Link to post
Share on other sites

На ADC хабах инфа о шаре пользователей хранится на самом хабе .

Трекер тоже знает, кто какую раздачу сидирует, и что именно сидирует определенный человек. Ессно, в пределах трекера.

 

И в отличие от торрентов хаб ищет и по названию файлов , а не только по хешу . Поисковый Функционал DC немного шире чем у торрентов.

Угу, а трекер помимо названия файла имеет еще и полное его описание :) Если, ессно, это не анонимный хабообразный трекер.

+ ко всему - по законодательству, хранение информации о нелицензионном контенте со ссылками на файлы не есть нарушением авторского права - иначе гугл/яндекс/etc давно бы засудили как самых крупных нарушителей :D

Share this post


Link to post
Share on other sites

Не всё так просто как кажется. Гугл удаляет ссылки по жалобам от правообладателей.

 

Например http://www.google.ru/search?q=windows%207%20download%20free%20with%20key

 

Смотрим надпись внизу страницы.

 

Ну и собственно rutracker.org делает тоже самое, примеры лень искать и так все знают.

Share this post


Link to post
Share on other sites

Гугл удаляет ссылки по жалобам от правообладателей.

Аж 2 штуки? :)

 

Ну и собственно rutracker.org делает тоже самое

Угу. Изредка.

Share this post


Link to post
Share on other sites
в торрент прописывается только два bt* и ix*

 

ix - это фигня, типа бэкапа, на случай очередного отъёма домена. Оно работает непонятно как и все ix ссылаются на один IP.

 

Если припрёт я ведь могу заставить свой прокси хоть 100 раз подключатся и просить пиров - посмотрим как рутрекеру от этого получшает :)

 

 

Share this post


Link to post
Share on other sites

Плохо , что нет диалога между провайдерами и к примеру рутрэкером , по оптимизации трафика .

А так получается каждый со своей стороны что хочет то и делает , вспомнить тот же utp в utorrent.

Share this post


Link to post
Share on other sites

Трекерам вообще покуй, рулят там часто малознающие в технологиях люди. Софт трекера они править не могут или не хотят. Иначе давно бы уже отдавали пиров из подсетей той же AS что у клиента или тупо ближайщих по маске.

Писателей трекеров это похоже тоже не волнует.

Их всех волнует рейтинг, приватность и прочая хрень.

Потому и приходится извращаться всякими нелепыми способами, включая ретрекеры и прочее.

 

 

Share this post


Link to post
Share on other sites
пиров из подсетей той же AS что у клиента

Было бы реально круто если бы первыми отдавались пиры из той же AS.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this