Jump to content
Калькуляторы

Требуется помощь по поднятию "торента в сети"

Доброго времени суток

 

Собственно вопрос в теме , есть сервер на дебиане , есть сайт с торент ссылками ,есть хранище с файлами , нужно поднять ретрекер и сделать раздачу файлов с сервера , есть желающие оказать удалёную помощь ?

Edited by CartMan_1488

Share this post


Link to post
Share on other sites

Есть опыт общения глаза-в-глаза с сотрудником из органов с тремя понятыми и диким матом в аську "УАСЯ, ВАЛИ СЕРВЕР, МЕНТЫ В КОМНАТЕ!!!"

И потом периодические поездки в старые обшарпанные кабинеты с написанием объяснительных.

 

Подумайте трижды - оно вам надо?

Share this post


Link to post
Share on other sites

Жизнь скучна и коротка... что бы дрожать от каждого шороха , и отвечая на ваш вопрос - да , надо !

Share this post


Link to post
Share on other sites

Уточню , на дебиане установлен rtorrent с вебмордой rutorrent который собственно и осуществляет раздачу всего и вся , с ним как мне кажется есть проблема , а именно клиенты с него скачивают через раз , и с разными скоростями то скорость 10мб то 200кб , то вообще пишет "подключение к пирам" и на этом всё , так же не давно "вдруг" он просто встал раком , вебморда не отвечает , процесс в консоли виснет и не отвечает на команды , если грохнуть папку sessions проблема исчезает , но стоит добавить допустим 5 файлов на отдачу , то каждые 2-3 минуты он виснет , потом отлипает , вебморда залипает с сообщение что rtorrent is down и отдача прекращается . Либо начинает скачиваться на полной скорости и через буквально минуту вся загрузка сводиться к нолю...

 

всё это наводит на мысли , что , что то вдруг стало не так , вот и прошу помощи разобраться .

Edited by CartMan_1488

Share this post


Link to post
Share on other sites

стоит добавить допустим 5 файлов на отдачу , то каждые 2-3 минуты он виснет ,

...

что то вдруг стало не так

 

начинает пересчитывать блоки, активно юзает диск, кэш и память -> железная проблема.

 

жесткий диск накрывается?

оперативка сыплется?

Share this post


Link to post
Share on other sites

С дисками/контроллером проблем нет , там кругом рейды 6 на сас дисках , и помимо торента так же ещё нагрузка записи тв каналов для услуги тайм шифт + там же сервер потокового вещания контента , + кэшер видимакса , + тест нагрузки на массивы под нагрузкой не показывает проблем

 

/dev/sdb:

Timing cached reads: 13590 MB in 2.00 seconds = 6802.15 MB/sec

Timing buffered disk reads: 946 MB in 3.00 seconds = 315.22 MB/sec

root@Debian-NAS:~# hdparm -Tt /dev/sdd

 

/dev/sdd:

Timing cached reads: 15144 MB in 2.00 seconds = 7580.37 MB/sec

Timing buffered disk reads: 554 MB in 3.28 seconds = 169.16 MB/sec

root@Debian-NAS:~# hdparm -Tt /dev/sda

 

/dev/sda:

Timing cached reads: 14922 MB in 2.00 seconds = 7471.43 MB/sec

Timing buffered disk reads: 54 MB in 3.01 seconds = 17.96 MB/sec

root@Debian-NAS:~# hdparm -Tt /dev/sdc

 

/dev/sdc:

Timing cached reads: 14954 MB in 2.00 seconds = 7488.55 MB/sec

Timing buffered disk reads: 728 MB in 4.34 seconds = 167.93 MB/sec

 

насчет оперативы затрудняюсь ответить , и опять таки , если бы была проблема аппаратная она была бы на всё , там как на этом серваке ещё крутиться мидлварь , стример иптв (порядка 500мбит мультикаста) , веб севрер с несколькими сайтами , мускуль , flow коллектор который постоянно пишет данные на диски + конвертирует всё это дело в мускуль и как бы проблем нет , проблема только с торрентом

Share this post


Link to post
Share on other sites

Тестировать нагрузку дисковой подсистемы лучше чем-то типа:

iostat -k -x -d 1

А ваши тесты просто показывают линейную скорость.

Еще в момент зависания лучше

pidstat 1

mpstat -P ALL 1

Share this post


Link to post
Share on other sites

Рторрент уже не торт. Щас везде в ембеддед трансмишн, под сидбоксы тожн хорош transmission-daemon

Share this post


Link to post
Share on other sites

Когда то давно когда пал выбор что же использовать , перепробовали много торрентов , у всех свои недостатки были , кто то не умел создавать а только лиш позволял добавить на загрузку , кто то не имел адекватной вебморды , кто то понимал только локальную файловую систему а не удалённую на которой стоит сам торрент , рторент тогда был вне конкуренции , понимал и умел всё что надо . думаю сейчас ситуация не изменилась.

 

Что интересно , ради эксперимента , перенёс рторрент на виртуалку , не меняя никаких конфигов всё скопипастил с мастер сервера , и всё работает... а на мастере нет...

Share this post


Link to post
Share on other sites

нужно поднять ретрекер

Он работает малость по другому, держит в кэше инфу о локальщиках ваших которые то или иное скачали, а потом их сдает желающему тоже самое скачать. Клиент Ваш получает локальную скорость. Эту фишку самые популярные торренты поддерживают. Как сейчас дела обстоят после блокировок не понятно.

 

Самому раздачу организовывать не советую идите по пути крупняков. тупо инфа и тупо ссылка на поиск торрента.

Share this post


Link to post
Share on other sites

мы далеко не крупняки , и наличие контента здорово снижает нагрузку на дорогущий аплинк , вот и требуется доведение до ума всего этого хозяйства

Share this post


Link to post
Share on other sites

Оно не особо эффективно будет работать, если будут просачиваться внешние сиды (а это будет происходить).

Сам, во времена когда такое пробовал, так и не нашёл решения.

Share this post


Link to post
Share on other sites

Оно не особо эффективно будет работать, если будут просачиваться внешние сиды (а это будет происходить).

Сам, во времена когда такое пробовал, так и не нашёл решения.

 

уточните плз о чем именно вы говорите ?

Share this post


Link to post
Share on other sites

уточните плз о чем именно вы говорите ?

Клиент первым делом получает огромное число пиров по DHT, к которым и пытается подключиться. При этом до локальных пиров дело попросту не доходит - исчерпан лимит подключений.

 

К тому же есть такая проблема, что 1 фильм качается в 10-20 разных вариантах. У меня на 42к абонентов лидер по числу пиров онлайн - что то там для GTA. Этот файл хотят до 20 человек сразу. На втором месте Чаппи с 16 пирами, дальше 11-12 и т.п. Если посчитать общее число клиентов, разделяющих ТОП-100 раздач, то их будет около 700.

 

Так что ретрекер это удовольствие скорее для абонента, чем для провайдера. Канал не сэкономите на этом.

Share this post


Link to post
Share on other sites

ок рассмотрим ситуацию

 

есть уникальный контент , которого больше нет нигде , как мне его скачать быстро ?

 

в клиенте весит "поиск пиров" ... и всё.. как такое лечить ?

Share this post


Link to post
Share on other sites

Если контента нет нигде то и скачать его никак нельзя. Если же он таки где то есть, то пиры найдутся по DHT или PeX. Ну и можно ручками попробовать поискать через btdigg.org или bitsnoop.com.

 

Ретрекер тут точно не поможет, его задача - быстро раздавать популярный контент. Но этому очень сильно мешает DHT, и наличие миллиона релизов одного и того же контента.

 

ТОП живых пиров на ретрекере на утро:

O0b0i810294858c8.png

Share this post


Link to post
Share on other sites

Может я не верно изложил мысль, уточняю ..

У меня есть допустим диск блюрей , я его потрашу , то есть выгрызаю из него (из контейнера .ts / m2ts) видео поток + аудио дорогу ( отдельно ) всё остальное , альтернативные потоки с разными разрешениями , дополнительные звуковые дорожки , куча субтитров - всё это идёт лесом , далее звуковая дорожка hd-dts конвертируется в простой dts что бы не было проблем с воспроизведением на некоторых девайсах , затем сие запаковывается обратно в контейнер .ts как правило и редактируется задержка что бы не было рассинхрона и получается тот же самый блюрей только размером в 2 раза меньше , но отныне этот контент становиться уникальным , и именно в этом хеше его нет на просторах интернета , далее это всё дело нагоняется в торрент и собственно раздаётся.

 

И вот полученный файлик я даю своему соседу он его кладёт в торрент... и не может скачать ... "подключение к пирам" либо он его всё таки находит и начинает тянуть но ооооочень медленно , а вот дал другому соседу он сразу же начинает тянуть на максимум , но потом может оборваться закачка либо же скорость плавно сходит на ноль а через время опять идёт скачивание...

 

как можно сделать так что бы клиент точно знал пир где можно скачать именно ЭТОТ контент , разумеется , по условию , он ВСЕГДА будет там где он раздаются всегда.

Share this post


Link to post
Share on other sites

Тогда вам не торрент поднимать а древний DC++ Hub, там тогда за пределы вашей сети не уйдут. Но там будут просто списком файлов. По Ретрекеру всетаки считаю что часть он забирает. В основном многие бегают по топам трекеров. ректрекер.локал отдаст ваших клиентов. главное чтоб хэши писались правильно и отдача желательно быстрая.

Share this post


Link to post
Share on other sites

как можно сделать так что бы клиент точно знал пир где можно скачать именно ЭТОТ контент , разумеется , по условию , он ВСЕГДА будет там где он раздаются всегда.

Отвечу как понял. Обеспечьте работу BEP 22 (http://www.bittorrent.org/beps/bep_0022.html). Для этого вынесите обратные зоны на opendns (причуда uTorrent) и сделайте SRV запись, указывающую на ваш ретрекер.

В результате ВСЕ клиенты, использующие uTorrent (самая популярная прога) будут "завернуты" в ретрекер автоматически. То есть, даже если добавить магнет ссылку вида "magnet:?xt=urn:btih:<hash>" (без торрент-трекера), то клиент автоматически начнет искать хеш на ретрекере.

 

Таким образом вы можете организовывать в своей сети раздачи без создания торрент файла и без каких либо настроек у пользователя (при условии, что они используют uTorrent).

Share this post


Link to post
Share on other sites

Дс это пройденный этап , нужен именно торрент.

 

а то что я при создании торрент файла указываю адреса трекеров где искать сей файл это стало быть побоку ?

 

http://bt.tracker.net/announce

http://retracker.local/announce

Share this post


Link to post
Share on other sites

а то что я при создании торрент файла указываю адреса трекеров где искать сей файл это стало быть побоку ?

 

Не, это будет учитываться, просто автоматически будет добавляться трекер, который укажете в SRV записи.

И тогда можно будет просто публиковать ссылки. Например, magnet:?xt=urn:btih:8B49451F23645BC56C4ECEF903AABD3CB9DB1D9D - будет самодостаточной рабочей ссылкой на wot_98.6035_97.5987_client.patch.

 

Если хотите, создавайте торрент в котором прописывайте http://retracker.local/announce явно. То же самое, но чуть сложнее.

Share this post


Link to post
Share on other sites

Если хотите, создавайте торрент в котором прописывайте http://retracker.local/announce явно. То же самое, но чуть сложнее.

 

Дак именно так и сделаны все торрент файлы , с добавлением 2х записей , трекера и ретрекера ... и вот такая кака которую описал..

 

а быть может трекер не работает ?

Share this post


Link to post
Share on other sites

а быть может трекер не работает ?

Клик по ссылке http://retracker.local/announce должен вывести что-то типа d14:failure reason17:Invalid info_hash12:min intervali1800ee.

 

Ретрекер по сути это 2-3 крохотных скрипта с базой. У нас вот этот: http://wiki.rutracker.org/Retracker.local

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this