[CartMan_1488]

Доброго времени суток

 

Собственно вопрос в теме , есть сервер на дебиане , есть сайт с торент ссылками ,есть хранище с файлами , нужно поднять ретрекер и сделать раздачу файлов с сервера , есть желающие оказать удалёную помощь ?

Изменено 24 апреля, 2015 пользователем CartMan_1488

[Bachaa]

Есть опыт общения глаза-в-глаза с сотрудником из органов с тремя понятыми и диким матом в аську "УАСЯ, ВАЛИ СЕРВЕР, МЕНТЫ В КОМНАТЕ!!!"

И потом периодические поездки в старые обшарпанные кабинеты с написанием объяснительных.

 

Подумайте трижды - оно вам надо?

[CartMan_1488]

Жизнь скучна и коротка... что бы дрожать от каждого шороха , и отвечая на ваш вопрос - да , надо !

[stas_k]

Что жизнь коротка - видно.

Была бы чуть длинее, знал бы про гугл. первая ссылка "как самому поднять ретрекер за три клика мышкой"

[CartMan_1488]

Уточню , на дебиане установлен rtorrent с вебмордой rutorrent который собственно и осуществляет раздачу всего и вся , с ним как мне кажется есть проблема , а именно клиенты с него скачивают через раз , и с разными скоростями то скорость 10мб то 200кб , то вообще пишет "подключение к пирам" и на этом всё , так же не давно "вдруг" он просто встал раком , вебморда не отвечает , процесс в консоли виснет и не отвечает на команды , если грохнуть папку sessions проблема исчезает , но стоит добавить допустим 5 файлов на отдачу , то каждые 2-3 минуты он виснет , потом отлипает , вебморда залипает с сообщение что rtorrent is down и отдача прекращается . Либо начинает скачиваться на полной скорости и через буквально минуту вся загрузка сводиться к нолю...

 

всё это наводит на мысли , что , что то вдруг стало не так , вот и прошу помощи разобраться .

Изменено 25 апреля, 2015 пользователем CartMan_1488

[stas_k]

стоит добавить допустим 5 файлов на отдачу , то каждые 2-3 минуты он виснет ,

...

что то вдруг стало не так

 

начинает пересчитывать блоки, активно юзает диск, кэш и память -> железная проблема.

 

жесткий диск накрывается?

оперативка сыплется?

[CartMan_1488]

С дисками/контроллером проблем нет , там кругом рейды 6 на сас дисках , и помимо торента так же ещё нагрузка записи тв каналов для услуги тайм шифт + там же сервер потокового вещания контента , + кэшер видимакса , + тест нагрузки на массивы под нагрузкой не показывает проблем

 

/dev/sdb:

Timing cached reads: 13590 MB in 2.00 seconds = 6802.15 MB/sec

Timing buffered disk reads: 946 MB in 3.00 seconds = 315.22 MB/sec

root@Debian-NAS:~# hdparm -Tt /dev/sdd

 

/dev/sdd:

Timing cached reads: 15144 MB in 2.00 seconds = 7580.37 MB/sec

Timing buffered disk reads: 554 MB in 3.28 seconds = 169.16 MB/sec

root@Debian-NAS:~# hdparm -Tt /dev/sda

 

/dev/sda:

Timing cached reads: 14922 MB in 2.00 seconds = 7471.43 MB/sec

Timing buffered disk reads: 54 MB in 3.01 seconds = 17.96 MB/sec

root@Debian-NAS:~# hdparm -Tt /dev/sdc

 

/dev/sdc:

Timing cached reads: 14954 MB in 2.00 seconds = 7488.55 MB/sec

Timing buffered disk reads: 728 MB in 4.34 seconds = 167.93 MB/sec

 

насчет оперативы затрудняюсь ответить , и опять таки , если бы была проблема аппаратная она была бы на всё , там как на этом серваке ещё крутиться мидлварь , стример иптв (порядка 500мбит мультикаста) , веб севрер с несколькими сайтами , мускуль , flow коллектор который постоянно пишет данные на диски + конвертирует всё это дело в мускуль и как бы проблем нет , проблема только с торрентом

[nuclearcat]

Тестировать нагрузку дисковой подсистемы лучше чем-то типа:

iostat -k -x -d 1

А ваши тесты просто показывают линейную скорость.

Еще в момент зависания лучше

pidstat 1

mpstat -P ALL 1

[HackerDeath]

Я ставил трансмишен в раздачу для такого дела.

[s.lobanov]

Рторрент уже не торт. Щас везде в ембеддед трансмишн, под сидбоксы тожн хорош transmission-daemon

[CartMan_1488]

Когда то давно когда пал выбор что же использовать , перепробовали много торрентов , у всех свои недостатки были , кто то не умел создавать а только лиш позволял добавить на загрузку , кто то не имел адекватной вебморды , кто то понимал только локальную файловую систему а не удалённую на которой стоит сам торрент , рторент тогда был вне конкуренции , понимал и умел всё что надо . думаю сейчас ситуация не изменилась.

 

Что интересно , ради эксперимента , перенёс рторрент на виртуалку , не меняя никаких конфигов всё скопипастил с мастер сервера , и всё работает... а на мастере нет...

[kirkr]

нужно поднять ретрекер

Он работает малость по другому, держит в кэше инфу о локальщиках ваших которые то или иное скачали, а потом их сдает желающему тоже самое скачать. Клиент Ваш получает локальную скорость. Эту фишку самые популярные торренты поддерживают. Как сейчас дела обстоят после блокировок не понятно.

 

Самому раздачу организовывать не советую идите по пути крупняков. тупо инфа и тупо ссылка на поиск торрента.

[CartMan_1488]

мы далеко не крупняки , и наличие контента здорово снижает нагрузку на дорогущий аплинк , вот и требуется доведение до ума всего этого хозяйства

[disappointed]

Оно не особо эффективно будет работать, если будут просачиваться внешние сиды (а это будет происходить).

Сам, во времена когда такое пробовал, так и не нашёл решения.

[CartMan_1488]

Оно не особо эффективно будет работать, если будут просачиваться внешние сиды (а это будет происходить).

Сам, во времена когда такое пробовал, так и не нашёл решения.

 

уточните плз о чем именно вы говорите ?

[xcme]

уточните плз о чем именно вы говорите ?

Клиент первым делом получает огромное число пиров по DHT, к которым и пытается подключиться. При этом до локальных пиров дело попросту не доходит - исчерпан лимит подключений.

 

К тому же есть такая проблема, что 1 фильм качается в 10-20 разных вариантах. У меня на 42к абонентов лидер по числу пиров онлайн - что то там для GTA. Этот файл хотят до 20 человек сразу. На втором месте Чаппи с 16 пирами, дальше 11-12 и т.п. Если посчитать общее число клиентов, разделяющих ТОП-100 раздач, то их будет около 700.

 

Так что ретрекер это удовольствие скорее для абонента, чем для провайдера. Канал не сэкономите на этом.

[CartMan_1488]

ок рассмотрим ситуацию

 

есть уникальный контент , которого больше нет нигде , как мне его скачать быстро ?

 

в клиенте весит "поиск пиров" ... и всё.. как такое лечить ?

[xcme]

Если контента нет нигде то и скачать его никак нельзя. Если же он таки где то есть, то пиры найдутся по DHT или PeX. Ну и можно ручками попробовать поискать через btdigg.org или bitsnoop.com.

 

Ретрекер тут точно не поможет, его задача - быстро раздавать популярный контент. Но этому очень сильно мешает DHT, и наличие миллиона релизов одного и того же контента.

 

ТОП живых пиров на ретрекере на утро:

[CartMan_1488]

Может я не верно изложил мысль, уточняю ..

У меня есть допустим диск блюрей , я его потрашу , то есть выгрызаю из него (из контейнера .ts / m2ts) видео поток + аудио дорогу ( отдельно ) всё остальное , альтернативные потоки с разными разрешениями , дополнительные звуковые дорожки , куча субтитров - всё это идёт лесом , далее звуковая дорожка hd-dts конвертируется в простой dts что бы не было проблем с воспроизведением на некоторых девайсах , затем сие запаковывается обратно в контейнер .ts как правило и редактируется задержка что бы не было рассинхрона и получается тот же самый блюрей только размером в 2 раза меньше , но отныне этот контент становиться уникальным , и именно в этом хеше его нет на просторах интернета , далее это всё дело нагоняется в торрент и собственно раздаётся.

 

И вот полученный файлик я даю своему соседу он его кладёт в торрент... и не может скачать ... "подключение к пирам" либо он его всё таки находит и начинает тянуть но ооооочень медленно , а вот дал другому соседу он сразу же начинает тянуть на максимум , но потом может оборваться закачка либо же скорость плавно сходит на ноль а через время опять идёт скачивание...

 

как можно сделать так что бы клиент точно знал пир где можно скачать именно ЭТОТ контент , разумеется , по условию , он ВСЕГДА будет там где он раздаются всегда.

[kirkr]

Тогда вам не торрент поднимать а древний DC++ Hub, там тогда за пределы вашей сети не уйдут. Но там будут просто списком файлов. По Ретрекеру всетаки считаю что часть он забирает. В основном многие бегают по топам трекеров. ректрекер.локал отдаст ваших клиентов. главное чтоб хэши писались правильно и отдача желательно быстрая.

[xcme]

как можно сделать так что бы клиент точно знал пир где можно скачать именно ЭТОТ контент , разумеется , по условию , он ВСЕГДА будет там где он раздаются всегда.

Отвечу как понял. Обеспечьте работу BEP 22 (http://www.bittorrent.org/beps/bep_0022.html). Для этого вынесите обратные зоны на opendns (причуда uTorrent) и сделайте SRV запись, указывающую на ваш ретрекер.

В результате ВСЕ клиенты, использующие uTorrent (самая популярная прога) будут "завернуты" в ретрекер автоматически. То есть, даже если добавить магнет ссылку вида "magnet:?xt=urn:btih:<hash>" (без торрент-трекера), то клиент автоматически начнет искать хеш на ретрекере.

 

Таким образом вы можете организовывать в своей сети раздачи без создания торрент файла и без каких либо настроек у пользователя (при условии, что они используют uTorrent).

[CartMan_1488]

Дс это пройденный этап , нужен именно торрент.

 

а то что я при создании торрент файла указываю адреса трекеров где искать сей файл это стало быть побоку ?

 

http://bt.tracker.net/announce

http://retracker.local/announce

[xcme]

а то что я при создании торрент файла указываю адреса трекеров где искать сей файл это стало быть побоку ?

 

Не, это будет учитываться, просто автоматически будет добавляться трекер, который укажете в SRV записи.

И тогда можно будет просто публиковать ссылки. Например, magnet:?xt=urn:btih:8B49451F23645BC56C4ECEF903AABD3CB9DB1D9D - будет самодостаточной рабочей ссылкой на wot_98.6035_97.5987_client.patch.

 

Если хотите, создавайте торрент в котором прописывайте http://retracker.local/announce явно. То же самое, но чуть сложнее.

[CartMan_1488]

Если хотите, создавайте торрент в котором прописывайте http://retracker.local/announce явно. То же самое, но чуть сложнее.

 

Дак именно так и сделаны все торрент файлы , с добавлением 2х записей , трекера и ретрекера ... и вот такая кака которую описал..

 

а быть может трекер не работает ?

[xcme]

а быть может трекер не работает ?

Клик по ссылке http://retracker.local/announce должен вывести что-то типа d14:failure reason17:Invalid info_hash12:min intervali1800ee.

 

Ретрекер по сути это 2-3 крохотных скрипта с базой. У нас вот этот: http://wiki.rutracker.org/Retracker.local