Torent-клиент для сидирования большого кол-ва файлов

[hiller]

Пожалуйста, поделитесь опытом, кто и чем сидирует большие кол-ва торрентов?

Речьидет о 20-30к раздач. Какие торрент-клиенты это выдержат?

[jab]

 

эээ... пачка transmission ?

[zurz]

меня терзают смутные сомнения, не положит ли такой клиент при аннонсе торрент-трекер...

[hiller]

эээ... пачка transmission ?

Пока тоже склоняюсь к transmission или rtorrent. Не подскажите, какое +- оптимальное число торрентов можно повесить на один transmission?

Попробовал около 2к - еле-еле ворочается...

 

меня терзают смутные сомнения, не положит ли такой клиент при аннонсе торрент-трекер...

Для трекера, это не большая нагрузка...

[s.lobanov]

rtorrent, очевидно. можно веб-морду прикрутить типа wtorrent

[jab]

 

rtorrent на фре не работает под нагрузкой. Разрабы сваливают все на ошибку в компиляторе.

 

Пока тоже склоняюсь к transmission или rtorrent. Не подскажите, какое +- оптимальное число торрентов можно повесить на один transmission?

Попробовал около 2к - еле-еле ворочается...

Там были какие-то приключения со встроенным в клиент шейпером... Лечилось комментированием функции в сорцах.

[hiller]

rtorrent на фре не работает под нагрузкой. Разрабы сваливают все на ошибку в компиляторе.

 

Пока тоже склоняюсь к transmission или rtorrent. Не подскажите, какое +- оптимальное число торрентов можно повесить на один transmission?

Попробовал около 2к - еле-еле ворочается...

Там были какие-то приключения со встроенным в клиент шейпером... Лечилось комментированием функции в сорцах.

Поставил Transmission-daemon 2.03, поставил сидироваться 2500 файлов. Долго хэшировались (дольше, чем это делает тот же mktorrent), в стандартный web-интерфейс входить крайне не комфортно. 1 - тормозит сам transmission, 2 - тормозит браузер.

 

Отловил следующие ситуации:

1. Transmission раздает несколько медленнее, чем rtorrent (при одинаковых объемах).

2. Частенько transmission отдает часть сидируемого им файла, а потом теряется из виду, перестает отдавать, пока его не перезапустишь, причем, другие файлы отдает.

С точки зрения пользователя выглядит так: докачал до 70%, потом сид потерялся, но трекер рапортует, что сид есть. Трекер при этом, отдает пира правильно (сначала думали в трекере дело)!

 

Вот такая котовасия с этими клиентами. Есть у кого-либо мнения на этот счет?

[hiller]

rtorrent на фре не работает под нагрузкой. Разрабы сваливают все на ошибку в компиляторе.

 

Пока тоже склоняюсь к transmission или rtorrent. Не подскажите, какое +- оптимальное число торрентов можно повесить на один transmission?

Попробовал около 2к - еле-еле ворочается...

Там были какие-то приключения со встроенным в клиент шейпером... Лечилось комментированием функции в сорцах.

Погуглил, ничего не нашел. Может плохо искал. Не дадите ссылочку?

[Ivan_83]

rtorrent, очевидно. можно веб-морду прикрутить типа wtorrent

rutorrent поставил, нравится.

Выкорчевал из исходника весь консольный гуй.

Дописал rc.d скприпты.

Короче получил полноценную торрент качалку с веб гуем, которая живёт самостоятельно :)

 

rtorrent на фре не работает под нагрузкой. Разрабы сваливают все на ошибку в компиляторе.

У меня дома на 1 мегабите пашет без нареканий.

[hiller]

rutorrent поставил, нравится.

Выкорчевал из исходника весь консольный гуй.

Дописал rc.d скприпты.

Короче получил полноценную торрент качалку с веб гуем, которая живёт самостоятельно :)

Сколько у вас тысяч раздач на нем крутится?

Не дадите свою обрезанную версию посмотреть?

 

У меня дома на 1 мегабите пашет без нареканий.

У нас будет жить на двух серверах, на каждом по 4 гигабитных интерфейса. Раздавать будет внутри сети. На каждом сервере ~20-30 килораздач. Edited August 28, 2010 by hiller

[vitalyb]

rtorrent периодически падает с непонятными ошибками - то с хешем, то с шифрованием... бектрейсы есть в их багтрекере, но баги закрыты без решения проблем. Я бы такое по возможности в продакшн не ставил.

 

ИМХО что бы то ни было один инстанс этого 30000 раздач не потянет. Надо поднимать 100-1000 процессов и делить раздачи между ними. Тогда вырастет и надежность и сократится время хеширования, если оно понадобится.

 

[hiller]

Пока тестирую трансмишен, результаты не утешительные. В какой-то момент перестает подавать признаки жизни. Процесс весит, но ничего не делает. По http не отвечает. В логи тоже ничего толком не пишет :(

[s.lobanov]

У меня дома на 1 мегабите пашет без нареканий.

У нас будет жить на двух серверах, на каждом по 4 гигабитных интерфейса. Раздавать будет внутри сети. На каждом сервере ~20-30 килораздач.

И не страшно такое делать?

[hiller]

Вы про юридическую сторону вопроса?

 

Если да, то не страшно, это всего-лишь кэш p2p сцепленный с ретрекером, который качает файлы с наших юзеров и раздает другим юзерам...

Интерфейса к скачиванию этих файлов не подразумевается, кроме ретрекера...

[s.lobanov]

Ну да ладно, ваше дело...

 

Если про техническую сторону вопроса, то почему именно фря? Из чисто религиозных соображений или там что-то ещё крутится? Ну раз рторрент толком не работает под freebsd, transmission падает, то почему не запустить rtorrent под linux? 20-30k раздач не пробовал, но 100мбит он прожёвывает на раз-два.Консольный gui выкарчёвывать особо нет смысла, ну работает он в скрине и никому не мешает, тем более есть фичи(шейпер скорости по сетям), которые не умеют wtorrent и прочие

[hiller]

FreeBSD будет стоять пока на Linux не появится нативная (не FUSE) поддержка ZFS или пока не зарелизят стабильную версию BTR.

Сейчас BSD стоит только из-за ZFS.

 

Эксперименты продолжаются. На данный момент крутится куча трансмишенов, в каждом по 1000 раздач. Вроде работает, но под большую нагрузку еще не ставили.

 

 

Edited August 29, 2010 by hiller

[vitalyb]

FreeBSD будет стоять пока на Linux не появится нативная (не FUSE) поддержка ZFS или пока не зарелизят стабильную версию BTR.

Фороникс ZFS через месяц обещает :)

 

Вопрос из любопытства: используете ZFS L2ARC? меряли разницу на этой задаче между ZFS и теми же ext3-4 и сколько получилось? Или просто потому, что ZFS самая крутая фс в мире?

 

[hiller]

ZFS по причине удобства добавления/замены винтов. Скоростей хватало, что на ext4, что на ZFS. Планируется попробовать L2ARC. Через месяц сервер пойдет в продакшн, до этого момента поиграемся с L2ARC, если толк будет, будем использовать.

[RussianE39]

а почему не попробовать deluge ? Единственный торрент-клиент, который у меня нормально жил неделями при 800+ мегабитах отдачи и 300-400 раздачах.

PS 2vitalyb: ext3/ext4 как и все остальные фс линукс не могут обеспечить целостности данных на уровне ZFS. Поэтому да - самая крутая фс в мире ;-)

PPS 2hiller: Рекомендую попробовать OpenSolaris, разница при таких нагрузках вас приятно поразит. К сожалению в FreeBSD до сих пор нет хорошего I/O шедулера.

[hiller]

Про Deluge раньше не слышал. Будем смотреть, спасибо за наводку!

[starina]

Товарищи, не дадите ссылок на форумы про rtorrent? Русские желательно.

 

Начинаем работать примерно над такой-же задачей и пока только рисуем логику. Поэтому и вопросов будет много. И rtorrent пока кажется оптимальным.

[hiller]

У нас задача решена, ну или похоже на то. Пока под реальную нагрузку не поставишь, сложно что-то утверждать. Остановились на transmission-daemon, по 1000 торрентов на процесс. Синтетические тесты показали, что вполне работоспособно и не тормознуто, даже при просмотре состояния через web-междумордие.

 

[Ivan_83]

http://osprey.ibiblio.org/

наткнулся случайно

[hiller]

Интересная фишка. Изучаем. Спасибо!