[bokl]

после разговоров с интегратором пришли к выводу, что многие неправильно систему кэширования ставят, вот и эфективность её не проявляется.

простой пример:

1) оператор поставил систему кэширования, дал ей айпишник из пула внутренних сетей(скорость на которые не ограничена). результат:

торренты абоны качают на бешеной скорости с внутренних ресурсов плюс на скорости тарифа с инета. Получается что экономии вроде как нет, так как апстрим загружен так же.

Если бы трафик на кэш считался внешним, то эффективность была бы выше, и была бы экономия.

 

2) Системы кэширования типа oversi выступают активкой в сети. в этом случае для торрентов, например, это жирный сидер. которого на сколько я знаю торрент клиент не факт что

будет использовать если сидеров больше чем лимит конектов. Если же кэш типа peerapp ставящегося прозрачно(могу ошибаться) то отдача контента идет в режима Men in the middle.

В данном случае коннекс с пиром в инете поддерживается но трафик отправляется уже системой кэширования, а до пира запросы тупо не доходят. В этом случае эффективность еще выше.

 

Собираемся брать на тест.

[Ivan_83]

С торрентами всё не так сложно, скорее наоборот всё проще. Кешировать их у себя - нафик не упёрлось - для этого есть абоненты :) . Мен ин мидле - слишком сложно в реализации и ресурсах. И если оно сдохнет - заметят все.

 

Сейчас допиливаю и тестирую систему которая будет фильтровать отдаваемые трекерами пиры: если локальных пиров больше заданного минимума то юзер будет видеть только локальные пиры. С плюшек - туда же цепляется любое количество ретреков/трекеров, те можно брать пиров от пиринг партёнов с их ретрекеров и свои там будут зареганы. От юзера ничего не требуется. Статистика ему будет также идти. Минусом только что на внешние трекеры юзер будет попадать с адресом прокси и DTH пока никак вообще. Плюсом провайдеру - всякие приватные трекеры, которые не прописывают ретракерлокал, всё равно по факту им пользоваться будут - при желании провайдера.

 

Риски отказа минимальны: заворачивается траф отдельных IP на nginx, который часть проксирует напрямую, а часть на софтину. Падает софтина - nginx проксирует всё сам, падает он - на фаере снимаем заворот трафика, притом что падение не сильно и заметно: не качается торрент только что добавленный.

 

 

[Ivan_83]

Как бы Вам для всеобщего блага поделиться конфигом стабильно работающего сквида в качестве прозрачного прокси? Ну очень нужно : )

 

Ещё nginx умеет проксировать и кешировать.

 

 

[disappointed]

С плюшек - туда же цепляется любое количество ретреков/трекеров

 

Я сделал попроще, допилил скрипт нашего ретрекера,

чтобы он забирал "чужих" пиров с чужих трекеров/ретрекеров (пиринговых партнёров).

[Voicemaster]

Мазохисты;-)

[Ivan_83]

Мне тоже предлагали по началу или пхп скрипт переписать или на хбт посмотреть - допилить, но я решил что проще на си с нуля написать, заодно возможностей сильно больше, в сравнении с пхп, и быстрота, а также оно у меня не последовательно трекеры опрашивает а параллельно. kqueue рулит, хз как это на линух/epoll переносить.

[Ivan_83]

Мазохисты;-)

 

Вовсе нет :)

 

Я скорее всего себе это и домой поставлю, в кач прокси для общения торрент клиента с трекерами - чтобы оно вылавливало побольше локальных пиров со всевозможных открытых трекеров и ретрекеров и по меньше отдавало не локальных, тк у меня с локальных скорость по больше. Хотя эффект не такой будет, как на стороне оператора.

 

 

[telematic]

Продолжаю изучать subj. Да есть ещё Oversi но там ценник раза в три выше. После поверхностного изучения - вроде бы в Oversi есть встроенный DPI, а для PeerApp нужен внешний.

[Lovetc]

telematic

В каком смысле "нужен"? Peerapp может работать в прозрачном для сети режиме, установленный на ip линк "в разрез". Никаких DPI при этом ему не нужно. Может работать в связке с DPI, если DPI умеет так же прозрачно отвернуть часть трафика и вернуть обратно. В последнем случае на вход Peerapp можно подавать только конкретные протоколы. С учетом того, что у всех кеширующих систем что я видел, лицензионная политика строится на оплате "дополнительно отданного на выходе трафика", особого смысла отрезать что-то на входе не вижу: серверные мощности сейчас недороги. DPI с Peerapp никак не взаимодействует и никак не влияет на качество проксирования.

 

У Oversi другая архитектура, которая приводит к тому, что работа в прозрачном режиме невозможна, а требуется либо PBR, либо поднять BGP с маршрутизаторами, либо использовать возможности DPI по анализу трафика и его редиректу. На мой взгляд у Oversi больше архитектурных минусов, но есть и ряд плюсов в долгосрочной перспективе. Непонятно только сыграют ли они.

 

Вот что реально интересно, это правовые аспекты применения такого оборудования в РФ. То что обещают соответствия всяким DMCA к нашим реалиям имеет мало отношения

[EDA_SPB]

Коллеги, а кто-нибудь знает порядок цен на решение PeerApp?

[telematic]

На мой взгляд у Oversi больше архитектурных минусов, но есть и ряд плюсов в долгосрочной перспективе. Непонятно только сыграют ли они.

 

А с этого места можно поподробнее?

[Lovetc]

Да ничего особенного: Peerapp легко встает в любую сетевую инфраструктуру так как прозрачен. Oversi требует ip адрес и соответственно изврата в любой крупной сети, особенно с "историческим наследием". Но последний может быть использован при кешировании шифрованного торрента так как он же по сути пир. Сильно перевесит шифрование, или может быть Peerapp что-то придумает - только время покажет. А еще отдельной строкой сравнения идет занимаемое место/электропитание. Особенно для систем производительностью 10GE

[telematic]

или может быть Peerapp что-то придумает - только время покажет.

PeerApp боится правообладателей, поэтому ничего не придумывает. И торрент кеширует фигово. Вернее, на диск себе он его пишет, а вот абонентам не отдаёт почти. На диск записывается 60% торрент и 40% Http, а вот из кэша выдаётся 98% http и 2% Р2Р

[telematic]

Вот, кстати, полезная выжимка из блога сотрудника ISP про использование PeerApp - http://steve.blogs.exetel.com.au/index.php?serendipity%5Baction%5D=search&serendipity%5BsearchTerm%5D=peerapp&serendipity%5BsearchButton%5D=%3E

[bokl]

с шифрованными торентами предложили бороться запиливанием оных на DPI. тогда клиенты перейдут на нешифрованный протокол.

 

обещали сделать кеширование шифрованного.

[vIv]

с шифрованными торентами предложили бороться запиливанием оных на DPI. тогда клиенты перейдут на нешифрованный протокол.

Да щаааз! :-)

Если у сидов шифрованное only, то проще провайдера поменять, чем обзванивать всех сидов и просить их сменить настройки.

 

обещали сделать кеширование шифрованного.

Это как? MiM?

[ashkalikov]

2bokl

 

Это когда это PeerApp обещал сделать кеширование шифрованного торрента?

 

Коробка может быть установлена на низкоскоростных и дорогих линках - не везде в России есть доступ по проводам.

Есть еще и Интернет через спутник.

[telematic]

Посчитал на коленках - покупка устройства PeerApp имеет экономический смысл, если у вас мегабит полосы у аплинка стоит не менее 500 руб/мес.

[SmokerMan]

Посчитал на коленках - покупка устройства PeerApp имеет экономический смысл, если у вас мегабит полосы у аплинка стоит не менее 500 руб/мес.

А из чего исходили в расчетах?

[alks]

telematic посмотрите на оверси, там такая архитектура что собствтенно им похеру какой торент криптованный или нет

[telematic]

telematic посмотрите на оверси, там такая архитектура что собствтенно им похеру какой торент криптованный или нет

 

Скоро буду смотреть.

 

Посчитал на коленках - покупка устройства PeerApp имеет экономический смысл, если у вас мегабит полосы у аплинка стоит не менее 500 руб/мес.

А из чего исходили в расчетах?

 

Цена устройства.

Производительность устройства.

Эффективность устройства.

[ashkalikov]

2telematic

 

К сожалению, действительность по PeerApp еще хуже :(

Реально, если 1Mbps стоит менее 100USD, на PeerApp смотреть не стоит.

Срок окупаемости будет больше 1 года.

 

Oversi выступает в виде SuperSeed'a. То есть у оператора стоит сервер, с которого раздаются торренты. Это может быть чревато.

[alks]

 

Oversi выступает в виде SuperSeed'a. То есть у оператора стоит сервер, с которого раздаются торренты. Это может быть чревато.

 

там можно держать скажем 80% файла

[ashkalikov]

2alks

 

http://www.vedomosti.ru/tech/news/1576781/policiya_zagruzila_fajl

Главное следственное управление Москвы подозревает пользователя программы обмена файлами DC++ в распространении детского порно. Он скачивал файлы, считая их телесериалом, а с его компьютера они были доступны другим

[alks]

да я понимаю, но есть пара моментов

1. Там лежит не весь файл, чек сумма файла не совпадет и исходным до которого хотят докопаться

2. сам кэш явно в сети не виден

3. кеш не ПУБЛИКУЕТ/распространяет контент - а это основная тема за которую цепляют клиентов.