Перейти к содержимому
Калькуляторы

Каким софтом попроще вещать http unicast?

Нет, мы этой фигней не балуемся и 20 гигабит прекрасно обычными pread, write отдаются.

Максим, вы только озвучьте требования по железу для 20Гбит.

 

Блокирующий тред sendfile и непредсказуемые игрища с мапингом памяти — это не про предсказуемость, а больше про синтетические бенчмарки.

во-первых, заблокироваться можно только при отсутствии данных в page cache. во-вторых, ситуация тут абсолютно идентичная с pread, потому что он точно так же заблокируется при отсутствии странички в page cache.

в обоих случаях объезжается пулом потоков либо гарантиями что страницы точно в памяти.

 

Всё так же греет воздух копируя данные из юзерспейса каждому юзеру и в один поток?

 

так где есть смысл использовать sendfile - оно используется. там где оно не надо - не используется. это называется здравый смысл :-)

Андрей, вопрос про стриминг по http: там он есть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Андрей, вопрос про стриминг по http: там он есть?

 

Если отдача статики с диска - есть.

Если приём/обработка - нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Андрей, вопрос про стриминг по http: там он есть?

 

Если отдача статики с диска - есть.

Если приём/обработка - нет.

читд. многим хочется сценарий, когда астра берет на вход http/multicast и раздаёт псевдостримингом по http. файлы на диске можно трактовать как набор буферов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

астру впереди, nginx после, и пусть он раздает через sendfile с диска или с памяти

зачем превращать астру в монстра

 

не, можно конечно закрутить как иван сделал с msd

но какой смысл пытаться перегружать сеть когда все скоро уйдет в нормальный пиринговый тв протокол

где нужно будет всего лишь раздать десятку клиентов, а те дальше итд, чем сразу всем тысячам пытаться раздавать

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

астру впереди, nginx после, и пусть он раздает через sendfile с диска или с памяти

чтобы что? вы кусок конфига nginx покажите.

 

 

но какой смысл пытаться перегружать сеть когда все скоро уйдет в нормальный пиринговый тв протокол

где нужно будет всего лишь раздать десятку клиентов, а те дальше итд, чем сразу всем тысячам пытаться раздавать

такое хорошо работает только на массовых мероприятиях: спорт, новый год итп.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

я не юзаю, клиенты юзают и не парятся, какой смысл прогибать фронт, когда беком всегда какой то nginx или прочий проксик можно поставить

 

работает на любом количестве клиентов, хоть футбол, хоть мало популярный канал, но личеры убьют такую раздачу, в этом спору нет, для личеров нужен отдельный прокси только на раздачу

Изменено пользователем paradox_

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

я не юзаю, клиенты юзают и не парятся, какой смысл прогибать фронт, когда беком всегда какой то nginx или прочий проксик можно поставить

 

работает на любом количестве клиентов, хоть футбол, хоть мало популярный канал, но личеры убьют такую раздачу, в этом спору нет, для личеров нужен отдельный прокси только на раздачу

если речь про hls - да, можно влепить кеш на nginx. если речь про progressive download - не поможет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тоесть есть еще безумцы которые раздают не в hls ??? жуть

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

астру впереди, nginx после, и пусть он раздает через sendfile с диска или с памяти зачем превращать астру в монстра

И какой с этого профит?

 

но какой смысл пытаться перегружать сеть когда все скоро уйдет в нормальный пиринговый тв протокол где нужно будет всего лишь раздать десятку клиентов, а те дальше итд, чем сразу всем тысячам пытаться раздавать

1. Мечты - мечты

2. Кто это сделает?

3. Как это интегрировать с имеющейся техзникой и софтом?

 

тоесть есть еще безумцы которые раздают не в hls ??? жуть

Так никто до сих нормально HLS не стремится в клиентах реализовывать.

элтексы и маги делают ваще не по стандарту, самсунг только самую-самую первую версию сделал в телеках 2015 года так что твой хлс весьма уныл на практике и мало кому интересен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

какой смысл пытаться перегружать сеть когда все скоро уйдет в нормальный пиринговый тв протокол
Пиринг не позволяет ставить на паузу и перематывать.

В любом случае, всё идёт к vod - прямой эфир останется только для олимпиад, чемпионатов, и новогоднего выступления Путина.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И какой с этого профит?

ну так народ хочет sendfile, нет смысла перегружать фронтенд если у него другие задачи

1. Мечты - мечты

2. Кто это сделает?

3. Как это интегрировать с имеющейся техзникой и софтом?

есть

работает

есть пословица, к хорошему привыкаешь быстро, осталось решится на паблик

Так никто до сих нормально HLS не стремится в клиентах реализовывать.

да нормально оно везде работает

Пиринг не позволяет ставить на паузу и перематывать.

позволяет, есть, работает отлично

В любом случае, всё идёт к vod - прямой эфир останется только для олимпиад, чемпионатов, и новогоднего выступления Путина.

реалтайм лив связь нужна не только для путина в новый год и чемпионатов, так что к vod ничего не идет

Изменено пользователем paradox_

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну так народ хочет sendfile, нет смысла перегружать фронтенд если у него другие задачи

Те к твоей проге нужно ещё прог и серверов? )

А чем оно лучше ffmpeg с костылями/обвязкой и отличается чем то?

 

есть пословица, к хорошему привыкаешь быстро, осталось решится на паблик

Даже с открытыми и понятными исходниками на си и сборкой в отдельную либу с красивым, простым и понятным АПИ вряд ли что то взлетит.

HLS взлетел только потому что яблоко пихало его в свои поделки а всё остальное специально делало нерабочим, и у них на это ушли годы. И результат хреновый: как я писал выше оно никому не интересно, делают на ***ись.

 

да нормально оно везде работает

Везде!?

Сравни сколько плееров/железок умеют http и сколько из них при этом умеют hls, хотя бы не по стандарту сделанный а просто выкачивают лист и чанки в декодер пихают.

 

реалтайм лив связь нужна не только для путина в новый год и чемпионатов, так что к vod ничего не идет

Тут проблема в привычках и головах а не техническая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Те к твоей проге нужно ещё прог и серверов? )

А чем оно лучше ffmpeg с костылями/обвязкой и отличается чем то?

да получше чем msd которая только zerocopy на выходе и умеет, даже splice между сокетами не можешь сделать ?

выиграшь в 10% на сисколах никому не нужен кроме пиарщиков которые не знают чем зацепить клиента

Даже с открытыми и понятными исходниками на си и сборкой в отдельную либу с красивым, простым и понятным АПИ вряд ли что то взлетит.

да уже все давно работает

HLS взлетел только потому что яблоко пихало его в свои поделки а всё остальное специально делало нерабочим, и у них на это ушли годы. И результат хреновый: как я писал выше оно никому не интересно, делают на ***ись.

причем здесь hls и еппл, то совсем другая технология

и hls взлетел не потому что еппл навязал, а потому что не было других хороших альтернатив и никто как досих пор и иван не понимают как работает video streaming

Везде!?

Сравни сколько плееров/железок умеют http и сколько из них при этом умеют hls, хотя бы не по стандарту сделанный а просто выкачивают лист и чанки в декодер пихают.

залез в гугл, сравнил открытую статистику по миру у одних перцев

http://blog.wmspanel.com/2016/11/state-of-streaming-protocols-november-2016.html

The metrics calculations are based on ~3.7 billion views.

Protocols share remain stable, i.e. HLS share is about 77% with RTMP around 12% and progressive download near 5%.

77% неправильно умеющих hls железок, лол

так а как же правильно ? по стандарту как ? выкачивать чанк и дальше с ним что ?

Изменено пользователем paradox_

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

да получше чем msd которая только zerocopy на выходе и умеет, даже splice между сокетами не можешь сделать ?

Не могу, да это и не нужно.

Сплайс делается только со стримовыми дескрипторами: файлами и всякими тцп, а вот юдп не стримовый.

Кроме того у меня есть некоторая обработка перед отправкой, и даже если без неё то прекеш всё равно нужно где то хранить.

Поэтому сплайс тут не применим.

 

да уже все давно работает

Как обычно у тебя всё работает но никто об этом не знает.

Ядра ОС ты патчишь но никому не показываешь...

 

и hls взлетел не потому что еппл навязал, а потому что не было других хороших альтернатив и никто как досих пор и иван не понимают как работает video streaming

Альтернатив только для раздачи маловато.

 

залез в гугл, сравнил открытую статистику по миру у одних перцев http://blog.wmspanel...ember-2016.html The metrics calculations are based on ~3.7 billion views. Protocols share remain stable, i.e. HLS share is about 77% with RTMP around 12% and progressive download near 5%. 77% неправильно умеющих hls железок, лол так а как же правильно ? по стандарту как ? выкачивать чанк и дальше с ним что ?

Ну да, по статистике интернета 100% людей пользуются интернетом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

так полноценный zerocopy как раз таки на splice и твоем любимом tcp )))

 

альтернатив раздачи hls? мУльен! и все работают правильно по стандарту, я смотрел на соурсы mediastreamsegmenter(https://github.com/creeveliu/HTTPLiveStreamingTools.git) от самого еппла, там все так же как и у других

 

так как правильно hls по стандарту то ? иван не ответил на вопрос, но доказывает что везде неправильно - абсурд!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

так полноценный zerocopy как раз таки на splice и твоем любимом tcp )))

Так sendfile() обеспечивает zerocopy при отправке, те отправка получается бесплатная почти что.

Приём нет, потому что обработка нужна и потому что не получается с юдп.

Но это нифига не проблема, ибо принимать гиг мультикаста не напряжно даже для атомов нынче.

А поскольку раздача тоже почти ничего не жрёт получается что любой "сервер" на атоме может легко транслировать гиг.

За больше не поручусь - у меня пока 10г для погонять нет в стенде.

Но это в msd.

 

альтернатив раздачи hls? мУльен! и все работают правильно по стандарту, я смотрел на соурсы mediastreamsegmenter(https://github.com/c...eamingTools.git) от самого еппла, там все так же как и у других

так как правильно hls по стандарту то ? иван не ответил на вопрос, но доказывает что везде неправильно - абсурд!

Для непонятливых объясняю.

Учись читать: я писал что не по стандарту сделано очень много клиентов HLS.

К серверам у меня претензий нет - я их просто не изучал. Порезал ффмпегом и раздавал нгинхом (без всяких доп модулей для этого, те вместо нгинха мог быть лайти или ваще иис).

Претензии к клиентам.

Свечку держать не надо, иметь исходники тоже чтобы понять что там налабали абы как: берём спецификацию 1.0 читаем что там написано, видим параметр и возможные значения, видим что нужно делать при значениях выходящих за разрешённые пределы, далее ставим такие значения и скармливаем клиентам, если возмутились/что то поменялось значит клиент параметр понимает и использует, если ничего не поменялось - значит клиент болт положил на стандарт.

Например, помню что в плей листе указывается версия протокола, если клиент такого не умеет то должен отваливаться.

Самсунг честно отваливался. длинк и элтекс вообще туда походу не смотрели, и можно было вместо 1.0 написать 1000001.99999 - никакого эффекта.

Ну или вот номера, длинк просто использует atoi() которая int и больше 2 ярдов не понимает, хотя по стандарту там можно uint64_t выдавать клиентам.

Шифрование - только самсунг, остальные клиенты не слышали.

Предел безумия был в том, что две разных модели элтекса по разному работали с hls - те у них кодовая база не единая, притом версии прошивок были последние.

Ну и вот так я прошёлся по многим параметрам от 1.0, только самсунг реалировал хоть как то на всех и делал это адекватно. Длинки и элтексы просто никак не реагировали почти на все параметры, они тупо скачивали чанки и всё.

Если бы читал спеки hls то знал бы что это не правильно и такое поведение не соответствует стандарту.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

rfc это рекомендации а не стандарт

вот msd умеет chunked transfer а bytes-ranges запросы? а как msd будет реагировать на входе и выходе с этим ? аяяй не по стандарту msd

так точно и hls, есть минимум на котором он едет, ну ненужно на клиенте обработка длинны сегмента во времени, хоть int там хоть float

у клиента своя логика обработки которая в этом параметре не нуждается и ок

msd кстати когда уже hls input по стандарту будет уметь?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это для тебя рекомендации, а для производителей - стандарт.

Чунки на входе умеет, на выходе в них смысла нет. bytes-ranges тоже нет, ибо в них смыла нет ни в клиентской части ни в серверной.

hls вход не востребован, скорее msd начнёт само с тюнерами работать чтобы выкинуть астру с её закидонами и костылями.

 

Так проблема с такими недоклиентами в том, что нарваться на их особенности недореализации довольно легко.

Включил шифрование - всё, клиенты сдохли.

Постоял стример долго, счётчик ушёл за положительную часть int и они сдохли и больше не подключаются.

Куча особенностей восстановления после рестарта стримера.

А главное ради чего всё это? Чтобы можно было заюзать хттп сервер для раздачи?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну я вот как раз делал проксик, который на вход жрет hls, а на выходе собирает из этого поток.

кодер ещё для каждого чанка формирует карту timestamp => offset, что позволяет делать нормализацию.

плюс, для каждого клиента отслеживается время которое он тратит чтобы забрать сегмент и исходя из этого времени и длительности сегмента вносится случайная задержка перед отдачей нового сегмента.

 

в итоге, на выходе нет пилы и практически ровный график tx.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

rfc всегда были есть и будут рекомендациями а не стандартом

 

а какие в астре закидоны и костыли ? а то может и мне надо с тюнером работать а я не знаю?))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не умеет сама корректно определять что поток сыпется и не умеет корректно перезапускать тюнера. Релоад тюнера не отпускает и многие вещи просто не лечит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

заметано, ждем релиза правильного msd, в котором будет hls input по стандарту, все hls версии включая 4

правильная работа с тюнерами

и апогеем всего этого, конечно же будет ожидать полного провала астры и ухода ее со сцены

все выставки по ТВ заполонит msd, китайцы будут встраивать его в свои moi железки

а все хакеры мира будут пытаться взломать непобедимую лицензионную онлайн защиту msd

это конечно же победа, имя и фамилия автора msd прочно войдет в интернет аналы, вики, абсурдопедии и лурка, баш будет разрываться в оплесках

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

а никто не хочет нарисовать демотиватор ? "иван победитель астры" ой, то есть "msd превзошел астру"

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не умеет сама корректно определять что поток сыпется и не умеет корректно перезапускать тюнера. Релоад тюнера не отпускает и многие вещи просто не лечит.

 

Пожалуйста, не надо врать публично.

В новых версиях нет проблем с тюнерами.

Анализатор также проверяет всю информацию о потоке и переключает на резерв если необходимо.

Изменено пользователем and_cesbo

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну так я и не использую "новых" версий, только ту что с исходниками. Как и многие другие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.