Перейти к содержимому
Калькуляторы

Трафик до youtube зажимают?

распространять и обновлять скрипты буду через git-hub

а ссылку приложить ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

по поводу шины осцилографа

у меня вот такой график нарисовался

http://clip2net.com/s/1C3XR

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

распространять и обновлять скрипты буду через git-hub

а ссылку приложить ?

ссылка на скрипты на git-hub https://github.com/dmvy/youtube-test/

скачать так:

dmvy@dmvy:~$ mkdir youtube
dmvy@dmvy:~$ cd youtube
dmvy@dmvy:~/youtube$ git clone git://github.com/dmvy/youtube-test.git ./
Cloning into ....
remote: Counting objects: 13, done.
remote: Compressing objects: 100% (10/10), done.
remote: Total 13 (delta 0), reused 13 (delta 0)
Receiving objects: 100% (13/13), 38.76 KiB, done.
dmvy@dmvy:~/youtube$ ls -la
total 196
drwxr-xr-x  3 dmvy dmvy   4096 2012-02-20 15:56 .
drwxr-xr-x 41 dmvy dmvy   4096 2012-02-20 15:55 ..
-rwxr-xr-x  1 dmvy dmvy   1965 2012-02-20 15:56 analyse.sh
drwxr-xr-x  8 dmvy dmvy   4096 2012-02-20 15:56 .git
-rwxr-xr-x  1 dmvy dmvy   1598 2012-02-20 15:56 graph.sh
-rwxr-xr-x  1 dmvy dmvy   1342 2012-02-20 15:56 index_gen.sh
-rw-r--r--  1 dmvy dmvy    283 2012-02-20 15:56 quality
-rw-r--r--  1 dmvy dmvy   2627 2012-02-20 15:56 README
-rwxr-xr-x  1 dmvy dmvy    966 2012-02-20 15:56 test.sh
-rw-r--r--  1 dmvy dmvy     25 2012-02-20 15:56 video
-rwxr-xr-x  1 dmvy dmvy 159180 2012-02-20 15:56 youtube-dl.py

 

Остальное делать по README

в ближайшее время выложу ссылку на свои графики

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

аналогичные скрипты для speedtest.net

https://github.com/dmvy/speedtest-test

dmvy@dmvy:~/speedtest$ git clone git://github.com/dmvy/speedtest-test.git ./
Cloning into ....
remote: Counting objects: 11, done.
remote: Compressing objects: 100% (9/9), done.
remote: Total 11 (delta 0), reused 11 (delta 0)
Receiving objects: 100% (11/11), 3.63 KiB, done.
dmvy@dmvy:~/speedtest$ ls -la
total 36
drwxr-xr-x  3 dmvy dmvy 4096 2012-02-20 16:11 .
drwxr-xr-x 42 dmvy dmvy 4096 2012-02-20 16:10 ..
-rwxr-xr-x  1 dmvy dmvy 1010 2012-02-20 16:11 analyse.sh
drwxr-xr-x  8 dmvy dmvy 4096 2012-02-20 16:11 .git
-rwxr-xr-x  1 dmvy dmvy 1169 2012-02-20 16:11 graph.sh
-rw-r--r--  1 dmvy dmvy  973 2012-02-20 16:11 hosts
-rwxr-xr-x  1 dmvy dmvy  664 2012-02-20 16:11 index_gen.sh
-rw-r--r--  1 dmvy dmvy 1948 2012-02-20 16:11 README
-rwxr-xr-x  1 dmvy dmvy  468 2012-02-20 16:11 test.sh

Остальное аналогично по README

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dmvy

Начал тестить тулзу, укажите, пожалуйста, что требуются дополнительные компоненты

(в моем случае на Gentoo кроме очевидного git это libfaketime и mtr, который, кстати, называется у меня mtrace)

Кроме того, обнаружил поблизости сразу два кэша Youtube в ТТК в Иркутске и МТС в Новосибе.

 

Кэши МТС, от меня пинг около 25 мс, что очень радует.

v1.lscache1.c.youtube.com -> 74.125.168.16
v2.lscache1.c.youtube.com -> 212.188.7.141
v3.lscache1.c.youtube.com -> 212.188.7.142
v4.lscache1.c.youtube.com -> 212.188.7.143
v5.lscache1.c.youtube.com -> 212.188.7.144
v6.lscache1.c.youtube.com -> 212.188.7.145
v7.lscache1.c.youtube.com -> 212.188.7.146
v8.lscache1.c.youtube.com -> 212.188.7.147
v9.lscache1.c.youtube.com -> 212.188.7.140
v10.lscache1.c.youtube.com -> 212.188.7.141
v11.lscache1.c.youtube.com -> 212.188.7.142
v12.lscache1.c.youtube.com -> 212.188.7.143
v13.lscache1.c.youtube.com -> 212.188.7.144
v14.lscache1.c.youtube.com -> 212.188.7.145
v15.lscache1.c.youtube.com -> 212.188.7.146
v16.lscache1.c.youtube.com -> 212.188.7.147
v17.lscache1.c.youtube.com -> 212.188.7.140
v18.lscache1.c.youtube.com -> 74.125.168.213
v19.lscache1.c.youtube.com -> 212.188.7.142
v20.lscache1.c.youtube.com -> 212.188.7.143
v21.lscache1.c.youtube.com -> 212.188.7.144
v22.lscache1.c.youtube.com -> 212.188.7.145
v23.lscache1.c.youtube.com -> 212.188.7.146
v24.lscache1.c.youtube.com -> 212.188.7.147

 

ТТК-шные кэши выловить сложнее, сначала их DNS 193.227.98.12 отдавал адреса вида 188.43.64.144, но затем перестал,

можно легко проверить, что это кэш гугла, зайдя браузером на 188.43.64.144

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

коллеги, предлагаю сделать распределенную систему мониторинга качества ю-тьюба.

есть некий набор скриптов, который с периодичностью в 30 минут проверяет скорость скачивания, заносит данные в лог-файл, по которому строится график и делается трассировка для ручного анализа. примеры графиков в приложении к посту. каждый выкладывает у себя на веб-странице результаты и обмениваемся ссылками. аналогичные скрипты есть для анализа серверов speedtest.net

распространять и обновлять скрипты буду через git-hub

Не выходит каменный цветок.

Скрипты поставил на CENTOS 5.7

Они работают пока выполняю test.sh вручную.

в ./etc/crontab

*/30 * * * * root run-parts /etc/cron.half

в дириктории

/etc/cron.half

лежит линк @test.sh

 

если зайти в эту дирикторию и стартануть его, то скрипт отрабатывает.

Если по крону то нет.

не отрабатывает youtube-dl.py, он не создает url

тестил так

 

#!/bin/sh

cd ..
cd ..
cd /youtube/

url=$(/youtube/youtube-dl.py --get-url -f 34 "http://www.youtube.com/watch?v=KQ6zr6kCPj8")
echo $url >> log.txt

 

все равно пустой рез-т, если через крон.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

гы разобрался )

из крона он не тот питон использовал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

коллеги, предлагаю сделать распределенную систему мониторинга качества ю-тьюба.

есть некий набор скриптов, который с периодичностью в 30 минут проверяет скорость скачивания, заносит данные в лог-файл, по которому строится график и делается трассировка для ручного анализа.

 

Для мониторинга качества youtube я использую smokeping, выбрал несколько серверов:

 

o-o.preferred.transtelecom-ovb1.v1.lscache3.c.youtube.com

o-o.preferred.arn02s01.v15.lscache3.c.youtube.com

v5.cache7.c.youtube.com

tc.v12.cache3.c.youtube.com

 

Получаются интересные графики, типа того, что на скриншоте.

post-55905-098618500 1335205035_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

cd /youtube/

 

url=$(/youtube/youtube-dl.py --get-url -f 34 "

)

 

у вас директория youtube в корневой системе находится? почему вы используете асболютный путь?

 

 

 

 

Для мониторинга качества youtube я использую smokeping, выбрал несколько серверов:

 

o-o.preferred.transtelecom-ovb1.v1.lscache3.c.youtube.com

o-o.preferred.arn02s01.v15.lscache3.c.youtube.com

v5.cache7.c.youtube.com

tc.v12.cache3.c.youtube.com

 

Получаются интересные графики, типа того, что на скриншоте.

 

нагляднее cacti + скрипт ping

graph_image.php.png

но на скорость это не всегда абсолютно влияет. нагрузка на дисковую подсистему сервера тоже снижает скорость.

 

вот наши наблюдения сокрости:

http://noc.telenet.ru/youtube/

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Похоже действительно начали зажимать, или по крайней мере бороться с "даунлоадерами".

4 хоста качают один и тот же ролик, из (слева направо сверху вниз): UK, NL, JP, RU

post-62749-083071500 1337458487_thumb.png

скорость скачивания упирается в 80 КБ/сек у всех четырёх.

Изменено пользователем rm_

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Похоже действительно начали зажимать, или по крайней мере бороться с "даунлоадерами".

4 хоста качают один и тот же ролик, из (слева направо сверху вниз): UK, NL, JP, RU

post-62749-083071500 1337458487_thumb.png

скорость скачивания упирается в 80 КБ/сек у всех четырёх.

В браузере заметил такую штуку - если смотреть low-rate видео, то сначала часть загружается очень быстро (3-7мбайт/с), а затем скорость падает примерно до скорости потока (притом падает скачком)

Но если открывать этот же ролик в HD (720/1080), то он загружается на скорости 3-7мбайт/с целиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Смотрю ролики с ютуба плеером Media Player Classic Home Cinema с помощью SVPtube из пакета SVP. В последнее время очень долгая буфферизация стала происходить, причём при просмотре из браузера всё идёт быстро и без задержек. Такое ощущение, что специально блокируется доступ к контенту из сторонних программ. Да что там говорить - брал как-то давно плеер BBK с заявленным просмотром роликов с ютуба, а через некоторое время он возьми, да и перестань их играть - запретили.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В браузере заметил такую штуку - если смотреть low-rate видео, то сначала часть загружается очень быстро (3-7мбайт/с), а затем скорость падает примерно до скорости потока (притом падает скачком)

Но если открывать этот же ролик в HD (720/1080), то он загружается на скорости 3-7мбайт/с целиком.

Там в коде плеера (аплета) есть параметр сколько качать на полной скорости, а дальше переключиться на меньший битрейт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В браузере заметил такую штуку - если смотреть low-rate видео, то сначала часть загружается очень быстро (3-7мбайт/с), а затем скорость падает примерно до скорости потока (притом падает скачком)

Но если открывать этот же ролик в HD (720/1080), то он загружается на скорости 3-7мбайт/с целиком.

Там в коде плеера (аплета) есть параметр сколько качать на полной скорости, а дальше переключиться на меньший битрейт.

ограничение происходит со стороны сервера. и чем выше общая скорость до видеосервера, тем больше удастся буферезировать.

 

80кбайт в секунду - это битрейт выбранного качества выбирайте в youtube-dl 720р.

 

сервера их не проверяют клиента. я качаю с помощью wget. возможно изменился алгоритм генерации прямой ссылки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

dmvy

Не подскажите, установил скрипты. запускаю, и что то они каждый раз по разному выполняются, то 40 минут, то 10...

 

вывод такой:

74.125.168.216

173.194.58.22 74.125.209.50

74.125.168.181

173.194.58.17

KQ6zr6kCPj8_360 2012-09-24_22:51:54;137

KQ6zr6kCPj8_720 2012-09-25_10:06:41;413

703x229

703x229

303x229

303x229

6OUpPKfcWvc_360 2012-09-25_10:10:21;151

6OUpPKfcWvc_720 2012-09-24_23:18:35;95.0

703x229

703x229

303x229

303x229

и иногда вываливается такое

Error: Cannot calculate the faketime offset in seconds, please re-try with a different timestamp.

Изменено пользователем Cramac

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да и в последнее время вот такое

--2012-10-07 22:35:49-- http://o-o---preferred---sn-2gb7ln7l---v10---lscache8.c.youtube.com/videoplayback?upn=M8z7WFaGSNc&sparams=cp%2Cgcr%2Cid%2Cip%2Cipbits%2Citag%2Cratebypass%2Csource%2Cupn%2Cexpire&fexp=927101%2C909708%2C914043%2C922401%2C920704%2C912806%2C900711%2C913546%2C913556%2C925109%2C919003%2C920201%2C912706%2C900816&ms=au&expire=1349658114&itag=22&ipbits=8&gcr=ru&sver=3&ratebypass=yes&mt=1349634912&ip=89.109.237.19&mv=m&source=youtube&key=yt1&cp=U0hTTlZQVl9GTkNOM19OSlpCOmpSU1hYdzdzSXhV&id=f26213769215978e&newshard=yes

Resolving o-o---preferred---sn-2gb7ln7l---v10---lscache8.c.youtube.com... 173.194.1.185, 2a00:1450:4014:9::17

Connecting to o-o---preferred---sn-2gb7ln7l---v10---lscache8.c.youtube.com|173.194.1.185|:80... connected.

HTTP request sent, awaiting response... 403 Forbidden

2012-10-07 22:35:49 ERROR 403: Forbidden.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

на днях поразбираюсь. но, уже понятно, что гугл ввел доп авторизацию для скачивания файлов. надо для начала обновить youtube-dl

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

поправил. необходимо в директории со скриптом сделать git pull

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вчера появилась проблема со стримингом видео с YouTube. Проблема плавающая - в прайм тайм не стримится ни одно видео. После 00:00 и утром через одно. В хроме, например, если кликнуть на воспроизведение, после крутящегося индикатора прогресса выдается ошибка - An error occurred. Please try again later. С соннективити до самих видео серверов проблем судя по всему нет. С полосой тоже все ок. Кто сталкивался, коллеги?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Написал в google по поводу пиринга на MSK-IX и проблем с YouTube, через некоторое время проблема практически исчезла, все видео стали стримиться, хотя и с периодической буферизацией.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да они вообще с утра перестали отдавать с Российских зеркал, походу.. У нас все прилетает с запада..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У нас в городе начинают подвывать на youtube.

Я и вправду не вижу привычного CDN на популярных роликах.

Кто-то ещё фиксирует последнюю неделю проблемы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я думаю они настраивают реализацию фильтров для нового закона.

А может просто что то сломалось.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Больше похоже на то, что трафик вырос слишком сильно, не успели проапгрейдить сеть в России. В прошлом году было примерно то же самое, разгребли уже после Нового года..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.