ThreeDHead Posted March 2, 2013 · Report post Проблема такая, ютуб смотрим с американских серверов, причем имея в стране два GGC. Немного поразбиравшись в проблеме, решили попробовать перенаправить трафик к серверам (r5---sn-25g7sb76.c.youtube.com) на местный GGC. Т.к. имена доменов непонятно как генерятся, хочется все запросы нашему ДНС'у на *.c.youtube.com отвечать местными айпишниками. Есть подобный механизм в конфигах BIND9? Может конфиг регулярки какие поддерживает? Share this post Link to post Share on other sites
ipaddr.ru Posted March 2, 2013 · Report post С учетом того, что c.youtube.com - это отдельная зона со своими NS-ами, вам ничто не мешает поднять её локально и написать в ней что угодно. Share this post Link to post Share on other sites
orlik Posted March 2, 2013 · Report post Проблема такая, ютуб смотрим с американских серверов, причем имея в стране два GGC. Немного поразбиравшись в проблеме, решили попробовать перенаправить трафик к серверам (r5---sn-25g7sb76.c.youtube.com) на местный GGC. Т.к. имена доменов непонятно как генерятся, хочется все запросы нашему ДНС'у на *.c.youtube.com отвечать местными айпишниками. Есть подобный механизм в конфигах BIND9? Может конфиг регулярки какие поддерживает? только есть одна проблема , принудительное заворачивание не ggc может негативно сказаться на сервисе , некоторые ролики перестанут грузиться (те которых нет в кеше). Я на это напоролся некоторе время назад , думаю будет лучше написать админам провайдера у которых стоит кеш и убедиться , для начала, что ваши префиксы анонсятся в сторону ggc ... Я пробовал поднимать зону youtube локально и заворачивать туда клиентский трафик, раньше (год назад) это работало , сейчас уже нет , но вам ничто не мешает попробовать , главное для начала не заворачивайте туда всех клиентов :) P.S. а не пробовали посмотреть сколько у вас трафика на них и поставить свои сервера ggc ? P.P.S. у вас же вроде кешировалка стоит , неужели так много трафика из-за рубежа тянет ? Share this post Link to post Share on other sites
ThreeDHead Posted March 2, 2013 · Report post Проблему решили забавно. За видеороликами ютуба нас всегда направляло на сети 208.65.152.0/22 и 208.117.224.0/19 обе эти сети находятся в US. НАТ'ом занимается пул серверов под лиуксом, добавив две строчки: iptables -t nat -I PREROUTING -s 10.X.Y.Z/NET -d 208.65.152.0/22 -p tcp --dport http -j DNAT --to-destination 89.218.72.76 iptables -t nat -I PREROUTING -s 10.X.Y.Z/NET -d 208.117.224.0/19 -p tcp --dport http -j DNAT --to-destination 89.218.72.76 Направили пакеты к местному GGC. А теперь логика: 1. Плеер (или сама система гугла) понимает куда обращается. Т.е. я в наглую отправил пакет вообще в другую степь, он это понял и попытался с него брать контент. 2. Если это контента нет в местном GGC, то плеер (или система его перенаправляет) в другое место, как они выбирают "куда", я не в курсе. И так он кружит до тех пор, пока не найдет сервера с нужным контентом. И это радует. Но осталась небольшая проблема - сети заворачиваются _целиком_, а в них могут быть и другие гуглосервисы... И вторая проблема, если её решать как я спросил выше (через BIND) - то вообще испортится всё. Share this post Link to post Share on other sites
yegorov-p Posted March 2, 2013 · Report post Поддерживаю, у вас 300 мегабит в сторону гугла есть в пике? Share this post Link to post Share on other sites
ThreeDHead Posted March 2, 2013 · Report post P.S. а не пробовали посмотреть сколько у вас трафика на них и поставить свои сервера ggc ? Отказали, даже на обещание обслуживать регион. P.P.S. у вас же вроде кешировалка стоит , неужели так много трафика из-за рубежа тянет ? Но она же не резиновая. И как она там Ютуб кеширует никому не известно. Поддерживаю, у вас 300 мегабит в сторону гугла есть в пике? Есть конечно. Но они лимиты задрали уже. Share this post Link to post Share on other sites
orlik Posted March 2, 2013 · Report post Но осталась небольшая проблема - сети заворачиваются _целиком_, а в них могут быть и другие гуглосервисы... это легко проверить , посмотрите во что резолвятся googleusercontent.com mail.google.com google.com и вы сами все поймете , проверьчто чтоб все сервисы работали , может и будет счастье Share this post Link to post Share on other sites
ThreeDHead Posted March 2, 2013 · Report post это легко проверить , посмотрите во что резолвятся googleusercontent.com mail.google.com google.com и вы сами все поймете , проверьчто чтоб все сервисы работали , может и будет счастье Проверил, вроде все нормально. Прям нарадоваться не могу, 720p влёт кешируется. Сейчас день, а 200 Мбит с основного канала уже снял, счастье прям. Share this post Link to post Share on other sites
vlad11 Posted March 2, 2013 (edited) · Report post За видеороликами ютуба нас всегда направляло на сети 208.65.152.0/22 и 208.117.224.0/19 обе эти сети находятся в US. НАТ'ом занимается пул серверов под лиуксом, добавив две строчки: iptables -t nat -I PREROUTING -s 10.X.Y.Z/NET -d 208.65.152.0/22 -p tcp --dport http -j DNAT --to-destination 89.218.72.76 iptables -t nat -I PREROUTING -s 10.X.Y.Z/NET -d 208.117.224.0/19 -p tcp --dport http -j DNAT --to-destination 89.218.72.76 Направили пакеты к местному GGC. Что мешает прописать роуты внаглую? Ведь местный шлюз к GGC вы знаете. наголовном бордере: route add 208.65.152.0/22 $ip_border_2 route add 208.117.224.0/19 $ip_border_2 на бордер №2 route add 208.65.152.0/22 89.218.72.76 route add 208.117.224.0/19 89.218.72.76 Edited March 2, 2013 by vlad11 Share this post Link to post Share on other sites
ThreeDHead Posted March 2, 2013 · Report post P.P.S. у вас же вроде кешировалка стоит , неужели так много трафика из-за рубежа тянет ? Посмотрел. Также как и весь остальной трафик, система кеширует Ютуб порядка ~35% Share this post Link to post Share on other sites
ThreeDHead Posted March 4, 2013 · Report post Блин, не так все просто оказалось. Сегодня разворачиваешь одни сети, наутро начинают анонсировать другие... Додобавляли до тех пор, что вообще перестали ролики грузиться. Пришлось анализировать http-трафик на предмет запросов на .c.youtube.com их складывать в журнал, раз в час самые популярные /24 сети разворачивать на местный GGC. Т.о. система сама, автоматически будет подстраиваться. Посмотрим, на сколько успешно сработает. Share this post Link to post Share on other sites
t0ly Posted March 5, 2013 · Report post как то уж очень "костыльно" это Share this post Link to post Share on other sites
orlik Posted March 5, 2013 · Report post как то уж очень "костыльно" это Да, но это реальный способ съэкономить полосу, а при наших ценах на трафик... Но это конечно если это юудет работать .... Share this post Link to post Share on other sites
Sonne Posted March 5, 2013 · Report post Интересно, почему никто не хочет поставить прокси-кеш для ютуба? http://forum.nag.ru/forum/index.php?showtopic=77232 Я хотел протестировать обсуждаемое решение, но пока острая необходимость отпала, а времени на все не хватает как обычно. Share this post Link to post Share on other sites
alkanaft Posted March 5, 2013 · Report post вот нетфликс например вот такие каропки бодяжит. даже написали на какой фрибзде, берде и нгинксе сделали и какую мамку супермикро заюзали https://signup.netflix.com/openconnect/hardware при том проект чисто коммерческий, а гугль получается такой открытый и свободный зажал для своих же клиентов кешировалку. хрень какая-то.... Share this post Link to post Share on other sites
Sonne Posted March 5, 2013 · Report post Посмотрел Netflix - офигенно! Вот только каропки высылают только на территорию действия сервиса, а территория действия - США и кажется Швеция/Норвегия. Share this post Link to post Share on other sites
ThreeDHead Posted March 6, 2013 · Report post как то уж очень "костыльно" это В норме всё. Сейчас система работает нормально, 2/3 трафика направляет в региональный GGC. Абоненты начали смотреть ролики в 720p. Share this post Link to post Share on other sites
orlik Posted March 6, 2013 · Report post как то уж очень "костыльно" это В норме всё. Сейчас система работает нормально, 2/3 трафика направляет в региональный GGC. Абоненты начали смотреть ролики в 720p. как в итоге завернули то ? Share this post Link to post Share on other sites
ThreeDHead Posted March 6, 2013 · Report post как в итоге завернули то ? Ну, собственно, я уже ключевой момент перенаправления уже написал. Вчера связались со специалистами Гугла, те обещали помочь. Сегодня сказали что сделали, мы отключили принудительное перенаправление. Сперва отдавалось с регионального GGC, а в ЧНН начало отдаваться с Европы :( Отписали им, ждемс. Share this post Link to post Share on other sites
orlik Posted March 7, 2013 · Report post Вчнн даже клиенты самого телекома перенаправляются в европу , т.к. Ggc сервера перегружены Share this post Link to post Share on other sites
ThreeDHead Posted March 7, 2013 · Report post Вчнн даже клиенты самого телекома перенаправляются в европу , т.к. Ggc сервера перегружены Саппорт КТ говорит обратное. Share this post Link to post Share on other sites
replicant Posted March 7, 2013 · Report post Вчнн даже клиенты самого телекома перенаправляются в европу , т.к. Ggc сервера перегружены Саппорт КТ говорит обратное. Саппорт может говорить все что угодно ... :) Share this post Link to post Share on other sites
orlik Posted March 7, 2013 · Report post Вчнн даже клиенты самого телекома перенаправляются в европу , т.к. Ggc сервера перегружены Саппорт КТ говорит обратное. Отправил сообщение в личку Share this post Link to post Share on other sites
ThreeDHead Posted March 7, 2013 · Report post Вернули принудительное перенаправление, а то как-то они починили, что трафик опять полился с Европы. Share this post Link to post Share on other sites
orlik Posted March 7, 2013 · Report post Принудительно, это натом ? Share this post Link to post Share on other sites
