Трафик обновлений Смартфонов и Винды

[moob82]

Добрый день, анализировали рост трафика в сети. Путем проб и ошибок, а так же "научного тыка"  обнаружили интересную ситуацию. 

 

Огромную загрузку создают обновления смартфонов и Винды + обновления других программ на ПК , Ноутах и других устройствах. У нас дорогой трафик и маленькие каналы, поэтому тарифы от 1 до 5 Мегабит и данные сервисы сильно нагружают сеть. Я предполагаю, что трафик чем то схож с торрент трафиком. 

Вопроса два:

 

1. С помощью какой программы или железа определить этот трафик и выделить из общего?

 

2. С помощью какого софта или железа можно управлять этим трафиком? Например блокировать, резать или уменьшать в часты максимальной загрузки и 'отпскать вечером'. Думаю для клиента не принциписально что обновление винды или андройда будет ночью, а нам это очень поможет. 

 

Спасибо.

[Adim]

на первый вопрос тут вроде снифером можно тем ж самым

[drovorub]

резать и отпускать вам поможет DPI.

 

а чтобы и вам и абонентам жилось легче посмотрите в сторону ланкэш. будете кэшировать обновления и раздавать с локального сервера.

Edited March 21, 2018 by drovorub

[moob82]

31 минуту назад, drovorub сказал:

резать и отпускать вам поможет DPI.

 

а чтобы и вам и абонентам жилось легче посмотрите в сторону ланкэш. будете кэшировать обновления и раздавать с локального сервера.

 

1.Спасибо. По кэшу от производителей получил ответ, что для нас не подходит так как у нас маленькая абон база. Нужна в разы больше. 

2. Вы уверены, что DPI сможет определять именно этот трафик? Как бы вместе с обновлениями не порезать, что - нибудь еще.

Про DPI слышал. Поэтому и задаю вопрос. Может кто реализовывал подобное?

[alibek]

13 минут назад, moob82 сказал:

Вы уверены, что DPI сможет определять именно этот трафик?

Спросите у производителя DPI.

Обычно сигнатуры для подобного трафика довольно простые и в его выявлении проблем нет.

[Bigmazy]

В 20.03.2018 в 18:43, moob82 сказал:

2. С помощью какого софта или железа можно управлять этим трафиком? Например блокировать, резать или уменьшать в часты максимальной загрузки и 'отпскать вечером'. Думаю для клиента не принциписально что обновление винды или андройда будет ночью, а нам это очень поможет. 

 

можем КЭШ сервер поставить, в нет есть управление когда загружать, какой полосой и т.п.

[DimaM]

говоря про СКАТ КЭШ: обновления ПО кешируются практически со 99% эффективностью (один раз загрузился из инет - 100 раз раздался из локалки), так что маленький вы оператор или большой, значения не имеет

кроме того большой плюс кеширования, что обновления ставятся из кэша значительно быстрее через сеть, например винда 10 ставится с нуля практически на порядок быстрее 

вот с фильмами и торрентами да - тут размер имеет значение, тк у маленького оператора низкая повторяемость (все смотрят разное)

 

статистику удобно анализировать через ipfix (netflow v10), который экспортируется со СКАТ,

и всякие аналитические базы типа Splunk или бесплатный ELK - там можно делать красивые отчеты и дэшборды

коннекторы для ipfix можно найти почти для всего

но в принципе можно пройтись и grep/awk по текстовому log, который получается на выходе ipfixreceiver

 

даже в netflow статистике есть информация о хостах (причем не только открытый HTTP, но и защищенный HTTPS/QUIC) - по ней можно сопоставить объемы и хосты

также есть подробная статистика Clickstream в которой есть полные URL - по ней в приницпе можно заранее посчитать эффективность кеширования 

 

еще плюс, то что файловая система открыта - удаление из кеша - это просто удаление файла, также можно подгрузить что-то свое или даже подменить :)

например обновление avast, которой загружается отсюда http://uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab

попадет в файл с названием /data/exts/cab/uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab

т.е. фактически url это и есть путь к файлу на файловой системе

 

но есть засада  - после инсталляции надо самому периодически тюнить кеш под себя, все крутилки для этого есть, но производитель этим не занимается

 

 

[moob82]

1 час назад, DimaM сказал:

говоря про СКАТ КЭШ: обновления ПО кешируются практически со 99% эффективностью (один раз загрузился из инет - 100 раз раздался из локалки), так что маленький вы оператор или большой, значения не имеет

кроме того большой плюс кеширования, что обновления ставятся из кэша значительно быстрее через сеть, например винда 10 ставится с нуля практически на порядок быстрее 

вот с фильмами и торрентами да - тут размер имеет значение, тк у маленького оператора низкая повторяемость (все смотрят разное)

 

статистику удобно анализировать через ipfix (netflow v10), который экспортируется со СКАТ,

и всякие аналитические базы типа Splunk или бесплатный ELK - там можно делать красивые отчеты и дэшборды

коннекторы для ipfix можно найти почти для всего

но в принципе можно пройтись и grep/awk по текстовому log, который получается на выходе ipfixreceiver

 

даже в netflow статистике есть информация о хостах (причем не только открытый HTTP, но и защищенный HTTPS/QUIC) - по ней можно сопоставить объемы и хосты

также есть подробная статистика Clickstream в которой есть полные URL - по ней в приницпе можно заранее посчитать эффективность кеширования 

 

еще плюс, то что файловая система открыта - удаление из кеша - это просто удаление файла, также можно подгрузить что-то свое или даже подменить :)

например обновление avast, которой загружается отсюда http://uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab

попадет в файл с названием /data/exts/cab/uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab

т.е. фактически url это и есть путь к файлу на файловой системе

 

но есть засада  - после инсталляции надо самому периодически тюнить кеш под себя, все крутилки для этого есть, но производитель этим не занимается

 

 

Спасибо

[YuryD]

В 22.03.2018 в 19:01, DimaM сказал:

говоря про СКАТ КЭШ: обновления ПО кешируются практически со 99% эффективностью (один раз загрузился из инет - 100 раз раздался из локалки), так что маленький вы оператор или большой, значения не имеет

кроме того большой плюс кеширования, что обновления ставятся из кэша значительно быстрее через сеть, например винда 10 ставится с нуля практически на порядок быстрее 

 

 Всё замечательно, только вот финансовые грабли :) Есть у меня масса клиентов юрлиц и ип, поставивших себе вин >7ver. Каналы берут пиписочные. 1-2М. При этом ежемесячное автообновление их виндов стоит им много канала. Отключить автообновление невозможно, поставить свой сервер обновлений - невозможно, пользоваться вашим кэшем для обновлений - тоже невозможно. Нее, он экономит мне внешку, но как в биллинге и шейпере ином изобразить этот класс трафика, как почти бесплатный, и со скоростью локалки ? Есть конечно вариант, Скат хапает обновления в кэш, и немного подменяет для моего шейпера некие артибуты, например ip/proto. Это при схеме Инет-БУ-Скат-Шейпер-клиенты. Шейпер тупой но надёжный, и менять всю инфраструктуру под брас на Скат - это возможно конечно, но не сейчас. При всём - я нищеброд, и не могу купить ничего более толстого, не б/у. БУ в моем контексте - большие уши.

[DimaM]

>но как в биллинге и шейпере ином изобразить этот класс трафика, как почти бесплатный, и со скоростью локалки ?

конечно меняйте инфраструктуру на скат :)

как вариант пропустить трафик на кэш мимо шейпера

[myth]

Трафик с кэша то и покрасить можно. Прямо коммутатором куда он включен