moob82 Опубликовано 20 марта, 2018 · Жалоба Добрый день, анализировали рост трафика в сети. Путем проб и ошибок, а так же "научного тыка" обнаружили интересную ситуацию. Огромную загрузку создают обновления смартфонов и Винды + обновления других программ на ПК , Ноутах и других устройствах. У нас дорогой трафик и маленькие каналы, поэтому тарифы от 1 до 5 Мегабит и данные сервисы сильно нагружают сеть. Я предполагаю, что трафик чем то схож с торрент трафиком. Вопроса два: 1. С помощью какой программы или железа определить этот трафик и выделить из общего? 2. С помощью какого софта или железа можно управлять этим трафиком? Например блокировать, резать или уменьшать в часты максимальной загрузки и 'отпскать вечером'. Думаю для клиента не принциписально что обновление винды или андройда будет ночью, а нам это очень поможет. Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Adim Опубликовано 20 марта, 2018 · Жалоба на первый вопрос тут вроде снифером можно тем ж самым Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
drovorub Опубликовано 21 марта, 2018 (изменено) · Жалоба резать и отпускать вам поможет DPI. а чтобы и вам и абонентам жилось легче посмотрите в сторону ланкэш. будете кэшировать обновления и раздавать с локального сервера. Изменено 21 марта, 2018 пользователем drovorub Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
moob82 Опубликовано 21 марта, 2018 · Жалоба 31 минуту назад, drovorub сказал: резать и отпускать вам поможет DPI. а чтобы и вам и абонентам жилось легче посмотрите в сторону ланкэш. будете кэшировать обновления и раздавать с локального сервера. 1.Спасибо. По кэшу от производителей получил ответ, что для нас не подходит так как у нас маленькая абон база. Нужна в разы больше. 2. Вы уверены, что DPI сможет определять именно этот трафик? Как бы вместе с обновлениями не порезать, что - нибудь еще. Про DPI слышал. Поэтому и задаю вопрос. Может кто реализовывал подобное? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 21 марта, 2018 · Жалоба 13 минут назад, moob82 сказал: Вы уверены, что DPI сможет определять именно этот трафик? Спросите у производителя DPI. Обычно сигнатуры для подобного трафика довольно простые и в его выявлении проблем нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bigmazy Опубликовано 22 марта, 2018 · Жалоба В 20.03.2018 в 18:43, moob82 сказал: 2. С помощью какого софта или железа можно управлять этим трафиком? Например блокировать, резать или уменьшать в часты максимальной загрузки и 'отпскать вечером'. Думаю для клиента не принциписально что обновление винды или андройда будет ночью, а нам это очень поможет. можем КЭШ сервер поставить, в нет есть управление когда загружать, какой полосой и т.п. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DimaM Опубликовано 22 марта, 2018 · Жалоба говоря про СКАТ КЭШ: обновления ПО кешируются практически со 99% эффективностью (один раз загрузился из инет - 100 раз раздался из локалки), так что маленький вы оператор или большой, значения не имеет кроме того большой плюс кеширования, что обновления ставятся из кэша значительно быстрее через сеть, например винда 10 ставится с нуля практически на порядок быстрее вот с фильмами и торрентами да - тут размер имеет значение, тк у маленького оператора низкая повторяемость (все смотрят разное) статистику удобно анализировать через ipfix (netflow v10), который экспортируется со СКАТ, и всякие аналитические базы типа Splunk или бесплатный ELK - там можно делать красивые отчеты и дэшборды коннекторы для ipfix можно найти почти для всего но в принципе можно пройтись и grep/awk по текстовому log, который получается на выходе ipfixreceiver даже в netflow статистике есть информация о хостах (причем не только открытый HTTP, но и защищенный HTTPS/QUIC) - по ней можно сопоставить объемы и хосты также есть подробная статистика Clickstream в которой есть полные URL - по ней в приницпе можно заранее посчитать эффективность кеширования еще плюс, то что файловая система открыта - удаление из кеша - это просто удаление файла, также можно подгрузить что-то свое или даже подменить :) например обновление avast, которой загружается отсюда http://uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab попадет в файл с названием /data/exts/cab/uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab т.е. фактически url это и есть путь к файлу на файловой системе но есть засада - после инсталляции надо самому периодически тюнить кеш под себя, все крутилки для этого есть, но производитель этим не занимается Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
moob82 Опубликовано 22 марта, 2018 · Жалоба 1 час назад, DimaM сказал: говоря про СКАТ КЭШ: обновления ПО кешируются практически со 99% эффективностью (один раз загрузился из инет - 100 раз раздался из локалки), так что маленький вы оператор или большой, значения не имеет кроме того большой плюс кеширования, что обновления ставятся из кэша значительно быстрее через сеть, например винда 10 ставится с нуля практически на порядок быстрее вот с фильмами и торрентами да - тут размер имеет значение, тк у маленького оператора низкая повторяемость (все смотрят разное) статистику удобно анализировать через ipfix (netflow v10), который экспортируется со СКАТ, и всякие аналитические базы типа Splunk или бесплатный ELK - там можно делать красивые отчеты и дэшборды коннекторы для ipfix можно найти почти для всего но в принципе можно пройтись и grep/awk по текстовому log, который получается на выходе ipfixreceiver даже в netflow статистике есть информация о хостах (причем не только открытый HTTP, но и защищенный HTTPS/QUIC) - по ней можно сопоставить объемы и хосты также есть подробная статистика Clickstream в которой есть полные URL - по ней в приницпе можно заранее посчитать эффективность кеширования еще плюс, то что файловая система открыта - удаление из кеша - это просто удаление файла, также можно подгрузить что-то свое или даже подменить :) например обновление avast, которой загружается отсюда http://uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab попадет в файл с названием /data/exts/cab/uupdate.avast.com/files/emupdate/avast_17_5_r5_b8_271.cab т.е. фактически url это и есть путь к файлу на файловой системе но есть засада - после инсталляции надо самому периодически тюнить кеш под себя, все крутилки для этого есть, но производитель этим не занимается Спасибо Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 23 марта, 2018 · Жалоба В 22.03.2018 в 19:01, DimaM сказал: говоря про СКАТ КЭШ: обновления ПО кешируются практически со 99% эффективностью (один раз загрузился из инет - 100 раз раздался из локалки), так что маленький вы оператор или большой, значения не имеет кроме того большой плюс кеширования, что обновления ставятся из кэша значительно быстрее через сеть, например винда 10 ставится с нуля практически на порядок быстрее Всё замечательно, только вот финансовые грабли :) Есть у меня масса клиентов юрлиц и ип, поставивших себе вин >7ver. Каналы берут пиписочные. 1-2М. При этом ежемесячное автообновление их виндов стоит им много канала. Отключить автообновление невозможно, поставить свой сервер обновлений - невозможно, пользоваться вашим кэшем для обновлений - тоже невозможно. Нее, он экономит мне внешку, но как в биллинге и шейпере ином изобразить этот класс трафика, как почти бесплатный, и со скоростью локалки ? Есть конечно вариант, Скат хапает обновления в кэш, и немного подменяет для моего шейпера некие артибуты, например ip/proto. Это при схеме Инет-БУ-Скат-Шейпер-клиенты. Шейпер тупой но надёжный, и менять всю инфраструктуру под брас на Скат - это возможно конечно, но не сейчас. При всём - я нищеброд, и не могу купить ничего более толстого, не б/у. БУ в моем контексте - большие уши. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DimaM Опубликовано 27 марта, 2018 · Жалоба >но как в биллинге и шейпере ином изобразить этот класс трафика, как почти бесплатный, и со скоростью локалки ? конечно меняйте инфраструктуру на скат :) как вариант пропустить трафик на кэш мимо шейпера Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 8 апреля, 2018 · Жалоба Трафик с кэша то и покрасить можно. Прямо коммутатором куда он включен Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
