Jump to content
Калькуляторы

Вопрос по кэшированию

Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?

Share this post


Link to post
Share on other sites
Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?
Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной.

 

Share this post


Link to post
Share on other sites

Krylaty

А может это корпорат с зарезаным не-http/https/ftp трафиком? В таком случае может помочь от 5 до 60% от объёма данных...

 

ЗЫ. у нас это сделано сквидом с правилами по зарезке видеороликов, mp3-шек, баннорообменников и кэшем в 100Гб... На канале в 2 мбит при 20 пользователях всего и 5-10 одновременно онлайн экономия трафика составляет 15-25% в зависимости от дня, и 18-22% в месяц за 2006-2011 года при трафике в месяц 30-40Гб...

Edited by 20Ilya

Share this post


Link to post
Share on other sites
Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?
Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной.

Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.Гуглю 3-й день, результат почти нулевой.

Share this post


Link to post
Share on other sites

Документации по прозрачному кэшированию в Интернете много.

Конкретные настройки зависят от используемого пакетного фильтра.

 

На провайдерских нагрузках прокси-сервер, скорее всего, загнётся.

Share this post


Link to post
Share on other sites

А похвастайтесь ктонибудь пожалуйста хорошим конфигом сквида?

Бились два дня - отрицательно, то википедия не открывается, тот гугл тупит, то еще что.

Share this post


Link to post
Share on other sites

уже 100500 раз проходили - при гигабитных каналах ( а то и десятки гигабит) и диких анлимных пакетах и ютюбах и торентах и т д кеш неэфективен !

Share this post


Link to post
Share on other sites

у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

Share this post


Link to post
Share on other sites
у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

Пробовал кэширование пять лет назад, имея канал 2mbps.

В день кэшировалось примерно по миллиону запросов.

Экономия трафика составила около 20%,

всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее.

 

Через каждые 12 миллионов запросов прокси-сервер Oops наглухо умирал.

Плановые ежеутренние перезагрузки не помогали.

 

Коллега независимо получил аналогичный результат со Squid'ом.

 

Вывод: намучаетесь. Даже если Squid стал надёжнее,

всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе.

Его место в корпоративной сети.

Share this post


Link to post
Share on other sites

Стоит ли юзать Cisco Content Engine 590 ?

Хочется както решить вопрос с экономией полосы.

Share this post


Link to post
Share on other sites
Хочется както решить вопрос с экономией полосы.
Локальный ретрекер.

Поощрение локального файлообмена через DC++.

Динамическое понижение скорости в ЧНН для особо невменяемых качков.

Приоритеты QoS: высокий для онлайн-игр, средний для веб-серфинга, низкий для всего остального.

Share this post


Link to post
Share on other sites
у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

ну тогда сорри !

давным давно работали со сквидом когда каналы были маленькие - работает он стабильно - если его хорошо затюнить - но!

специально вычесляли количество попадания - снимали с него статистику - попадания были 5-8% - что в принципе мало ! Возможно у вас люди смотрят одно и тоже - попадание будет выше!

но опять же таки - чтобы увеличить попадание винты должны быть конские. кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть

Edited by Lynx10

Share this post


Link to post
Share on other sites
кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть

угу, также винты посыпались через примерно год аптайма.

Share this post


Link to post
Share on other sites
кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть

угу, также винты посыпались через примерно год аптайма.

хуже того дальше оно в связи стем что с винтом работает плотно начинает очень регулярно намертво зависать - что стабильности в сети не прибавляет

Share this post


Link to post
Share on other sites
у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

Пробовал кэширование пять лет назад, имея канал 2mbps.

В день кэшировалось примерно по миллиону запросов.

Экономия трафика составила около 20%,

всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее.

 

5 лет назад и сегодня результаты могут оказаться значительно разными.. чем дальше - тем больше сайты динамические (даже если там голый текст только и он не меняется годами, nocache оно ставит, бо всяко-разно джумлы) Картинки пожать в адекватные размеры многим не судьба, и они или под параметры кеширования попадать не будут по размеру или пожрут весь кеш.

 

Но это опять же от предпочтений, если все ходят на мейл ру, то да, его картинки оно закеширует.... но тогда их и браузеры закешируют, в общем то...

Share this post


Link to post
Share on other sites

Знакомый корпорат-админ пошел к начальнику: так мыл и так, дай денег на кеш-сервер, съэкономим на трафике 5-10%. Директор подумал и распорядился зарезать интернет на 80% машин

Share this post


Link to post
Share on other sites

Мы сейчас пытаемся сколхозить зеркала самых популярных (в нашем регионе) ресурсов.

Попробовали кешировать однокласников и вконтакте чисто для опыта.

Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза...

От общего трафика это около 20-30%...

На канале в 10 мб рейд используется всего на 10-15%....

О тонкостях процесса ни чего сказать не могу, т.к этим занимается человек, который сделать может, а вот объяснить как он это сделал нет :)

А я пока в этом деле ни бумбум...

 

Если обозначится какие нибудь решения, которые можно повторить, то всенепременно поделюсь...

Share this post


Link to post
Share on other sites
Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза...

От общего трафика это около 20-30%...

На канале в 10 мб рейд используется всего на 10-15%....

и жили они долго и счастливо и умерли в один день
Edited by Lynx10

Share this post


Link to post
Share on other sites

Ну помрет так помрет :)

когда помрет у нас канальчик повеселее будет и не надо будет кешей ни каких....

Share this post


Link to post
Share on other sites
Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.
он только юдп режет.

тсп не трогает.

 

чего гулить - сказали уже: сквид.

 

 

Пробовал кэширование пять лет назад, имея канал 2mbps.

В день кэшировалось примерно по миллиону запросов.

Экономия трафика составила около 20%,

всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее.

У меня дома тоже самое прямо сейчас, на сквиде :)

ещё рекламу и счётчики режет.

 

 

Вывод: намучаетесь. Даже если Squid стал надёжнее,

всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе.

Его место в корпоративной сети.

Для больших - проблемно, но тоже реально, при желании и ресурсах.

Share this post


Link to post
Share on other sites

В аттаче пример кеширования видео, яндект карт, картинок одноклассников и flash игр.

squid.tar.gz

Share this post


Link to post
Share on other sites

Из всего выше написанного, пришел к выводу, что с каналом в 80Mb кэширование ничего путёвого не даст. Ну а по-средствам QoS ? Дело в том, что

вечерами и в выходные, аббоненты (около 1000) рвут канал на британский флаг. Среди аббонов хватает и качальщиков, и любителей он-лайн игр и видео, но основная масса "одноклассники-контакты". Поделитесь опытом настройки приоритета в QoS, чтоб всем было хорошо, ну и канальчик чтоб не рвали. Всё разрулено на D-link 3828.

Share this post


Link to post
Share on other sites
Поделитесь опытом настройки приоритета в QoS

У нас пользуется 4 класса:

1) нижние порты + некоторые игровые порты (макс приоритет) - занимает обычно эдак 30-40% полосы даунлоада

2) мелкие пакеты и ICMP (средний приоритет) - полосу не жрет почти (% до 5), но т.к. аски не дропаются при полке, юзеры испытывают меньше проблем

3) UDP (средний приоритет) - эдак в районе 5-10% полосы (uTP зарублен), в первую очередь игры и всякие войсы

4) прочее (самый низкий приоритет) - в основном торренты.

 

На аплоад - лидирует "прочий" траффик.

 

В итоге - оверкоммит эдак в 10-20% в ЧНН канал переживал без особых проблем. При оверкоммите эдак 200-300% (авария, резервный 100М линк) - скорость конечно падала, юзеры пищали, но инет был доступен не только торрентам, серфить было вполне комфортно (1 поток выдавал эдак 2-5 мбит). Без приоритезации - при даже небольшом оверкоммите торренты засирали все, серфить становилось невозможно.

 

Как это настроить на длинке и как оно будет работать (и умеет ли он вообще такое) - я не знаю.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this