Перейти к содержимому
Калькуляторы

Вопрос по кэшированию

Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?
Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Krylaty

А может это корпорат с зарезаным не-http/https/ftp трафиком? В таком случае может помочь от 5 до 60% от объёма данных...

 

ЗЫ. у нас это сделано сквидом с правилами по зарезке видеороликов, mp3-шек, баннорообменников и кэшем в 100Гб... На канале в 2 мбит при 20 пользователях всего и 5-10 одновременно онлайн экономия трафика составляет 15-25% в зависимости от дня, и 18-22% в месяц за 2006-2011 года при трафике в месяц 30-40Гб...

Изменено пользователем 20Ilya

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?
Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной.

Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.Гуглю 3-й день, результат почти нулевой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Документации по прозрачному кэшированию в Интернете много.

Конкретные настройки зависят от используемого пакетного фильтра.

 

На провайдерских нагрузках прокси-сервер, скорее всего, загнётся.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А похвастайтесь ктонибудь пожалуйста хорошим конфигом сквида?

Бились два дня - отрицательно, то википедия не открывается, тот гугл тупит, то еще что.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

уже 100500 раз проходили - при гигабитных каналах ( а то и десятки гигабит) и диких анлимных пакетах и ютюбах и торентах и т д кеш неэфективен !

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

Пробовал кэширование пять лет назад, имея канал 2mbps.

В день кэшировалось примерно по миллиону запросов.

Экономия трафика составила около 20%,

всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее.

 

Через каждые 12 миллионов запросов прокси-сервер Oops наглухо умирал.

Плановые ежеутренние перезагрузки не помогали.

 

Коллега независимо получил аналогичный результат со Squid'ом.

 

Вывод: намучаетесь. Даже если Squid стал надёжнее,

всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе.

Его место в корпоративной сети.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стоит ли юзать Cisco Content Engine 590 ?

Хочется както решить вопрос с экономией полосы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Хочется както решить вопрос с экономией полосы.
Локальный ретрекер.

Поощрение локального файлообмена через DC++.

Динамическое понижение скорости в ЧНН для особо невменяемых качков.

Приоритеты QoS: высокий для онлайн-игр, средний для веб-серфинга, низкий для всего остального.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

ну тогда сорри !

давным давно работали со сквидом когда каналы были маленькие - работает он стабильно - если его хорошо затюнить - но!

специально вычесляли количество попадания - снимали с него статистику - попадания были 5-8% - что в принципе мало ! Возможно у вас люди смотрят одно и тоже - попадание будет выше!

но опять же таки - чтобы увеличить попадание винты должны быть конские. кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть

Изменено пользователем Lynx10

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть

угу, также винты посыпались через примерно год аптайма.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть

угу, также винты посыпались через примерно год аптайма.

хуже того дальше оно в связи стем что с винтом работает плотно начинает очень регулярно намертво зависать - что стабильности в сети не прибавляет

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.

гдето в теме написано про гигабитные каналы?

Пробовал кэширование пять лет назад, имея канал 2mbps.

В день кэшировалось примерно по миллиону запросов.

Экономия трафика составила около 20%,

всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее.

 

5 лет назад и сегодня результаты могут оказаться значительно разными.. чем дальше - тем больше сайты динамические (даже если там голый текст только и он не меняется годами, nocache оно ставит, бо всяко-разно джумлы) Картинки пожать в адекватные размеры многим не судьба, и они или под параметры кеширования попадать не будут по размеру или пожрут весь кеш.

 

Но это опять же от предпочтений, если все ходят на мейл ру, то да, его картинки оно закеширует.... но тогда их и браузеры закешируют, в общем то...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Знакомый корпорат-админ пошел к начальнику: так мыл и так, дай денег на кеш-сервер, съэкономим на трафике 5-10%. Директор подумал и распорядился зарезать интернет на 80% машин

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мы сейчас пытаемся сколхозить зеркала самых популярных (в нашем регионе) ресурсов.

Попробовали кешировать однокласников и вконтакте чисто для опыта.

Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза...

От общего трафика это около 20-30%...

На канале в 10 мб рейд используется всего на 10-15%....

О тонкостях процесса ни чего сказать не могу, т.к этим занимается человек, который сделать может, а вот объяснить как он это сделал нет :)

А я пока в этом деле ни бумбум...

 

Если обозначится какие нибудь решения, которые можно повторить, то всенепременно поделюсь...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза...

От общего трафика это около 20-30%...

На канале в 10 мб рейд используется всего на 10-15%....

и жили они долго и счастливо и умерли в один день
Изменено пользователем Lynx10

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну помрет так помрет :)

когда помрет у нас канальчик повеселее будет и не надо будет кешей ни каких....

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.
он только юдп режет.

тсп не трогает.

 

чего гулить - сказали уже: сквид.

 

 

Пробовал кэширование пять лет назад, имея канал 2mbps.

В день кэшировалось примерно по миллиону запросов.

Экономия трафика составила около 20%,

всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее.

У меня дома тоже самое прямо сейчас, на сквиде :)

ещё рекламу и счётчики режет.

 

 

Вывод: намучаетесь. Даже если Squid стал надёжнее,

всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе.

Его место в корпоративной сети.

Для больших - проблемно, но тоже реально, при желании и ресурсах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В аттаче пример кеширования видео, яндект карт, картинок одноклассников и flash игр.

squid.tar.gz

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Из всего выше написанного, пришел к выводу, что с каналом в 80Mb кэширование ничего путёвого не даст. Ну а по-средствам QoS ? Дело в том, что

вечерами и в выходные, аббоненты (около 1000) рвут канал на британский флаг. Среди аббонов хватает и качальщиков, и любителей он-лайн игр и видео, но основная масса "одноклассники-контакты". Поделитесь опытом настройки приоритета в QoS, чтоб всем было хорошо, ну и канальчик чтоб не рвали. Всё разрулено на D-link 3828.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделитесь опытом настройки приоритета в QoS

У нас пользуется 4 класса:

1) нижние порты + некоторые игровые порты (макс приоритет) - занимает обычно эдак 30-40% полосы даунлоада

2) мелкие пакеты и ICMP (средний приоритет) - полосу не жрет почти (% до 5), но т.к. аски не дропаются при полке, юзеры испытывают меньше проблем

3) UDP (средний приоритет) - эдак в районе 5-10% полосы (uTP зарублен), в первую очередь игры и всякие войсы

4) прочее (самый низкий приоритет) - в основном торренты.

 

На аплоад - лидирует "прочий" траффик.

 

В итоге - оверкоммит эдак в 10-20% в ЧНН канал переживал без особых проблем. При оверкоммите эдак 200-300% (авария, резервный 100М линк) - скорость конечно падала, юзеры пищали, но инет был доступен не только торрентам, серфить было вполне комфортно (1 поток выдавал эдак 2-5 мбит). Без приоритезации - при даже небольшом оверкоммите торренты засирали все, серфить становилось невозможно.

 

Как это настроить на длинке и как оно будет работать (и умеет ли он вообще такое) - я не знаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.