toropyga Posted February 21, 2011 Posted February 21, 2011 Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)? Вставить ник Quote
Krylaty Posted February 21, 2011 Posted February 21, 2011 Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной. Вставить ник Quote
20Ilya Posted February 21, 2011 Posted February 21, 2011 (edited) Krylaty А может это корпорат с зарезаным не-http/https/ftp трафиком? В таком случае может помочь от 5 до 60% от объёма данных... ЗЫ. у нас это сделано сквидом с правилами по зарезке видеороликов, mp3-шек, баннорообменников и кэшем в 100Гб... На канале в 2 мбит при 20 пользователях всего и 5-10 одновременно онлайн экономия трафика составляет 15-25% в зависимости от дня, и 18-22% в месяц за 2006-2011 года при трафике в месяц 30-40Гб... Edited February 21, 2011 by 20Ilya Вставить ник Quote
toropyga Posted February 21, 2011 Author Posted February 21, 2011 Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной. Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.Гуглю 3-й день, результат почти нулевой. Вставить ник Quote
Ilya Evseev Posted February 25, 2011 Posted February 25, 2011 Документации по прозрачному кэшированию в Интернете много. Конкретные настройки зависят от используемого пакетного фильтра. На провайдерских нагрузках прокси-сервер, скорее всего, загнётся. Вставить ник Quote
L-ZiX Posted February 25, 2011 Posted February 25, 2011 А похвастайтесь ктонибудь пожалуйста хорошим конфигом сквида? Бились два дня - отрицательно, то википедия не открывается, тот гугл тупит, то еще что. Вставить ник Quote
Lynx10 Posted February 25, 2011 Posted February 25, 2011 уже 100500 раз проходили - при гигабитных каналах ( а то и десятки гигабит) и диких анлимных пакетах и ютюбах и торентах и т д кеш неэфективен ! Вставить ник Quote
L-ZiX Posted February 25, 2011 Posted February 25, 2011 у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати. гдето в теме написано про гигабитные каналы? Вставить ник Quote
Ilya Evseev Posted February 25, 2011 Posted February 25, 2011 у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.гдето в теме написано про гигабитные каналы? Пробовал кэширование пять лет назад, имея канал 2mbps.В день кэшировалось примерно по миллиону запросов. Экономия трафика составила около 20%, всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее. Через каждые 12 миллионов запросов прокси-сервер Oops наглухо умирал. Плановые ежеутренние перезагрузки не помогали. Коллега независимо получил аналогичный результат со Squid'ом. Вывод: намучаетесь. Даже если Squid стал надёжнее, всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе. Его место в корпоративной сети. Вставить ник Quote
L-ZiX Posted February 25, 2011 Posted February 25, 2011 Стоит ли юзать Cisco Content Engine 590 ? Хочется както решить вопрос с экономией полосы. Вставить ник Quote
Ilya Evseev Posted February 25, 2011 Posted February 25, 2011 Хочется както решить вопрос с экономией полосы.Локальный ретрекер.Поощрение локального файлообмена через DC++. Динамическое понижение скорости в ЧНН для особо невменяемых качков. Приоритеты QoS: высокий для онлайн-игр, средний для веб-серфинга, низкий для всего остального. Вставить ник Quote
Lynx10 Posted February 25, 2011 Posted February 25, 2011 (edited) у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.гдето в теме написано про гигабитные каналы? ну тогда сорри ! давным давно работали со сквидом когда каналы были маленькие - работает он стабильно - если его хорошо затюнить - но! специально вычесляли количество попадания - снимали с него статистику - попадания были 5-8% - что в принципе мало ! Возможно у вас люди смотрят одно и тоже - попадание будет выше! но опять же таки - чтобы увеличить попадание винты должны быть конские. кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть Edited February 25, 2011 by Lynx10 Вставить ник Quote
bos9 Posted February 26, 2011 Posted February 26, 2011 кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть угу, также винты посыпались через примерно год аптайма. Вставить ник Quote
Lynx10 Posted February 26, 2011 Posted February 26, 2011 кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть угу, также винты посыпались через примерно год аптайма. хуже того дальше оно в связи стем что с винтом работает плотно начинает очень регулярно намертво зависать - что стабильности в сети не прибавляет Вставить ник Quote
st_re Posted February 26, 2011 Posted February 26, 2011 у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.гдето в теме написано про гигабитные каналы? Пробовал кэширование пять лет назад, имея канал 2mbps.В день кэшировалось примерно по миллиону запросов. Экономия трафика составила около 20%, всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее. 5 лет назад и сегодня результаты могут оказаться значительно разными.. чем дальше - тем больше сайты динамические (даже если там голый текст только и он не меняется годами, nocache оно ставит, бо всяко-разно джумлы) Картинки пожать в адекватные размеры многим не судьба, и они или под параметры кеширования попадать не будут по размеру или пожрут весь кеш. Но это опять же от предпочтений, если все ходят на мейл ру, то да, его картинки оно закеширует.... но тогда их и браузеры закешируют, в общем то... Вставить ник Quote
ilia_2s Posted February 26, 2011 Posted February 26, 2011 Знакомый корпорат-админ пошел к начальнику: так мыл и так, дай денег на кеш-сервер, съэкономим на трафике 5-10%. Директор подумал и распорядился зарезать интернет на 80% машин Вставить ник Quote
20512 Posted February 26, 2011 Posted February 26, 2011 Мы сейчас пытаемся сколхозить зеркала самых популярных (в нашем регионе) ресурсов. Попробовали кешировать однокласников и вконтакте чисто для опыта. Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза... От общего трафика это около 20-30%... На канале в 10 мб рейд используется всего на 10-15%.... О тонкостях процесса ни чего сказать не могу, т.к этим занимается человек, который сделать может, а вот объяснить как он это сделал нет :) А я пока в этом деле ни бумбум... Если обозначится какие нибудь решения, которые можно повторить, то всенепременно поделюсь... Вставить ник Quote
Lynx10 Posted February 26, 2011 Posted February 26, 2011 (edited) Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза...От общего трафика это около 20-30%... На канале в 10 мб рейд используется всего на 10-15%.... и жили они долго и счастливо и умерли в один день Edited February 26, 2011 by Lynx10 Вставить ник Quote
20512 Posted February 27, 2011 Posted February 27, 2011 Ну помрет так помрет :) когда помрет у нас канальчик повеселее будет и не надо будет кешей ни каких.... Вставить ник Quote
Ivan_83 Posted February 27, 2011 Posted February 27, 2011 Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.он только юдп режет.тсп не трогает. чего гулить - сказали уже: сквид. Пробовал кэширование пять лет назад, имея канал 2mbps.В день кэшировалось примерно по миллиону запросов. Экономия трафика составила около 20%, всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее. У меня дома тоже самое прямо сейчас, на сквиде :)ещё рекламу и счётчики режет. Вывод: намучаетесь. Даже если Squid стал надёжнее,всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе. Его место в корпоративной сети. Для больших - проблемно, но тоже реально, при желании и ресурсах. Вставить ник Quote
Jaguar77 Posted February 28, 2011 Posted February 28, 2011 В аттаче пример кеширования видео, яндект карт, картинок одноклассников и flash игр. squid.tar.gz Вставить ник Quote
toropyga Posted March 15, 2011 Author Posted March 15, 2011 Из всего выше написанного, пришел к выводу, что с каналом в 80Mb кэширование ничего путёвого не даст. Ну а по-средствам QoS ? Дело в том, что вечерами и в выходные, аббоненты (около 1000) рвут канал на британский флаг. Среди аббонов хватает и качальщиков, и любителей он-лайн игр и видео, но основная масса "одноклассники-контакты". Поделитесь опытом настройки приоритета в QoS, чтоб всем было хорошо, ну и канальчик чтоб не рвали. Всё разрулено на D-link 3828. Вставить ник Quote
NiTr0 Posted March 15, 2011 Posted March 15, 2011 Поделитесь опытом настройки приоритета в QoS У нас пользуется 4 класса: 1) нижние порты + некоторые игровые порты (макс приоритет) - занимает обычно эдак 30-40% полосы даунлоада 2) мелкие пакеты и ICMP (средний приоритет) - полосу не жрет почти (% до 5), но т.к. аски не дропаются при полке, юзеры испытывают меньше проблем 3) UDP (средний приоритет) - эдак в районе 5-10% полосы (uTP зарублен), в первую очередь игры и всякие войсы 4) прочее (самый низкий приоритет) - в основном торренты. На аплоад - лидирует "прочий" траффик. В итоге - оверкоммит эдак в 10-20% в ЧНН канал переживал без особых проблем. При оверкоммите эдак 200-300% (авария, резервный 100М линк) - скорость конечно падала, юзеры пищали, но инет был доступен не только торрентам, серфить было вполне комфортно (1 поток выдавал эдак 2-5 мбит). Без приоритезации - при даже небольшом оверкоммите торренты засирали все, серфить становилось невозможно. Как это настроить на длинке и как оно будет работать (и умеет ли он вообще такое) - я не знаю. Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.