toropyga Опубликовано 21 февраля, 2011 · Жалоба Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Krylaty Опубликовано 21 февраля, 2011 · Жалоба Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
20Ilya Опубликовано 21 февраля, 2011 (изменено) · Жалоба Krylaty А может это корпорат с зарезаным не-http/https/ftp трафиком? В таком случае может помочь от 5 до 60% от объёма данных... ЗЫ. у нас это сделано сквидом с правилами по зарезке видеороликов, mp3-шек, баннорообменников и кэшем в 100Гб... На канале в 2 мбит при 20 пользователях всего и 5-10 одновременно онлайн экономия трафика составляет 15-25% в зависимости от дня, и 18-22% в месяц за 2006-2011 года при трафике в месяц 30-40Гб... Изменено 21 февраля, 2011 пользователем 20Ilya Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 21 февраля, 2011 · Жалоба Подскажите, нужно организовать кэширование web-траффика, с целью разгрузить канал. Как лучше это сделать (стоит шлюз на freebsd)?Что-то мне кажется что на фоне торрентов экономия трафика будет мизерной. Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.Гуглю 3-й день, результат почти нулевой. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 25 февраля, 2011 · Жалоба Документации по прозрачному кэшированию в Интернете много. Конкретные настройки зависят от используемого пакетного фильтра. На провайдерских нагрузках прокси-сервер, скорее всего, загнётся. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
L-ZiX Опубликовано 25 февраля, 2011 · Жалоба А похвастайтесь ктонибудь пожалуйста хорошим конфигом сквида? Бились два дня - отрицательно, то википедия не открывается, тот гугл тупит, то еще что. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 25 февраля, 2011 · Жалоба уже 100500 раз проходили - при гигабитных каналах ( а то и десятки гигабит) и диких анлимных пакетах и ютюбах и торентах и т д кеш неэфективен ! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
L-ZiX Опубликовано 25 февраля, 2011 · Жалоба у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати. гдето в теме написано про гигабитные каналы? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 25 февраля, 2011 · Жалоба у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.гдето в теме написано про гигабитные каналы? Пробовал кэширование пять лет назад, имея канал 2mbps.В день кэшировалось примерно по миллиону запросов. Экономия трафика составила около 20%, всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее. Через каждые 12 миллионов запросов прокси-сервер Oops наглухо умирал. Плановые ежеутренние перезагрузки не помогали. Коллега независимо получил аналогичный результат со Squid'ом. Вывод: намучаетесь. Даже если Squid стал надёжнее, всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе. Его место в корпоративной сети. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
L-ZiX Опубликовано 25 февраля, 2011 · Жалоба Стоит ли юзать Cisco Content Engine 590 ? Хочется както решить вопрос с экономией полосы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 25 февраля, 2011 · Жалоба Хочется както решить вопрос с экономией полосы.Локальный ретрекер.Поощрение локального файлообмена через DC++. Динамическое понижение скорости в ЧНН для особо невменяемых качков. Приоритеты QoS: высокий для онлайн-игр, средний для веб-серфинга, низкий для всего остального. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 25 февраля, 2011 (изменено) · Жалоба у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.гдето в теме написано про гигабитные каналы? ну тогда сорри ! давным давно работали со сквидом когда каналы были маленькие - работает он стабильно - если его хорошо затюнить - но! специально вычесляли количество попадания - снимали с него статистику - попадания были 5-8% - что в принципе мало ! Возможно у вас люди смотрят одно и тоже - попадание будет выше! но опять же таки - чтобы увеличить попадание винты должны быть конские. кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть Изменено 25 февраля, 2011 пользователем Lynx10 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bos9 Опубликовано 26 февраля, 2011 · Жалоба кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть угу, также винты посыпались через примерно год аптайма. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 26 февраля, 2011 · Жалоба кстате - винты сдыхали под кешем (медленно но уверенно покрывались бед секторами) - по крайней мере такое имело место быть угу, также винты посыпались через примерно год аптайма. хуже того дальше оно в связи стем что с винтом работает плотно начинает очень регулярно намертво зависать - что стабильности в сети не прибавляет Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 26 февраля, 2011 · Жалоба у нас к примеру канал 30 мегабит, и нам вэб кэш будет очень даже кстати.гдето в теме написано про гигабитные каналы? Пробовал кэширование пять лет назад, имея канал 2mbps.В день кэшировалось примерно по миллиону запросов. Экономия трафика составила около 20%, всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее. 5 лет назад и сегодня результаты могут оказаться значительно разными.. чем дальше - тем больше сайты динамические (даже если там голый текст только и он не меняется годами, nocache оно ставит, бо всяко-разно джумлы) Картинки пожать в адекватные размеры многим не судьба, и они или под параметры кеширования попадать не будут по размеру или пожрут весь кеш. Но это опять же от предпочтений, если все ходят на мейл ру, то да, его картинки оно закеширует.... но тогда их и браузеры закешируют, в общем то... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ilia_2s Опубликовано 26 февраля, 2011 · Жалоба Знакомый корпорат-админ пошел к начальнику: так мыл и так, дай денег на кеш-сервер, съэкономим на трафике 5-10%. Директор подумал и распорядился зарезать интернет на 80% машин Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
20512 Опубликовано 26 февраля, 2011 · Жалоба Мы сейчас пытаемся сколхозить зеркала самых популярных (в нашем регионе) ресурсов. Попробовали кешировать однокласников и вконтакте чисто для опыта. Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза... От общего трафика это около 20-30%... На канале в 10 мб рейд используется всего на 10-15%.... О тонкостях процесса ни чего сказать не могу, т.к этим занимается человек, который сделать может, а вот объяснить как он это сделал нет :) А я пока в этом деле ни бумбум... Если обозначится какие нибудь решения, которые можно повторить, то всенепременно поделюсь... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 26 февраля, 2011 (изменено) · Жалоба Даже у начале экспериментов внешний трафик на эти ресурсы упал почти в два раза...От общего трафика это около 20-30%... На канале в 10 мб рейд используется всего на 10-15%.... и жили они долго и счастливо и умерли в один день Изменено 26 февраля, 2011 пользователем Lynx10 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
20512 Опубликовано 27 февраля, 2011 · Жалоба Ну помрет так помрет :) когда помрет у нас канальчик повеселее будет и не надо будет кешей ни каких.... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 27 февраля, 2011 · Жалоба Ну торренты можно и uTPControlом подрезать, а хотелось бы кэш-сервер собрать из тазика.он только юдп режет.тсп не трогает. чего гулить - сказали уже: сквид. Пробовал кэширование пять лет назад, имея канал 2mbps.В день кэшировалось примерно по миллиону запросов. Экономия трафика составила около 20%, всякие мелкие картинки с Mail.ru грузились намного быстрее и плавнее. У меня дома тоже самое прямо сейчас, на сквиде :)ещё рекламу и счётчики режет. Вывод: намучаетесь. Даже если Squid стал надёжнее,всё равно для провайдерских объёмов данных этот класс ПО не предназначен в принципе. Его место в корпоративной сети. Для больших - проблемно, но тоже реально, при желании и ресурсах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Jaguar77 Опубликовано 28 февраля, 2011 · Жалоба В аттаче пример кеширования видео, яндект карт, картинок одноклассников и flash игр. squid.tar.gz Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
toropyga Опубликовано 15 марта, 2011 · Жалоба Из всего выше написанного, пришел к выводу, что с каналом в 80Mb кэширование ничего путёвого не даст. Ну а по-средствам QoS ? Дело в том, что вечерами и в выходные, аббоненты (около 1000) рвут канал на британский флаг. Среди аббонов хватает и качальщиков, и любителей он-лайн игр и видео, но основная масса "одноклассники-контакты". Поделитесь опытом настройки приоритета в QoS, чтоб всем было хорошо, ну и канальчик чтоб не рвали. Всё разрулено на D-link 3828. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 15 марта, 2011 · Жалоба Поделитесь опытом настройки приоритета в QoS У нас пользуется 4 класса: 1) нижние порты + некоторые игровые порты (макс приоритет) - занимает обычно эдак 30-40% полосы даунлоада 2) мелкие пакеты и ICMP (средний приоритет) - полосу не жрет почти (% до 5), но т.к. аски не дропаются при полке, юзеры испытывают меньше проблем 3) UDP (средний приоритет) - эдак в районе 5-10% полосы (uTP зарублен), в первую очередь игры и всякие войсы 4) прочее (самый низкий приоритет) - в основном торренты. На аплоад - лидирует "прочий" траффик. В итоге - оверкоммит эдак в 10-20% в ЧНН канал переживал без особых проблем. При оверкоммите эдак 200-300% (авария, резервный 100М линк) - скорость конечно падала, юзеры пищали, но инет был доступен не только торрентам, серфить было вполне комфортно (1 поток выдавал эдак 2-5 мбит). Без приоритезации - при даже небольшом оверкоммите торренты засирали все, серфить становилось невозможно. Как это настроить на длинке и как оно будет работать (и умеет ли он вообще такое) - я не знаю. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...