шейпер для ISP на главный канал

[survivor]

Доброго дня!

 

Разглядывая графики потребления основного интернет канала, пришел к мысли, что очередное расширение придется делать из-за одного только часа в сутки, когда канал перегружен... все остальное время загрузка около 60%. Интернет в нашей точке пространственно-временного континуума :) еще достаточно дорогой, чтобы из-за одного часа переплачивать весь месяц. Достаточно дорогой, чтобы подобрать на сэкономленные средства какую-нибудь умную железку, прижать ей торрентщиков (один час в день потерпят), приоритезировать http, особенно социальные сети, ютуб, а если получится закешировать наиболее популярные ролики - можно будет выгадать в канале, никого не прижимая.

Конечно, хотелось бы опенсорсовское решение :) чтоб потратиться только на шустрый сервачок, сильно впечатление произвела статья:

http://www.opennet.ru/base/net/transparent_shaper.txt.html

я собрал это все на столе - действительно работает, приоритезирует, удобно но...

 

Интернета у меня 1,5 Гигабита, приходит от аплинка в двух гигабитных линках, объединенных etherchannel'ом.

 

Сильно сомневаюсь, что смогу получить такие скорости на обычной сетевухе, и что также хорошо будет все работать поверх etherchannеl'ов... Плюс, вернее минус, в том что нет никакого кеширования траффика.

 

Вообщем, оочень нужен дельный совет от людей обладающих соответствующим опытом :)

[marikoda]

Почему-то FreeBSD оставило плохое впечатление при работе с большим трафиком.

Хотя, может быть и дело в руках :)

[vurd]

Cisco SCE, всё уже изобрели.

[NiTr0]

Вариантов несколько:

1) Приоритезация по сервисам (http - макс приоритет, игровые высокоприоритетные, udp при условии зарезаного uTP - тоже, отдельно класс для мелочи типа АСК и ICMP, остаток - с мин приоритетом)

2) ESFQ поверх одного класса (справедливое распределение; дешево и сердито)

3) Смесь 1-го и 2-го.

 

1.5 гига думается не проблема при нормальных сетевухах.

 

Кеширование - выхлоп весьма низкий, а на 1.5 гигабита даже при 20% хттп сквид скорее всего скукожится.

[survivor]

Cisco SCE, всё уже изобрели.

 

:) а можно чуть-чуть подробней этот вариант - что вообще можно замутить, какая реальная производительность, какие подводные камни и в какие реальные деньги можно уложиться. С ТАКИМ железом я никогда не встречался, знакомые по IT тоже, а рекламным брошюркам от производителя я не верю :)

[Ivan_83]

Cisco SCE, всё уже изобрели.

Плата за чужие кривые руки и шильдик

[survivor]

Вариантов несколько:

1) Приоритезация по сервисам (http - макс приоритет, игровые высокоприоритетные, udp при условии зарезаного uTP - тоже, отдельно класс для мелочи типа АСК и ICMP, остаток - с мин приоритетом)

2) ESFQ поверх одного класса (справедливое распределение; дешево и сердито)

3) Смесь 1-го и 2-го.

 

1.5 гига думается не проблема при нормальных сетевухах.

 

Кеширование - выхлоп весьма низкий, а на 1.5 гигабита даже при 20% хттп сквид скорее всего скукожится.

 

Приоритезацию хочется делать не просто по портам и адресам, а по типу траффика (что-то вроде cisco nbar) - тут нужно соответствующее железо ИМХО.

Обычный cisco nbar очень тормозной и мало чего понимает... В cisco есть такая вещь как urlfilter которая позволяет определить тип сайта (социалка, качалка, развлекалка), но как я понимаю это для ограничения доступа, а не приоритезации, и вообще тема для меня сильно туманная.

 

Насчет кеширования... когда вечерком (в пик тайм) все залазят в facebook и смотрят выложенные друзьями ролики - если контент будет в кеше, то он во первых ОЧЕНЬ быстро покажется (этим можно привлечь клиентов), а во вторых можно сберечь драгоценные мегабиты аплинка. Думаю игра стоит свеч, только я не про сквид, негативный опыт уже имеется. Может есть еще что?

 

Cisco SCE, всё уже изобрели.

Плата за чужие кривые руки и шильдик

 

Ну тогда что?

[s.lobanov]

nbar, urlfilter... это вы о каком железе говорите вообще? о софтроутерах для CCNP-шных лаб?

[Ivan_83]

Ну тогда что?

1. не делать

2. сделать самому

3. заплатить чтобы сделали другие

4. найти решение в другой плоскости: купить полосы/бёрст/корректировать тарифы с шейперами на клиентов/продаться/...

[ArcticFox]

мне например, не очень понятен механизм кеширования новых роликов с фейсбука, ведь по ним ещё переходов не было...

Да и в целом принцип работы кеширующих систем не очень понятен... тема интересная, но не очень понятная.

[caz]

Cisco SCE, всё уже изобрели.

Плата за чужие кривые руки и шильдик

да за что там переплачивать? б/у sce 2020 стоит уже $5000-6000, а если поискать хорошо можно и дешевле..

[survivor]

Ну тогда что?

1. не делать

2. сделать самому

3. заплатить чтобы сделали другие

4. найти решение в другой плоскости: купить полосы/бёрст/корректировать тарифы с шейперами на клиентов/продаться/...

 

1. "блестящее" решение, спасибо сам бы не догадался

2. об и чем речь, собственно говоря. Вопрос в том - как сделать и чем?

3. другие же как-то это будут делать, почему не сделать самому? Не боги горшки обжигают. Или не хотите делиться знаниями? Хотите продать? Я что ошибся форумом?

4. В другой плоскости я эти проблемы и решаю сейчас, но мне незнакома и интересна та тема, которую предложил обсудить, а не какая-то другая.

 

Вообщем, Ваша позиция понятна - все говно, а что делать не знаю. Тоже мнение :)

 

nbar, urlfilter... это вы о каком железе говорите вообще? о софтроутерах для CCNP-шных лаб?

 

нет, конечно, я о подходящем железе и спрашиваю.

 

Cisco SCE, всё уже изобрели.

Плата за чужие кривые руки и шильдик

да за что там переплачивать? б/у sce 2020 стоит уже $5000-6000, а если поискать хорошо можно и дешевле..

 

Вопрос скорее в том, стоит ли он своих денег... Что, реально, он может в данной ситуации. Нужен чей-то личный опыт.

[s.lobanov]

Нужен чей-то личный опыт.

 

Ну вот напишут сейчас, что SCE нормально классифицирует торрент-трафик и можно сделать приоритезацию, вы её купите, разберётесь, введёте в эксплуатацию, а завтра выйдет новая версия мюторрента и эту железяку можно будет отправлять на помойку. Оценивайте риски и принимайте решение.

[dignity]

ну хз, 10G NIC DualPort на Intel + htb/hashtables и несколько классов по портам/протоколам и все... или перед/после железяки-шейпера поставить прозрачный бридж, который будет заниматься классификацией и прижиманием трафика в общем, а не per-user и включать полисинг только вечерами.

[disappointed]

Один час пик в ЧНН, странно оно, у нас 4 часа он занимает.

 

Может дать частичный эффект перебалансировка нагрузки по суткам,

пробовали расширять полосы на ночное время?

Edited December 6, 2011 by disappointed

[survivor]

Нужен чей-то личный опыт.

 

Ну вот напишут сейчас, что SCE нормально классифицирует торрент-трафик и можно сделать приоритезацию, вы её купите, разберётесь, введёте в эксплуатацию, а завтра выйдет новая версия мюторрента и эту железяку можно будет отправлять на помойку. Оценивайте риски и принимайте решение.

 

Да, это я понимаю... Вообщем с приоритезацией все понятно: есть два мнения - cisco sce и linux/freebsd queues. Первое - дорого, но больше возможностей по матчингу траффика, хотя никаких гарантий на будущее. Второе - значительно дешевле, простые как мир правила и потому надежные, но чую будет много секса с сетевухами (при таком-то траффике), sysctl надо будет шлифовать, ядро и т.д...

 

А вот что насчет кеширования ютуба? Есть что-нибудь для этого?

 

Один час пик в ЧНН, странно оно, у нас 4 часа он занимает.

 

Может дать частичный эффект перебалансировка нагрузки по суткам,

пробовали расширять полосы на ночное время?

 

ну один час это сейчас, через месяц будет два часа, через три - три или четыре. Тогда и расширимся - тогда это будет оправдано, но что делать до той поры? Клиенты терпеть один час плохого инета в прайм тайм не будут - уйдут.

 

Перебалансировку делали, ночью неограниченную и бесплатную скорость давали - это надо только гикам качальщикам, массы сидят в фейсбуках, одноклассниках и ютубе, в одно и то же время вечерком после работы.

[vurd]

Вопрос скорее в том, стоит ли он своих денег... Что, реально, он может в данной ситуации. Нужен чей-то личный опыт.

 

По форуму поищите. Здесь был и личный опыт и даже презентации.

Мы не так давно решали примерно вашу задачу.

Сначала были эксперименты с ALTQ+FreeBSD, на какое-то время хватало, но это постоянный гимор с классификацией, нужно максимально убирать uTP и делать распиновку по игровым портам, телефония может пострадать, там тоже сплошной UDP.

После покупки SCE, были выброшены шейперы на писюках и пара этих "глобальных ограничителей канала", плюс получили картину разреза трафика, что тоже очень ценно. Единственная проблема - софт.

[sirmax]

А что ESFQ живет на современных ядрах? Чуть подробнее плз ...

[denis_vid]

ну один час это сейчас, через месяц будет два часа, через три - три или четыре. Тогда и расширимся - тогда это будет оправдано, но что делать до той поры? Клиенты терпеть один час плохого инета в прайм тайм не будут - уйдут.

 

Перебалансировку делали, ночью неограниченную и бесплатную скорость давали - это надо только гикам качальщикам, массы сидят в фейсбуках, одноклассниках и ютубе, в одно и то же время вечерком после работы.

Можно сделать костыль - ограничивать bittorrent в час-пик. Жалобы на "разводняк" будут обеспечены. Лучше юзать пиринг по области например, если есть возможность, если нет попробуйте создать пиринг с конкурентами.

На фре вы запаритесь. Много нюансов настройки sysctl, драйверов, балансировка процессов по ядрам. И все равно скоро придете к тому что нужно покупать железку

Edited December 7, 2011 by denis_vid

[evg_b]

вот вы пишите про Приоритизацию трафика. А чем она поможет то? Она же будет работать только после того как весь трафик из инета попал к вам в сетку.

А не хватает трафика как раз еще до расстановки приоритетов.

[vladd]

Есть вариант персонально предложить особенно активным качкам скидку в размере 20-30%, если у них ночной трафик будет в 2 и более раз выше чем дневной. Канал в ЧНН немного должен разгрузиться, по идее. Кто-нибудь пробовал?

[survivor]

Много нюансов настройки sysctl, драйверов, балансировка процессов по ядрам

охотно верю, не дело не во фре, с линуксом легче не будет...

 

Есть вариант персонально предложить особенно активным качкам скидку в размере 20-30%, если у них ночной трафик будет в 2 и более раз выше чем дневной. Канал в ЧНН немного должен разгрузиться, по идее. Кто-нибудь пробовал?

 

Ну какие проблемы :) днем и вечером сижу в инете как сидел, а на ночь ставлю скачку тонн порнухи прямо в /dev/null... В итоге - получаю скидку, а прову как было херово в час пик, так и осталось. Плюс ночью еще канал чем-то занят :)

 

вот вы пишите про Приоритизацию трафика. А чем она поможет то? Она же будет работать только после того как весь трафик из инета попал к вам в сетку.

А не хватает трафика как раз еще до расстановки приоритетов.

 

Да, придется пожертвовать частью канала чтобы создать очередь у себя, а не у апстрима. Это серьезный минус, конечно... Зато получаю возможность управлять ситуацией во время перегрузки

[NiTr0]

А что ESFQ живет на современных ядрах?

На 2.6.35-м точно есть. На более свежих - есть близкая дисциплина sfb.

[Ilya Evseev]

Уже обсуждалось здесь миллион раз.

 

Самый простой после микротиковского PCQ вариант imho - динамический шейпер.

Качкам в ЧНН уменьшаем полосу, в остальное время в качестве компенсации всем увеличиваем.

 

С приоритетами натрахаетесь - онлайн-игры используют столько udp-портов,

что без поллитрыDPI уже не понять - где игра, где Скайп, а где торрент.

[zander]

...DPI уже не понять - где игра, где Скайп, а где торрент.

 

Не подскажете, чья реализация ловит скайп и торрент?