[vovannovig]

Просмотр сообщенияvovannovig (Вчера, 21:12) писал:

Это не говоря о появлении в каждой версии, каких либо глюков в работе то того, то сего.

 

 

Так зачем постоянно обновлять прошивки?

По причине:

каждой версии, каких либо глюков в работе то того, то сего.

Я помню как в версиях до 12(точно не помню, начиная с 6-8...) были проблемы с ARP и маршрутизатор просто зависал при попытке прописать статику, потом полечили, но была проблема с сертификатами, потом проблема с загрузчиком, в промежутке по моей просьбе добавили анонимный режим прокс и т.д. и т.м.

А в начальных версиях 6ки вообще можно было OpenVPN Eth. интерфейсы добавлять в бридж, потом полечили и только автоматическое добавление через профиль.

А загрузчик был битый, и чинили и в прошивках железа и софта с 16й (приблизительно) и полностью вылечили к 18й-19й версии. Кстати теперь если и появляется сообщение что гружу с нан, но завис, помогает просто подержать скрепкой "кнопке" и даже загружать по сети не надо, вываливается в default.

 

Вообще очень глупо говорить, что проблем нет.

[saaremaa]

Saab95, дарю бизнес-идею. Напишите книгу: "Как правильно готовить Микротик и перестать беспокоиться".

 

...и после каждой прошивки от Микротик можно будет переиздаваться. "Золотая жила" - поверьте.

[saaremaa]

Вот за это хочется вообще руки оторвать.

[guruks]

Микротик роутерборды и ОС класная штука по соотношению функционал/цена, но если начинаются какие то проблемы очень трудно диагностировать в чем именно. Вот небольшой список проблем с которыми я сталкивался:

 

-На одном x86 роутере после обновления версии RouterOS начались рандомные перегрузы причину которых так и не нашел, вылечилось обновлением на последние версии.

-Были проблемы с PCIE картами planet выражались в рандомных потерях пакетов при работе с Vlan, решением проблемы был переход на бюджетные карты intel.

-Были проблемы работы карт intel c RB250GS выражалось в дико растущих пингах при прокачке больше 100 мегабит через транковый гигабитный порт, частично вылечилось изменением типа буфера интерфейса на x86 роутере, а например связка RB750G и RB250GS работала нормально без изменения буферов.

-SXT light 5 отказался работать с роутером alfa пришлось между ними ставить свитч.

 

Из не софтовых проблем, это дико горячие свитч чипы на RB250GS и RB750G вплоть до того, что на RB250GS отработавшего 2 года, вокруг чипа коричневый текстолит хотя изначально он был зелёным =) и такое уже на 2-х RB250GS.

[pppoetest]

ОС класная штука по соотношению функционал/цена

*bsd/*nix еще круче + бесплатно + отличный дебаг.

[BasilKlyev]

Подскажите есть ли сертификаты Российские на CCR1036-8G-2S+ ??

[saaremaa]

Подскажите есть ли сертификаты Российские на CCR1036-8G-2S+ ??

нет и есть мнение что не будет.

[BasilKlyev]

Вот так всегда ...

Есть железка за $1000 но нет сертификата.

Есть другая железка с сертификатом но стоит $10000.

Россея блин.

[dmvy]

Некоторые сервера KraftWay имеют сертификаты CCC. Можете для органов такой купить. Можно даже наклейку на любой сервер наклеить и показывать как часть сети надзорным органам.

[secandr]

BasilKlyev а вы прям как не русский человек. Поставьте любую горелую железку с сертификатом и нарисуйте её в схеме, запитайте её, так что бы лампочки мигали, навтыкайте проводов побольше и сдавайте. Горелая железка выйдет по цене металлолома, а работайте на том, на чём работаете.

[xaoc_nsk]

Нда...что думать не знаю. Жаль не тестил раньше подобное оборудование.

Хотели приобрести CCR1036-8G-2S+ чтоб чисто как шейпер в сети использовать и вот хз даже.

 

Абонентов чуть более 3к тарифы. 3, 8, 16, 30, 60. Стоит серв с Ксеоном 8 ядерным на борту, все работало нормально NAT, BGP, FIREWALL, DHCP, DNS ну и Шейпер на нем(биллинг отдельная машина), но уже как 2-3 месяца начали возникать проблемы с прерываниями

Интерфейсы у сервера 2х10G Intel прекрасно справляются с трафиком.

Сеть построена на Dlink, в башке на агреггации стоит ELTEX MES3124F. Технологию подключения абонентов пока используем старую. vlan на сектор и /22 подсеть. Сейчас заменяем оборудование, чтобы перейти на vlan per user. Терминация скорее всего так же будет осуществляться на этом же сервере. (accel-ppp)

 

2 аплинка - 1ый 750 Мбит (шейпится) и 2ой (500 мбит не шейпится) - IX сеть, через нее в основном все торренты качаются ну и популярные сервисы типа iwi.ru

 

Решили таки приобретать железо, чтоб чисто шейпило трафик. а то у абонентов уже с доступом проблемы начинаются, подтупливает, хотя полосы свободной еще 200Мбит, отрубаешь шейпер и о чудо)))все начинает как надо работать) только полосу они в полку загоняют сразу же. Особенно радуются товарищи с тарифами в 5+ мбит)

 

Сервер останется под NAT, BGP, accel и пр.

 

С циской все сложно, точнее все просто как раз. Вот с бюджетированием не очень.

 

Хотели приобрести CCR1036-8G-2S+ справится ли?

[NiTr0]

Мне кажется, что за те же деньги проще будет поставить рядом второй сервер, получив и снижение нагрузки, и отказоустойчивость... А еще лучше - шейпер подтюнить таки. 1.2 гбита для такой машины - семечки ИМХО.

[Saab95]

Хотели приобрести CCR1036-8G-2S+ справится ли?

 

Конечно справится, на чистом шейпере 2 гигабита пропускает без проблем. Только он должен роутером работать и маршрутизировать шейпируемый трафик, а не из бриджа его вылавливать.

[xaoc_nsk]

Да там по максимуму интеррапты разделили по ядрам. Что там еще прикручивать хз. Сначала трафик загоняется на imq, а с него уже отшейпленный идет дальше. Раньше было нормально, сейчас все становится круто, только когда вырубаешь шейпер. Но тогда товарищи с 8 мегабитами начинают радостно качать сколько им нужно.

Сам шейпер - это вообще отдельный пи...ец.

 

Парент ffff rate 750Mbit ceil 750Mbit

В нем два

dfff rate 700Mbit ceil 750Mbit - это под трафик клиентов.

efff rate 50mbit ceil 750Mbit - неклассифицированный трафик

 

Внутри dfff еще несколько классов( разделение по сегментам сети)

в каждом следующем уже абонентский класс. Причем в последнем самая жуть в том что могут еще дочерние создаваться, если в учетной записи клиента 2 и более ip.

 

И вот как не крути начинаются проблемы со скоростью. Сначала думали ну мало-ли, может действительно 200Мбит не выкачивают клиенты...Но как только рубим шейпер сразу начинается радость - причем для всех. Трафик сразу в полку

[xaoc_nsk]

Конечно справится, на чистом шейпере 2 гигабита пропускает без проблем. Только он должен роутером работать и маршрутизировать шейпируемый трафик, а не из бриджа его вылавливать.

Тоесть собственно если у меня будет 3к клиентов, то соответственно и очередей будет столько же - то все нормально будет? Тут меня больше интересует сколько же он может пропускать при таком количестве очередей. Без правил - пишут вроде по тестам 27 Gbps. Ну пускай цифра меньше будет. так как по факту в основном использоваться только 10G порты будут. Как рассчитывать то?) Допустим на сколько еще хватит.

Понятно, что роутером должен работать. из сети трафик в него дальше рулится на NAT ( сервер) дальше инет.

Еще...судя из перечитаного на этом форуме, не заткнется ли он, я ни малейшего представления не имею как в нем распределяется нагрузка по процам, прерывания и тд. ио не тестил. разве что rb951. Ось-то та же, железо только не такое) А то воткну и основное ядро в 100% уйдет и начнется...

[NiTr0]

Сначала трафик загоняется на imq, а с него уже отшейпленный идет дальше.

А нафига imq? Попробуйте ifb. Первое чего-то не в ядре, сторонние патчи, второе - в ядре и проверено.

Ну и шейпинг с хеш-таблицами, или тупо перебор по правилам?

Повторюсь - тюньте шейпера, что-то с ними у вас сильно не то.

[xaoc_nsk]

Дебильное ограничение на форуме в 3 сообщения...

 

imq чтоб нормально можно было с iptables работать. У ifb с ним проблемы насколько помнится. можно попробовать, если шейпер на другую машину поставить.

 

Пока что присматриваюсь в сторону специализированного железа, ну или отдельного сервера. Кстати отдельный сервер не всегда дешевле. Тот что у нас сейчас стоит обошелся в 150к. + сетевка интел с 10G еще 20к...это было 2 года назад. Сейчас вообще боюсь даже на ценники смотреть, микротик CCR1036-8G-2S+ от 60 до 80 т. р.

[NiTr0]

А для чего вам иптейблс? Что вы ним метить-то собираетесь в контексте шейпера? Или вы портянкой иптейблса пакет в классы запихиваете?

 

А 10г сетевуха - у китайцев баксов 220-250 с доставкой. То, что местные продаваны на них цену не сложат - это их личные проблемы. Интернет вроде как пока еще не запретили, как и международные почтовые отправления. Остальное железо - еще баксов 300 от силы.

 

Хотя я не думаю, что вам при наличии 2 серверов, работающих параллельно и балансирующих нагрузку, понадобятся 10г интерфейсы на них.

[BETEPAH]

Я думаю, что товарищ ничего про хеши не слышал, вот поэтому и проблемы.

Ну и 3 тыщи клиентов даже accel-pptp по-моему не осилит.

Изменено 25 декабря, 2014 пользователем BETEPAH

[Bushi]

Поставил CCR1036 на бордер, настройка простая (2 fullview bgp + несколько локальных пиров, десяток правил в firewall, nat) работает стабильно, при потоке 800 мбит/c средняя нагрузка 7%. Процесс routing не распараллеливается, грузит только одно ядро, в процессе обновлений маршрутов или поднятия пиров может вызывать длительную нагрузку 100% на одном ядре, но особой проблемы это не представляет.

 

Есть проблемы в плане управления.

 

Простая вещь, как посмотреть активные маршруты (аналог цискиной команды "show ip route").

Попробовал следующую вещь:

/ip route print where 8.8.8.8 in dst-address

маршрутизатор задумался аж на 5 минут и выдал такой ответ:

> /ip route print where 8.8.8.8 in dst-address                
Flags: X - disabled, A - active, D - dynamic, C - connect, S - static, r - rip, b - bgp, o - ospf, m - mme, B - blackhole, U - unreachable, P - prohibit 
#      DST-ADDRESS        PREF-SRC        GATEWAY            DISTANCE
0 ADb  0.0.0.0/0                          X.X.X.45             20
1  Db  0.0.0.0/0                          X.X.X.65             20
2 ADb  8.0.0.0/8                          X.X.X.45             20
3  Db  8.0.0.0/8                          X.X.X.65             20
4 ADb  8.0.0.0/9                          X.X.X.45             20
5  Db  8.0.0.0/9                          X.X.X.65             20
6 ADb  8.8.8.0/24                         X.X.X.45             20
7  Db  8.8.8.0/24                         X.X.X.65             20

Крайне медленно, очень неинформативно, понять, какой маршрут best, очень сложно.

 

Долго искал аналог команды "show ip bgb neighbor received", попробовал "/ip route print where received-from=", ответа так и не дождался. Rtconfig, естественно, не работает, приходится фильтры вручную править. Впечатление от железки двойственное - вроде приличная производительность, а управление как-то через жопу сделано.

 

Ну в принципе железка как вариант дешево заткнуть на время дыру - очень даже ничего.

[xaoc_nsk]

может я путаю чего, hash key с esfq используют.

у нас через sfq flow classifier реализовано

 

my_stop () {
       for i in $IF_S ; do
               tc qdisc del dev $i root >/dev/null 2>&1
       done......................................................
}

my_start () {.....................................................

#        /usr/sbin/ethtool -K eth0 rx off tx off
#        /usr/sbin/ethtool -K eth1 rx off tx off
       for i in $IF_S ; do

               tc qdisc add dev $i root handle 1 htb default efff # default class is efff

               tc class add dev $i parent 1: classid 1:ffff htb rate ${tot}Mbit  # ROOT class
               tc qdisc add dev $i parent 1:ffff handle ffff sfq perturb 10.....

               tc class add dev $i parent 1:ffff classid 1:efff htb quantum 16000 rate ${lim}Mbit ceil ${tot}Mbit # default class
               tc qdisc add dev $i parent 1:efff handle efff sfq perturb 10

               tc class add dev $i parent 1:ffff classid 1:dfff htb rate ${unlim}Mbit ceil ${tot}Mbit prio 6 # unlim class aggregate
               tc qdisc add dev $i parent 1:dfff handle dfff sfq perturb 10

               tc class add dev $i parent 1:dfff classid 1:fff0 htb quantum 16000 rate 140Mbit ceil ${tot}Mbit prio 6 # vlan100
               tc qdisc add dev $i parent 1:fff0 handle fff0 sfq perturb 10

               tc class add dev $i parent 1:dfff classid 1:fff1 htb quantum 16000 rate 140Mbit ceil ${tot}Mbit prio 6 # vlan101
               tc qdisc add dev $i parent 1:fff1 handle fff1 sfq perturb 10

               tc class add dev $i parent 1:dfff classid 1:fff2 htb quantum 16000 rate 140Mbit ceil ${tot}Mbit prio 6 # vlan102
               tc qdisc add dev $i parent 1:fff2 handle fff2 sfq perturb 10

               tc class add dev $i parent 1:dfff classid 1:fff3 htb quantum 16000 rate 140Mbit ceil ${tot}Mbit prio 6 # vlan103
               tc qdisc add dev $i parent 1:fff3 handle fff3 sfq perturb 10

               tc class add dev $i parent 1:dfff classid 1:fff4 htb quantum 16000 rate 140Mbit ceil ${tot}Mbit prio 6 # vlan103
               tc qdisc add dev $i parent 1:fff4 handle fff4 sfq perturb 10

if [ "$i" == "imq0" -o "$i" == "imq1" ] ; then
                       dst="dst"
               else
                       dst="src"
               fi

               tc filter add dev $i parent 1: protocol ip handle 1 pref 200 flow map key $dst and 0xffff >/dev/null 2>&1
               tc filter add dev $i parent 1: protocol ip fw >/dev/null 2>&1

       done
}
my_status () {
       for i in $IF_S ; do
               tc -s class show dev $i
       done
}

IF_S="imq0 imq1 vlan119 vlan112"

case "$1" in
start|restart)
       my_stop
       my_start
/sbin/ifconfig eth0 txqueuelen 1000
/sbin/ifconfig eth1 txqueuelen 1000

       ;;
stop)
       my_stop
       ;;
status)
       my_status
       ;;
*)
       echo "Usage: `basename $0` {start|stop|restart|status}"
       ;;
esac

 

А иптэйблсом метится трафик, который загоняется в классы, вы правы.

iptables -A PREROUTING -t mangle -i $vlan -j MARK --set-mark 0xdfff

 

Есть еще один скрипт, который собственно распределяет трафик с разных vlan по подклассам dfff

Если у клиента несколько ип адресов в учетке, то собственно еще создается дочерние классы, чтобы суммарная скорость на ip адресах не выходила за рамки.

 

Реализовывал не я, поэтому приходится разбираться в этом самому с нуля.

Может что подскажете

[BETEPAH]

Предлагаю новый топик оформить, дабы здесь не оффтопить.

И по хорошему всё переделать надо. Уходить от линейных правил к ipset + хеши tc.

Изменено 26 декабря, 2014 пользователем BETEPAH

[NiTr0]

может я путаю чего, hash key с esfq используют.

Не-не, речь о хеш-таблицах tc filter.

 

А иптэйблсом метится трафик, который загоняется в классы, вы правы.

iptables -A PREROUTING -t mangle -i $vlan -j MARK --set-mark 0xdfff

Отсюда и все проблемы. А потом еще эти метки по одной разбираются в tc правилах...

[xaoc_nsk]

Можно оформить новую тему, с удовольствием по дискутирую по этой теме. Очень актуально

Мне тему заводить?

Изменено 26 декабря, 2014 пользователем xaoc_nsk

[xaoc_nsk]

Ребят, хотел уточнить немного как сейчас сделано.

 

Пакет к определенному IP маркируется вот так:

 

# tc filter show dev imq0

filter parent 1: protocol ip pref 200 flow

filter parent 1: protocol ip pref 200 flow handle 0x1 map keys dst and 0x0000ffff baseclass 1:1

filter parent 1: protocol ip pref 49152 fw

 

Далее, в iptables (табличка mangle) загоняется трафик с внешнего интерфейса на imq:

 

Chain FORWARD (policy ACCEPT 2380953 packets, 2069974123 bytes)

pkts bytes target prot opt in out source destination

619015 758207242 IMQ all -- vlan119 * 0.0.0.0/0 0.0.0.0/0 IMQ: todev 0

 

 

Ну и под конец, на imq создано дерево классов:

 

root ffff

|- efff - дефолтный

|- fff0 - сегмент0

|- fff1 - сегмент1

|- fff2 - сегмент2

|- fff3 - сегмент3

|- fff4 - сегмент4

 

От dfff избавились, это пережиток, и марков нет теперь и класса такого.

 

А в каждом сегменте уже заводятся leaf классы с айдишниками из tc filter