Проблемы c BRAS Mikrotik CCR1036

[Serejka]

Взяли Mikrotik CCR1036-8G, на борту 16G ОЗУ установлены дилером.

 

Задача держать pppoe/pptp, шейпить, натить.

 

При ~400 сессиях, и скромном трафике до 100 Мбит, вылезают потери порядка 10% в клиентских VLAN, на аплинковом потерь 0 (загрузка ядер примерно на 18 из 36 показывает до 5%, отъедает всего 500 метров оперативки)

 

Грешил на simple queue - правил много, мало ли что. Настроил схему маркировка- pcq шейперы - queue tree. Результата нет.

Также страшили что МТ может себя некорректно вести(проблемы с IRQ), если клиенты и мир висят на одном порту. Разнёс - результата нет.

 

Уменьшил число сессий до ~250 - потери остаются те же самые 10%, при ~85 потерь не было, порог начала само собой не отлавливал - клиенты голову оторвут.

 

Пообщался со знакомым, жалуется на подобную проблему.

Может быть кто-то встречал и борол эту проблему? Куда копать то.

 

Смущает то что % дропов на 2х значениях нагрузки оказался одиннаковым.

Прошивка 6.25 (апнулся до 6.27, ещё не перепроверял - но ченджлоги оптимизма не сулят)

Есть костыльные идеи (типа давать МТ нетегированный трафик, поменять порт, разнести клиентскую нагрузку на отдельные порты), но всё это не интеллигентно.

[Serejka]

Разнёс клиентов по разным портам микротика.

 

120 сессий - норма, 0% потерь

200 сессий - 3% потерь

[Saab95]

Взяли Mikrotik CCR1036-8G, на борту 16G ОЗУ установлены дилером.

 

Может нужно было взять микротик, у которого на борту 4 гигабайта ОЗУ, установленных на заводе? У моего например, всего 4, зато он ваши объемы обслуживает играючи, да и увеличенные в 10 не создают ему проблем.

 

Задача держать pppoe/pptp, шейпить, натить.

 

НАТ нужно выводить на отдельную железку, он снижает производительность более чем в 2 раза.

 

Пообщался со знакомым, жалуется на подобную проблему.

Может быть кто-то встречал и борол эту проблему? Куда копать то.

 

Правильно настроить оборудование, сделать правильный дизайн сети.

[RuffiAn]

У нас стоит 2 шт - 1036-8g-2s+ жует на каждом в пике висит по ~1200 сессий, потерь нету. ОЗУ там 4гига

Edited February 17, 2015 by RuffiAn

[Serejka]

Правильно настроить оборудование, сделать правильный дизайн сети.

 

А можно пример "правильно настроенного оборудования" , например в личку. Если нат снижает производительность в 2 раза, ладно, пусть так, но не до таких же низких значений.

 

 

 

 

У нас стоит 2 шт - 1036-8g-2s+ жует на каждом в пике висит по ~1200 сессий, потерь нету. ОЗУ там 4гига

Сам понимаю, что должен жевать и текущая загрузка крайне низкая. Какая версия прошивки? И тоже поглядеть бы на секцию основных настроек. Типа маркировки/шейпинга/работы с очередями.

[kosmich7]

У нас стоит 2 шт - 1036-8g-2s+ жует на каждом в пике висит по ~1200 сессий, потерь нету. ОЗУ там 4гига

И превращается в тыкву от малейшего чиха :)

 

Сам понимаю, что должен жевать и текущая загрузка крайне низкая. Какая версия прошивки? И тоже поглядеть бы на секцию основных настроек. Типа маркировки/шейпинга/работы с очередями.

Попробуй выключить маркеры и очереди. У микротика всегда есть дропы на интерфейсах вланов, обычно это не влияет на его работу, и не заметно для клиентов.

[EShirokiy]

Serejka, pptp-сессий много?

[SyJet]

Меня все интересуют, что двигает людьми покупку микротика в исп? Собственно помню себя, тоже rb1000 накупил, но с тех времён уйма лет прошло, и покупать больше не намерен..

Edited February 17, 2015 by SyJet

[EShirokiy]

Меня все интересуют, что двигает людьми покупку микротика в исп? Собственно помню себя, тоже rb1000 накупил, но с тех времён уйма лет прошло, и покупать больше не намерен..

Жрет мало и не шумит, работает нормально, далеко не у всех сети локально расположены. С большой распределенностью сети и небольшим количеством хостов (200 штук на один NAS). А так же ценой и тем условием, что собирается на коленке и настраивается за пол часа, а так же не требует какой либо серьезной квалификации для настройки.

Раньше широко применяли pptp, но у микротиков от этого голову сносило, перешли на ipoe и проблемы как рукой сняло)

[SyJet]

Хмм, ip unnumber на микротике? Как? И кто маршруты строит?

[EShirokiy]

ip unnumber

Маршруты статические, ip unnumbered не используется, внутренних айпишек много, не вижу смысла экономить. Внешние айпишки очень редко берут.

[SyJet]

Те каждого абонента руками заводите?

[Sergeylo]

что двигает людьми покупку микротика в исп?

К сегодняшнему дню на первое место вышла цена. Разница почти 10 раз со сравнимыми по производительности железками от C.

[SyJet]

что двигает людьми покупку микротика в исп?

К сегодняшнему дню на первое место вышла цена. Разница почти 10 раз со сравнимыми по производительности железками от C.

В принципе понятно, но не понятно какой из микротика bras для ipoe, с pppoe вопросов нет - у самих крутится.

[Serejka]

Serejka, pptp-сессий много?

 

pptp даже не переключал. оттестирована работоспособность и всё. Валится на чистом pppoe.

[EShirokiy]

SyJet, используется hotspot радиус-авторизация по маку, работает нормально. Сеть небольшая, в больших объемах могут возникнуть проблемы. Нагрузка на микротик минимальная. Абонент заводится ручками в биллинге, далее сам авторизуется на ближайшем NASe, там же и созданы vlan в котором абонент обитает.

[Serejka]

У нас стоит 2 шт - 1036-8g-2s+ жует на каждом в пике висит по ~1200 сессий, потерь нету. ОЗУ там 4гига

И превращается в тыкву от малейшего чиха :)

 

Сам понимаю, что должен жевать и текущая загрузка крайне низкая. Какая версия прошивки? И тоже поглядеть бы на секцию основных настроек. Типа маркировки/шейпинга/работы с очередями.

Попробуй выключить маркеры и очереди. У микротика всегда есть дропы на интерфейсах вланов, обычно это не влияет на его работу, и не заметно для клиентов.

 

 

Проблема началась без маркеров и очередей. Отлов начался, когда было банально поднято 10 vlan, соответственно такое же число серверов pppoe (по 1 на подсеть), радиус авторизация, нат, снмп ридонли и всё. Шейпилось через simple queue

[Saab95]

А можно пример "правильно настроенного оборудования" , например в личку. Если нат снижает производительность в 2 раза, ладно, пусть так, но не до таких же низких значений.

 

Здесь вопрос в другом - до этого с чем работали? Если с цисками, длинками, линуксами и прочими подобными системами, то сложно будет переучиваться на микротиковское мышление. На микротике есть правило - чем проще, тем лучше. Поэтому покажите пример вашего конфига через експорт компакт.

 

У микротика так же настраиваются буферы интерфейсов на портах, можно попробовать поставить там какие-то другие параметры, отличные от стандартных. И естественно прошивку нужно самую последнюю.

[pppoetest]

На микротике есть правило - чем проще, тем лучше.

В мемориз, однозначно.

[ChargeSet]

Через десять лет вижу картину: стучится в дверь нечто с пустыми глазами и вопрошает, проникновенно так: скажите, а вы верите в микротик?

У микротика нет никакого особенного мышления, есть только набор знаний о том, что у него точно работает без проблем.

[GrandPr1de]

есть только набор знаний о том, что у него точно работает без проблем

тупой статик раутинг с выключенным фаерволом? :) :) : :) :)

и чем меньше маршрутов тем лучше :D :D :D

 

сори за офтоп

[kosmich7]

Отлов начался, когда было банально поднято 10 vlan

Сбросить в дефолт и заново настроить, хотя и сам не очень люблю так делать.

Если костыль в настройках должно попустить, если проблема в самой сети, настройках, появится снова.

 

PS: Сглазили ваш микротик :)

[Sergeylo]

чем проще, тем лучше

Автор талмуда по микротиковскими дрвевовидным очередям не согласился бы, думаю.

Это вообще общий принцип всего - не усложнять без необходимости.

 

Подобной проблемы не замечал, слежу за развитием темы.

[Serejka]

А можно пример "правильно настроенного оборудования" , например в личку. Если нат снижает производительность в 2 раза, ладно, пусть так, но не до таких же низких значений.

 

Здесь вопрос в другом - до этого с чем работали? Если с цисками, длинками, линуксами и прочими подобными системами, то сложно будет переучиваться на микротиковское мышление. На микротике есть правило - чем проще, тем лучше. Поэтому покажите пример вашего конфига через експорт компакт.

 

У микротика так же настраиваются буферы интерфейсов на портах, можно попробовать поставить там какие-то другие параметры, отличные от стандартных. И естественно прошивку нужно самую последнюю.

 

Работаем с разнородным оборудованием и привычно что философия вендоров может различаться, под конкретную настройку мышление перестраивается, дальше остаются примеры, если в памяти стирается и заметки по ключевым моментам.

Сейчас сессии держатся на паре тазиков, и вполне себе успешно. Один из них начал подзагибаться, решено было взять пару микротиков и поднять vrrp. С текущими темпами нужна не пара, а десятка полтора, поэтому хочется разобраться.

Прикладываю общий вид конфига. Лишнее поубирал один экземпляр множественных записей оставлен для иллюстрации.

 

/interface bridge
add name=bridge1
/interface ethernet
set [ find default-name=ether1 ] l2mtu=1590
set [ find default-name=ether2 ] l2mtu=1590
set [ find default-name=ether3 ] l2mtu=1590
set [ find default-name=ether4 ] l2mtu=1590
set [ find default-name=ether5 ] l2mtu=1590
set [ find default-name=ether6 ] l2mtu=1590
set [ find default-name=ether7 ] l2mtu=1590
set [ find default-name=ether8 ] l2mtu=1590
set [ find default-name=sfp-sfpplus1 ] l2mtu=1590 name=sfp-plus1
set [ find default-name=sfp-sfpplus2 ] l2mtu=1590 name=sfp-plus2
/interface vlan
#Секция объявления вланов
add interface=ether1 l2mtu=1586 name=vlan1 vlan-id=999

/ip firewall layer7-protocol
#объявление l7 не используются пока
add name=Skype regexp="^..\\x02............."
add name=radmin regexp="^\\x01\\x01(\\x08\\x08|\\x1b\\x1b)\$"
add name=rdp regexp="rdp\r\
   \nrdpdr.*cliprdr.*rdpsnd"
add name=http regexp="http/(0\\.9|1\\.0|1\\.1) [1-5][0-9][0-9]|post [\\x09-\\x0d -~]* http/[01]\\.[019]"
add name=Jabber regexp="<stream:stream[\\x09-\\x0d ][ -~]*[\\x09-\\x0d ]xmlns=['\"]jabber"
add name=GIF_FILE regexp=gif
add name=PNG_FILE regexp=png
/ip ipsec proposal
set [ find default=yes ] enc-algorithms=3des
/port
set 0 name=serial0
set 1 name=serial1
/ppp profile
#набор локальных профилей ppp, для соединений в обход биллинга.
set 0 dns-server=,8.8.8.8 local-address=10.0.0.0 use-encryption=no
add dns-server=194.54.152.35,8.8.8.8 local-address=10.0.0.0 name=vpn_10Mb rate-limit=10M/10M
set 20 local-address=10.0.0.0

/queue type
#полтора десятка очередей для ограничения скорости абонов
add kind=pcq name=pcq_10M_up pcq-burst-rate=11M pcq-burst-threshold=10M pcq-burst-time=5s pcq-classifier=src-address pcq-rate=10M pcq-total-limit=64k
add kind=pcq name=pcq_10M_down pcq-burst-rate=11M pcq-burst-threshold=10M pcq-burst-time=5s pcq-classifier=src-address pcq-rate=10M pcq-total-limit=64k

/queue tree
# полтора десятка лепестков, переваривающих очереди типа pcq_10M_up
add name=Total_upload parent=global priority=1 queue=default
add name=Total_download parent=global priority=1 queue=default
add name=10M_up packet-mark=packets_shaped_10M_up parent=Total_upload priority=1 queue=pcq_10M_up
add name=10M_down packet-mark=packets_shaped_10M_down parent=Total_download priority=1 queue=pcq_10M_down

/snmp community
add addresses=  name= 
/interface pppoe-server server
#десяток интерфейсов, вида
add authentication=chap,mschap2 disabled=no interface=vlan1 max-mru=1492 max-mtu=1492 one-session-per-host=yes service-name=nas3

/interface pptp-server server
set default-profile=default enabled=yes max-mru=1472 max-mtu=1472
/ip address
#перечисление интерфейсов, например
add address=172.28.1.3/24 interface=vlan1 network=172.28.1.0
/ip dns
set allow-remote-requests=yes
/ip dns static
add address=192.168.88.1 name=router
/ip firewall filter
#стандартный фаер,  админ доступ, связь с биллингом, форвард абонентских подсетей
/ip firewall mangle
# полторая десятка цепочек вида:
add action=mark-packet chain=forward new-packet-mark=packets_shaped_10M_up passthrough=no src-address-list=10M
add action=mark-packet chain=forward dst-address-list=10M new-packet-mark=packets_shaped_10M_down passthrough=no

/ip firewall nat
# 15 правил вида
add action=masquerade chain=srcnat out-interface=Real_IP src-address=


/ip proxy
set cache-path=web-proxy1
/ip route
add distance=1 gateway=
/ppp aaa
set interim-update=1m use-radius=yes
/ppp secret
#Секция выгружаемая скриптом для работы в обход биллинга, вида:
add comment="Wed Feb 18 16:00:47 2015" disabled=yes local-address=10.0.0.0 name=name1 password=pass1 profile=vpn_2Mb remote-address=IP

/radius
add accounting-port=port address=address authentication-port=port secret=community service=ppp src-address=address timeout=10s
/radius incoming
set accept=yes
/snmp
set contact= enabled=yes location= trap-version=2
/system clock
set time-zone-autodetect=no time-zone-name=Europe/Moscow
/system identity
set name=
/system leds
set 0 type=interface-speed
set 2 type=interface-speed
/system ntp client
set enabled=yes primary-ntp=31.131.249.26 secondary-ntp=  server-dns-names=  
/system routerboard settings
set cpu-frequency=1200MHz memory-frequency=1066DDR
/system upgrade upgrade-package-source
add address=127.0.0.1 user=admin

[Serejka]

Подниму немного тему, чтобы не затерялась.

Сегодня в планах поставить микротик в ядро, на положенное ему место и проверить производительность, дабы полностью отсечь промежуточные коммутаторы.