[x-rayd]

Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30%

Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений).

Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе.

 

Вопрос:

Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете?

[Saab95]

Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30%

Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений).

Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе.

 

У вас древний сервер с древним процессором на древней шине и древней памятью и не менее древними сетевыми платами. Поэтому никто не будет спорить что проблема не в железе.

 

Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете?

 

Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать.

[x-rayd]

Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать.

 

@ Saab95

 

На сколько примерно увеличится производительность по сравнению с DELL сервером?

[nur16]

Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30%

Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений).

Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе.

 

У вас древний сервер с древним процессором на древней шине и древней памятью и не менее древними сетевыми платами. Поэтому никто не будет спорить что проблема не в железе.

 

Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете?

 

Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать.

Очень уж категоричные ответы.

 

Ведь у роутера на базе х86 не наблюдается перегруза ядер процессоров? Загрузка процов же в норме.

Почему тогда тормозит инет? Вопрос к топикстартеру - а задержка до роутера какая?

С каким пингом отвечает роутер? Этот показатель точнее определяет загрузку роутеров

на базе микротик.

 

И я бы не говорил, что роутеры CCR уже такие прям хорошие. Куча слабых ядер, достаточно

перегрузить одно ядро, и роутер начинает сыпать QoS, так что становится невозможной нормальная работа

любого сервиса. Мы пробовали делать шейперы из роутеров CCR, запарились конкретно и переводим

сейчас все обратно на старый добрый х86, который ведет себя более предсказуемо. Те же Делл 1950

это отличные рабочие лошадки с хорошим набором железа на борту, с которым микротик очь стабильно работает.

[Saab95]

Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать.

На сколько примерно увеличится производительность по сравнению с DELL сервером?

 

Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер.

[x-rayd]

а какой трафик?

[Saab95]

а какой трафик?

 

500-700 мегабит в пиках.

[nur16]

Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать.

На сколько примерно увеличится производительность по сравнению с DELL сервером?

 

Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер.

 

Демонстрация графиков загруза ЦПУ бессмысленна. в х86 их 4, или 8,

в CCR их 36, и сравнивать смысла нет, тк никогда все 36 ядер не будут загружены.

Вы покажите пинг до роутера х86 и CCR.

[Saab95]

Вы покажите пинг до роутера х86 и CCR.

 

Пинг как был 1мс так и остался.

[x-rayd]

500-700 мегабит в пиках.

 

Охренеть!

 

Это конечно очень хороший результат. Просто до этого у меня на том же сервере стояли процессоры частотой 1.86 GHz, тогда CPU было загружено на 50-60 % но страницы можно сказать почти не открывались.

Придется рискнуть и купить микротик железку. :)

Edited December 5, 2014 by x-rayd

[kosmich7]

Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать.

На сколько примерно увеличится производительность по сравнению с DELL сервером?

 

Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер.

А можно график PPP Connections и route показать ?

Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23.

[Saab95]

Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23.

 

Таких проблем не возникает. У вас клиенты по PPPoE случайно не через убнт подключены?

[kosmich7]

Таких проблем не возникает.

Сегменты не отваливаются ?

Не только ubnt, на что именно намекаеш ? Почему при отвале до 100сесий не впадает в кому ?

[Saab95]

Не только ubnt, на что именно намекаеш ? Почему при отвале до 100сесий не впадает в кому ?

 

Надо найти источник проблемы, почему отваливаются. Может проблема в том, что идет какой-то флуд, или зеркалирование трафика, либо что-то такое, что сбивает механизмы работы PPPoE. При этом сервер не знает что ему делать и сессии подвисают, а потом отваливаются по таймауту. Нужно разделить все сегменты сети и передавать трафик в центр по туннелям, в которых все кроме pppoe заблокировано. У нас, например, сеть разбита на сегменты, в каждом совсем мало абонентов, обычно от 5 до 50, каждый сегмент в EoIP туннеле идет в центр и терминируется на отдельном PPPoE сервере.

[Artur-t]

А можно график PPP Connections и route показать ?

Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23.

 

Сталкивались

Также возникает проблема при постоянно отключающихся и подключающихся абонентах

Как сказали ребята из микротика это проблема с route cache

Порсмотрите графики использования памяти скорее всего у вас в момент зависания резкий пик :)

 

варианты

1. ждем 7 ветку обещали фикс

2. не больше 400 человек на 1 сервер

3. сделать так что бы сессии не отваливались, тогда все будет хороше

[kosmich7]

Память не хавается, пика нет, по крайней мере в графиках тика этого не видно, в кактусе пока еще память не прикрутил, не поделитесь ссылочкой на темплейт если есть.

Да, сразу бросается в глаза на графиках, одинаковые провалы в маршрутах и pppoe.

Т.е. ему выносят мозк вновь созданные и не успевшие потушиться маршруты ?

 

2. Не вариант. Покрутил настройки, полегчало, наблюдаем дальше.

3. Нет ТВ.

 

Надо найти источник проблемы

Источник проблемы ccr1036 или его Ось :)

 

почему отваливаются.

Этот момент особо не важен, причина отвала известна, устранить причину нет ТВ.

 

Может проблема в том, что идет какой-то флуд, или зеркалирование трафика, либо что-то такое, что сбивает механизмы работы PPPoE.

Сервер ложил на флуд большой болт, до того момента пока есть свободное место в канале передачи данных, а оно есть с запасом, и достаточно его серверных ресурсов, они тоже есть в избытке.

К примеру на freebsd i5 1Ксесий онлайн, трафа до 800Мбит, и он не впадает в кому от таких чихов, и стоимость его в 2 раза меньше.

 

При этом сервер не знает что ему делать и сессии подвисают, а потом отваливаются по таймауту.

В мемориз. Микротик не знает что ему делать, как такое возможно :-)

Все бы ничего, если бы сервер не впадал в кому и не ребутился, пусть отваливаются по таймауту, но так не происходит, сервер превращается в тыкву.

 

Нужно разделить все сегменты сети и передавать трафик в центр по туннелям, в которых все кроме pppoe заблокировано.

Согласен, сегментировать сеть необходимо, а как вы на клиентские антенны или свичи попадете разрешив только pppoe ?

Сегментация сети никаким образом к массовым отвалам не относится, разве что косвенно.

 

У нас, например, сеть разбита на сегменты, в каждом совсем мало абонентов, обычно от 5 до 50, каждый сегмент в EoIP туннеле идет в центр и терминируется на отдельном PPPoE сервере.

Т.е. с каждым новым вланом/туннелем нагружаем сервер чтоб впарить/продатьпоставить раньше еще один сервер :-)

[Saab95]

Источник проблемы ccr1036 или его Ось :)

 

Нет, источник не правильная сеть. Уже не первый раз сталкиваются с такими проблемами, типа микротик глючит и т.п. Всегда причина оказывалась совершенно в другом месте.

 

Этот момент особо не важен, причина отвала известна, устранить причину нет ТВ.

 

Как раз найдя причину отвалов решите проблему с зависаниями.

 

Сервер ложил на флуд большой болт, до того момента пока есть свободное место в канале передачи данных, а оно есть с запасом, и достаточно его серверных ресурсов, они тоже есть в избытке.

К примеру на freebsd i5 1Ксесий онлайн, трафа до 800Мбит, и он не впадает в кому от таких чихов, и стоимость его в 2 раза меньше.

 

Вы не поняли о чем я написал. Бывает флуд просто поток трафика, а бывает флудящий коммутатор возвращает трафик абонентов в сеть, то есть клиент отправил на сервер PPPoE пакет подтверждения, а потом этот же пакет пришел еще раз, либо где-то производится подмена мак адресов, из-за чего нарушаются механизмы работы протокола.

 

В мемориз. Микротик не знает что ему делать, как такое возможно :-)

Все бы ничего, если бы сервер не впадал в кому и не ребутился, пусть отваливаются по таймауту, но так не происходит, сервер превращается в тыкву.

 

У меня PPPoE серверов много, и ни один никогда не зависал и никаких проблем не создавал. И на аналогичных вашему микротику есть PPPoE сервера под разными версиями OS и так же все работает стабильно.

 

Согласен, сегментировать сеть необходимо, а как вы на клиентские антенны или свичи попадете разрешив только pppoe ?

Сегментация сети никаким образом к массовым отвалам не относится, разве что косвенно.

 

На клиентские антенны можно зайти через PPPoE, по адресу, выданному антенне. Если надо зайти на оборудование за антенной абонента, то выделяете туда сетку /29 или больше, анонсите по OSPF.

Если у вас за антенной находится коммутатор, к которому подключены абоненты, то с антенны заворачиваете весь трафик в EoIP туннель и пускаете на сервер, а адресацию коммутаторов так же делаете на этой антенне и анонсите по OSPF.

 

Т.е. с каждым новым вланом/туннелем нагружаем сервер чтоб впарить/продатьпоставить раньше еще один сервер :-)

 

На микротике можно создавать много PPPoE серверов. В идеале на каждый сектор БС, на каждый многоквартирный дом, выделяют отдельный PPPoE сервер в пределах устройства.

[kosmich7]

Нет, источник не правильная сеть. Уже не первый раз сталкиваются с такими проблемами, типа микротик глючит и т.п. Всегда причина оказывалась совершенно в другом месте.

Тоесть банальный отвал сегмента сети, по причине например отсутствия элетричества, перезагрузки оборудования на магистральном линке и в следствии этого отвалом абонов с одного из созданного на тике PPPoE севрера, есть повод для окукливания мозка тика ? - однако.

 

Как раз найдя причину отвалов решите проблему с зависаниями.

Причина, например отсутствие электричества у абонентов, как это решает проблему с впаданием в кому и ребутами тика ?

 

На микротике можно создавать много PPPoE серверов.

Знаю об этом.

[Artur-t]

Память не хавается, пика нет, по крайней мере в графиках тика этого не видно, в кактусе пока еще память не прикрутил, не поделитесь ссылочкой на темплейт если есть.

Да, сразу бросается в глаза на графиках, одинаковые провалы в маршрутах и pppoe.

Т.е. ему выносят мозк вновь созданные и не успевшие потушиться маршруты ?

 

2. Не вариант. Покрутил настройки, полегчало, наблюдаем дальше.

3. Нет ТВ.

Ему сносят башню маршруты которые то появляются то исчезают, у нас примерто в минуту было +-60 сессий при 1000 сессий максимальное время жизни CCR 3 дня.

Но у нас из-за этого можно наблюдать постоянный рост потребления памяти и в один прекрасный момент ccr превращается в тыкву.

Замена CCR на x86 тазик с ROS не чего не изменила.

В итоге пришлось уменьшать количество сессий на одной железке растаскивая из на несколько железок.

[kosmich7]

максимальное время жизни CCR 3 дня.

Посмотрим... Не так страшен черт как его рисуют :)

 

 

Последний ребут отметил на недельном графике, на суточном можно видеть отстутствие пикового потребления памяти при падениях PPPoE и маршрутов.

 

максимальное время жизни CCR 3 дня.

Замена CCR на x86 тазик с ROS не чего не изменила.

Ставьте FreeBSD, на том же х86 железе прожует в 2 раза больше сесий и трафа.

[Artur-t]

kosmich7

У вас все очень хороше судя по графикам

у нас была боль из-за постоянно прыгающих клиентов

[Saab95]

Тоесть банальный отвал сегмента сети, по причине например отсутствия элетричества, перезагрузки оборудования на магистральном линке и в следствии этого отвалом абонов с одного из созданного на тике PPPoE севрера, есть повод для окукливания мозка тика ? - однако.

 

У меня ничего не перезагружается и не зависает, даже если пол сети отключаются.

 

Причина, например отсутствие электричества у абонентов, как это решает проблему с впаданием в кому и ребутами тика ?

 

Проблема в другом и с микротиком никак не связана.

 

kosmich7

У вас все очень хороше судя по графикам

у нас была боль из-за постоянно прыгающих клиентов

 

Многовато памяти используется при таком количестве абонентов.

[kosmich7]

kosmich7

У вас все очень хороше судя по графикам

у нас была боль из-за постоянно прыгающих клиентов

Очень похоже что на данный момент 1К онлайна это его предел на сегоднешний день, в связи с недопиленностью софта.

Подумайте над вопросом, что можно покрутить на предмет "прыгающих клиентов", соответственно если сеть не совсем "тупая", в противном случае дело у вас возможно и не в "прыгающих клиентах".

[swsn]

Тестируем CCR1036-8G-2S+EM уже неделю.Прошивка 6.24

Используем в качестве NAT сервера для пользователей которым не хватило выделенных ip

Нагрузили пока на десяточный интерфейс на 5 гбит - нагрузка на процессор максимум поднималась до 61%.

Вроде пока жалоб нет :)

Есть два глюка с веб интерфейсом:

1) Бывает он просто не отвечает)

2) Графики более 3 гбит рисуются неправильно ( провал и рисует на уровне 1 гбит)

[kosmich7]

Апну тему.

 

Есть CCR1036-12G-4S 2 штуки, оба настроены идентично, один CCR ребутится периодически от непонятно чего, второй работает уже три месяца.

Есть в этом же месте х86 с ROS который тоже живет непонятной жизнью.

Прошивка на всех 6.24.

 

У меня ничего не перезагружается и не зависает, даже если пол сети отключаются.

Да у меня тоже со вторым CCR такая фишка, ему пофиг даже отвал всего сегмента ~500 абонов, хоть несколько раз в минуту отвалы сегмента - ему хоть бы что. А первый непонятно от чего ребутится, подозреваю проблема железная.

 

Многовато памяти используется при таком количестве абонентов.

Покажи сколько памяти используется у тебя на аналогичном насе ? На х86 с ROS у меня раз в десять меньше памяти используется, в отличии от CCR.