x-rayd Posted December 3, 2014 · Report post Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30% Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений). Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе. Вопрос: Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете? Share this post Link to post Share on other sites
Saab95 Posted December 4, 2014 · Report post Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30% Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений). Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе. У вас древний сервер с древним процессором на древней шине и древней памятью и не менее древними сетевыми платами. Поэтому никто не будет спорить что проблема не в железе. Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете? Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. Share this post Link to post Share on other sites
x-rayd Posted December 4, 2014 · Report post Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. @ Saab95 На сколько примерно увеличится производительность по сравнению с DELL сервером? Share this post Link to post Share on other sites
nur16 Posted December 4, 2014 · Report post Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30% Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений). Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе. У вас древний сервер с древним процессором на древней шине и древней памятью и не менее древними сетевыми платами. Поэтому никто не будет спорить что проблема не в железе. Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете? Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. Очень уж категоричные ответы. Ведь у роутера на базе х86 не наблюдается перегруза ядер процессоров? Загрузка процов же в норме. Почему тогда тормозит инет? Вопрос к топикстартеру - а задержка до роутера какая? С каким пингом отвечает роутер? Этот показатель точнее определяет загрузку роутеров на базе микротик. И я бы не говорил, что роутеры CCR уже такие прям хорошие. Куча слабых ядер, достаточно перегрузить одно ядро, и роутер начинает сыпать QoS, так что становится невозможной нормальная работа любого сервиса. Мы пробовали делать шейперы из роутеров CCR, запарились конкретно и переводим сейчас все обратно на старый добрый х86, который ведет себя более предсказуемо. Те же Делл 1950 это отличные рабочие лошадки с хорошим набором железа на борту, с которым микротик очь стабильно работает. Share this post Link to post Share on other sites
Saab95 Posted December 4, 2014 · Report post Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. На сколько примерно увеличится производительность по сравнению с DELL сервером? Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер. Share this post Link to post Share on other sites
x-rayd Posted December 4, 2014 · Report post а какой трафик? Share this post Link to post Share on other sites
Saab95 Posted December 5, 2014 · Report post а какой трафик? 500-700 мегабит в пиках. Share this post Link to post Share on other sites
nur16 Posted December 5, 2014 · Report post Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. На сколько примерно увеличится производительность по сравнению с DELL сервером? Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер. Демонстрация графиков загруза ЦПУ бессмысленна. в х86 их 4, или 8, в CCR их 36, и сравнивать смысла нет, тк никогда все 36 ядер не будут загружены. Вы покажите пинг до роутера х86 и CCR. Share this post Link to post Share on other sites
Saab95 Posted December 5, 2014 · Report post Вы покажите пинг до роутера х86 и CCR. Пинг как был 1мс так и остался. Share this post Link to post Share on other sites
x-rayd Posted December 5, 2014 (edited) · Report post 500-700 мегабит в пиках. Охренеть! Это конечно очень хороший результат. Просто до этого у меня на том же сервере стояли процессоры частотой 1.86 GHz, тогда CPU было загружено на 50-60 % но страницы можно сказать почти не открывались. Придется рискнуть и купить микротик железку. :) Edited December 5, 2014 by x-rayd Share this post Link to post Share on other sites
kosmich7 Posted December 15, 2014 · Report post Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. На сколько примерно увеличится производительность по сравнению с DELL сервером? Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер. А можно график PPP Connections и route показать ?Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23. Share this post Link to post Share on other sites
Saab95 Posted December 15, 2014 · Report post Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23. Таких проблем не возникает. У вас клиенты по PPPoE случайно не через убнт подключены? Share this post Link to post Share on other sites
kosmich7 Posted December 15, 2014 · Report post Таких проблем не возникает. Сегменты не отваливаются ?Не только ubnt, на что именно намекаеш ? Почему при отвале до 100сесий не впадает в кому ? Share this post Link to post Share on other sites
Saab95 Posted December 15, 2014 · Report post Не только ubnt, на что именно намекаеш ? Почему при отвале до 100сесий не впадает в кому ? Надо найти источник проблемы, почему отваливаются. Может проблема в том, что идет какой-то флуд, или зеркалирование трафика, либо что-то такое, что сбивает механизмы работы PPPoE. При этом сервер не знает что ему делать и сессии подвисают, а потом отваливаются по таймауту. Нужно разделить все сегменты сети и передавать трафик в центр по туннелям, в которых все кроме pppoe заблокировано. У нас, например, сеть разбита на сегменты, в каждом совсем мало абонентов, обычно от 5 до 50, каждый сегмент в EoIP туннеле идет в центр и терминируется на отдельном PPPoE сервере. Share this post Link to post Share on other sites
Artur-t Posted December 16, 2014 · Report post А можно график PPP Connections и route показать ? Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23. Сталкивались Также возникает проблема при постоянно отключающихся и подключающихся абонентах Как сказали ребята из микротика это проблема с route cache Порсмотрите графики использования памяти скорее всего у вас в момент зависания резкий пик :) варианты 1. ждем 7 ветку обещали фикс 2. не больше 400 человек на 1 сервер 3. сделать так что бы сессии не отваливались, тогда все будет хороше Share this post Link to post Share on other sites
kosmich7 Posted December 16, 2014 · Report post Память не хавается, пика нет, по крайней мере в графиках тика этого не видно, в кактусе пока еще память не прикрутил, не поделитесь ссылочкой на темплейт если есть. Да, сразу бросается в глаза на графиках, одинаковые провалы в маршрутах и pppoe. Т.е. ему выносят мозк вновь созданные и не успевшие потушиться маршруты ? 2. Не вариант. Покрутил настройки, полегчало, наблюдаем дальше. 3. Нет ТВ. Надо найти источник проблемы Источник проблемы ccr1036 или его Ось :) почему отваливаются. Этот момент особо не важен, причина отвала известна, устранить причину нет ТВ. Может проблема в том, что идет какой-то флуд, или зеркалирование трафика, либо что-то такое, что сбивает механизмы работы PPPoE. Сервер ложил на флуд большой болт, до того момента пока есть свободное место в канале передачи данных, а оно есть с запасом, и достаточно его серверных ресурсов, они тоже есть в избытке.К примеру на freebsd i5 1Ксесий онлайн, трафа до 800Мбит, и он не впадает в кому от таких чихов, и стоимость его в 2 раза меньше. При этом сервер не знает что ему делать и сессии подвисают, а потом отваливаются по таймауту. В мемориз. Микротик не знает что ему делать, как такое возможно :-)Все бы ничего, если бы сервер не впадал в кому и не ребутился, пусть отваливаются по таймауту, но так не происходит, сервер превращается в тыкву. Нужно разделить все сегменты сети и передавать трафик в центр по туннелям, в которых все кроме pppoe заблокировано. Согласен, сегментировать сеть необходимо, а как вы на клиентские антенны или свичи попадете разрешив только pppoe ? Сегментация сети никаким образом к массовым отвалам не относится, разве что косвенно. У нас, например, сеть разбита на сегменты, в каждом совсем мало абонентов, обычно от 5 до 50, каждый сегмент в EoIP туннеле идет в центр и терминируется на отдельном PPPoE сервере. Т.е. с каждым новым вланом/туннелем нагружаем сервер чтоб впарить/продатьпоставить раньше еще один сервер :-) Share this post Link to post Share on other sites
Saab95 Posted December 16, 2014 · Report post Источник проблемы ccr1036 или его Ось :) Нет, источник не правильная сеть. Уже не первый раз сталкиваются с такими проблемами, типа микротик глючит и т.п. Всегда причина оказывалась совершенно в другом месте. Этот момент особо не важен, причина отвала известна, устранить причину нет ТВ. Как раз найдя причину отвалов решите проблему с зависаниями. Сервер ложил на флуд большой болт, до того момента пока есть свободное место в канале передачи данных, а оно есть с запасом, и достаточно его серверных ресурсов, они тоже есть в избытке. К примеру на freebsd i5 1Ксесий онлайн, трафа до 800Мбит, и он не впадает в кому от таких чихов, и стоимость его в 2 раза меньше. Вы не поняли о чем я написал. Бывает флуд просто поток трафика, а бывает флудящий коммутатор возвращает трафик абонентов в сеть, то есть клиент отправил на сервер PPPoE пакет подтверждения, а потом этот же пакет пришел еще раз, либо где-то производится подмена мак адресов, из-за чего нарушаются механизмы работы протокола. В мемориз. Микротик не знает что ему делать, как такое возможно :-) Все бы ничего, если бы сервер не впадал в кому и не ребутился, пусть отваливаются по таймауту, но так не происходит, сервер превращается в тыкву. У меня PPPoE серверов много, и ни один никогда не зависал и никаких проблем не создавал. И на аналогичных вашему микротику есть PPPoE сервера под разными версиями OS и так же все работает стабильно. Согласен, сегментировать сеть необходимо, а как вы на клиентские антенны или свичи попадете разрешив только pppoe ? Сегментация сети никаким образом к массовым отвалам не относится, разве что косвенно. На клиентские антенны можно зайти через PPPoE, по адресу, выданному антенне. Если надо зайти на оборудование за антенной абонента, то выделяете туда сетку /29 или больше, анонсите по OSPF. Если у вас за антенной находится коммутатор, к которому подключены абоненты, то с антенны заворачиваете весь трафик в EoIP туннель и пускаете на сервер, а адресацию коммутаторов так же делаете на этой антенне и анонсите по OSPF. Т.е. с каждым новым вланом/туннелем нагружаем сервер чтоб впарить/продатьпоставить раньше еще один сервер :-) На микротике можно создавать много PPPoE серверов. В идеале на каждый сектор БС, на каждый многоквартирный дом, выделяют отдельный PPPoE сервер в пределах устройства. Share this post Link to post Share on other sites
kosmich7 Posted December 16, 2014 · Report post Нет, источник не правильная сеть. Уже не первый раз сталкиваются с такими проблемами, типа микротик глючит и т.п. Всегда причина оказывалась совершенно в другом месте. Тоесть банальный отвал сегмента сети, по причине например отсутствия элетричества, перезагрузки оборудования на магистральном линке и в следствии этого отвалом абонов с одного из созданного на тике PPPoE севрера, есть повод для окукливания мозка тика ? - однако. Как раз найдя причину отвалов решите проблему с зависаниями. Причина, например отсутствие электричества у абонентов, как это решает проблему с впаданием в кому и ребутами тика ? На микротике можно создавать много PPPoE серверов. Знаю об этом. Share this post Link to post Share on other sites
Artur-t Posted December 17, 2014 · Report post Память не хавается, пика нет, по крайней мере в графиках тика этого не видно, в кактусе пока еще память не прикрутил, не поделитесь ссылочкой на темплейт если есть. Да, сразу бросается в глаза на графиках, одинаковые провалы в маршрутах и pppoe. Т.е. ему выносят мозк вновь созданные и не успевшие потушиться маршруты ? 2. Не вариант. Покрутил настройки, полегчало, наблюдаем дальше. 3. Нет ТВ. Ему сносят башню маршруты которые то появляются то исчезают, у нас примерто в минуту было +-60 сессий при 1000 сессий максимальное время жизни CCR 3 дня. Но у нас из-за этого можно наблюдать постоянный рост потребления памяти и в один прекрасный момент ccr превращается в тыкву. Замена CCR на x86 тазик с ROS не чего не изменила. В итоге пришлось уменьшать количество сессий на одной железке растаскивая из на несколько железок. Share this post Link to post Share on other sites
kosmich7 Posted December 17, 2014 · Report post максимальное время жизни CCR 3 дня. Посмотрим... Не так страшен черт как его рисуют :) Последний ребут отметил на недельном графике, на суточном можно видеть отстутствие пикового потребления памяти при падениях PPPoE и маршрутов. максимальное время жизни CCR 3 дня. Замена CCR на x86 тазик с ROS не чего не изменила. Ставьте FreeBSD, на том же х86 железе прожует в 2 раза больше сесий и трафа. Share this post Link to post Share on other sites
Artur-t Posted December 17, 2014 · Report post kosmich7 У вас все очень хороше судя по графикам у нас была боль из-за постоянно прыгающих клиентов Share this post Link to post Share on other sites
Saab95 Posted December 17, 2014 · Report post Тоесть банальный отвал сегмента сети, по причине например отсутствия элетричества, перезагрузки оборудования на магистральном линке и в следствии этого отвалом абонов с одного из созданного на тике PPPoE севрера, есть повод для окукливания мозка тика ? - однако. У меня ничего не перезагружается и не зависает, даже если пол сети отключаются. Причина, например отсутствие электричества у абонентов, как это решает проблему с впаданием в кому и ребутами тика ? Проблема в другом и с микротиком никак не связана. kosmich7 У вас все очень хороше судя по графикам у нас была боль из-за постоянно прыгающих клиентов Многовато памяти используется при таком количестве абонентов. Share this post Link to post Share on other sites
kosmich7 Posted December 21, 2014 · Report post kosmich7 У вас все очень хороше судя по графикам у нас была боль из-за постоянно прыгающих клиентов Очень похоже что на данный момент 1К онлайна это его предел на сегоднешний день, в связи с недопиленностью софта. Подумайте над вопросом, что можно покрутить на предмет "прыгающих клиентов", соответственно если сеть не совсем "тупая", в противном случае дело у вас возможно и не в "прыгающих клиентах". Share this post Link to post Share on other sites
swsn Posted December 29, 2014 · Report post Тестируем CCR1036-8G-2S+EM уже неделю.Прошивка 6.24 Используем в качестве NAT сервера для пользователей которым не хватило выделенных ip Нагрузили пока на десяточный интерфейс на 5 гбит - нагрузка на процессор максимум поднималась до 61%. Вроде пока жалоб нет :) Есть два глюка с веб интерфейсом: 1) Бывает он просто не отвечает) 2) Графики более 3 гбит рисуются неправильно ( провал и рисует на уровне 1 гбит) Share this post Link to post Share on other sites
kosmich7 Posted September 5, 2015 · Report post Апну тему. Есть CCR1036-12G-4S 2 штуки, оба настроены идентично, один CCR ребутится периодически от непонятно чего, второй работает уже три месяца. Есть в этом же месте х86 с ROS который тоже живет непонятной жизнью. Прошивка на всех 6.24. У меня ничего не перезагружается и не зависает, даже если пол сети отключаются. Да у меня тоже со вторым CCR такая фишка, ему пофиг даже отвал всего сегмента ~500 абонов, хоть несколько раз в минуту отвалы сегмента - ему хоть бы что. А первый непонятно от чего ребутится, подозреваю проблема железная. Многовато памяти используется при таком количестве абонентов. Покажи сколько памяти используется у тебя на аналогичном насе ? На х86 с ROS у меня раз в десять меньше памяти используется, в отличии от CCR. Share this post Link to post Share on other sites
