x-rayd Posted December 3, 2014 Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30% Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений). Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе. Вопрос: Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 4, 2014 Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30% Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений). Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе. У вас древний сервер с древним процессором на древней шине и древней памятью и не менее древними сетевыми платами. Поэтому никто не будет спорить что проблема не в железе. Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете? Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
x-rayd Posted December 4, 2014 Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. @ Saab95 На сколько примерно увеличится производительность по сравнению с DELL сервером? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nur16 Posted December 4, 2014 Имеется х86 DELL PowerEdge1950 сервер 2х Quad Core 3GHz(8 ядер). На данный момент трафик около 300 Мбит нагрузка CPU 25-30% Микротик версия 6.20, клиенты соединяются через PPPoE (600 параллельных соединений). Наблюдается какое то торможение интернета у клиентов, хотя нагрузка на CPU не большая. Думаю что проблема в железе. У вас древний сервер с древним процессором на древней шине и древней памятью и не менее древними сетевыми платами. Поэтому никто не будет спорить что проблема не в железе. Если заменить и поставить CCR1036-8G-2S+EM как думайте результат лучше будет? Есть ли у кого опыт и что посоветуете? Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. Очень уж категоричные ответы. Ведь у роутера на базе х86 не наблюдается перегруза ядер процессоров? Загрузка процов же в норме. Почему тогда тормозит инет? Вопрос к топикстартеру - а задержка до роутера какая? С каким пингом отвечает роутер? Этот показатель точнее определяет загрузку роутеров на базе микротик. И я бы не говорил, что роутеры CCR уже такие прям хорошие. Куча слабых ядер, достаточно перегрузить одно ядро, и роутер начинает сыпать QoS, так что становится невозможной нормальная работа любого сервиса. Мы пробовали делать шейперы из роутеров CCR, запарились конкретно и переводим сейчас все обратно на старый добрый х86, который ведет себя более предсказуемо. Те же Делл 1950 это отличные рабочие лошадки с хорошим набором железа на борту, с которым микротик очь стабильно работает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 4, 2014 Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. На сколько примерно увеличится производительность по сравнению с DELL сервером? Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
x-rayd Posted December 4, 2014 а какой трафик? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 5, 2014 а какой трафик? 500-700 мегабит в пиках. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nur16 Posted December 5, 2014 Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. На сколько примерно увеличится производительность по сравнению с DELL сервером? Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер. Демонстрация графиков загруза ЦПУ бессмысленна. в х86 их 4, или 8, в CCR их 36, и сравнивать смысла нет, тк никогда все 36 ядер не будут загружены. Вы покажите пинг до роутера х86 и CCR. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 5, 2014 Вы покажите пинг до роутера х86 и CCR. Пинг как был 1мс так и остался. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
x-rayd Posted December 5, 2014 (edited) 500-700 мегабит в пиках. Охренеть! Это конечно очень хороший результат. Просто до этого у меня на том же сервере стояли процессоры частотой 1.86 GHz, тогда CPU было загружено на 50-60 % но страницы можно сказать почти не открывались. Придется рискнуть и купить микротик железку. :) Edited December 5, 2014 by x-rayd Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kosmich7 Posted December 15, 2014 Конечно, будет очень хороший результат, только EM вам не нужна. Закатаете прошивку 6.22 и все будет просто летать. На сколько примерно увеличится производительность по сравнению с DELL сервером? Вот примерно так, переход с сервера, правда не DELL, где был 4-х ядерный процессор на CCR36 ядер. А можно график PPP Connections и route показать ?Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 15, 2014 Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23. Таких проблем не возникает. У вас клиенты по PPPoE случайно не через убнт подключены? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kosmich7 Posted December 15, 2014 Таких проблем не возникает. Сегменты не отваливаются ?Не только ubnt, на что именно намекаеш ? Почему при отвале до 100сесий не впадает в кому ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 15, 2014 Не только ubnt, на что именно намекаеш ? Почему при отвале до 100сесий не впадает в кому ? Надо найти источник проблемы, почему отваливаются. Может проблема в том, что идет какой-то флуд, или зеркалирование трафика, либо что-то такое, что сбивает механизмы работы PPPoE. При этом сервер не знает что ему делать и сессии подвисают, а потом отваливаются по таймауту. Нужно разделить все сегменты сети и передавать трафик в центр по туннелям, в которых все кроме pppoe заблокировано. У нас, например, сеть разбита на сегменты, в каждом совсем мало абонентов, обычно от 5 до 50, каждый сегмент в EoIP туннеле идет в центр и терминируется на отдельном PPPoE сервере. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Artur-t Posted December 16, 2014 А можно график PPP Connections и route показать ? Может кто то сталкивался, при одновременном отвале 100-200 pppoe сесий микрот впадает в кому, только ребут по питанию, и ребутится если включить вотчдог, в логах "router was rebooted without proper shutdown" или "router was rebooted without proper shutdown by watchdog timer" и все, Ось 6.23. Сталкивались Также возникает проблема при постоянно отключающихся и подключающихся абонентах Как сказали ребята из микротика это проблема с route cache Порсмотрите графики использования памяти скорее всего у вас в момент зависания резкий пик :) варианты 1. ждем 7 ветку обещали фикс 2. не больше 400 человек на 1 сервер 3. сделать так что бы сессии не отваливались, тогда все будет хороше Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kosmich7 Posted December 16, 2014 Память не хавается, пика нет, по крайней мере в графиках тика этого не видно, в кактусе пока еще память не прикрутил, не поделитесь ссылочкой на темплейт если есть. Да, сразу бросается в глаза на графиках, одинаковые провалы в маршрутах и pppoe. Т.е. ему выносят мозк вновь созданные и не успевшие потушиться маршруты ? 2. Не вариант. Покрутил настройки, полегчало, наблюдаем дальше. 3. Нет ТВ. Надо найти источник проблемы Источник проблемы ccr1036 или его Ось :) почему отваливаются. Этот момент особо не важен, причина отвала известна, устранить причину нет ТВ. Может проблема в том, что идет какой-то флуд, или зеркалирование трафика, либо что-то такое, что сбивает механизмы работы PPPoE. Сервер ложил на флуд большой болт, до того момента пока есть свободное место в канале передачи данных, а оно есть с запасом, и достаточно его серверных ресурсов, они тоже есть в избытке.К примеру на freebsd i5 1Ксесий онлайн, трафа до 800Мбит, и он не впадает в кому от таких чихов, и стоимость его в 2 раза меньше. При этом сервер не знает что ему делать и сессии подвисают, а потом отваливаются по таймауту. В мемориз. Микротик не знает что ему делать, как такое возможно :-)Все бы ничего, если бы сервер не впадал в кому и не ребутился, пусть отваливаются по таймауту, но так не происходит, сервер превращается в тыкву. Нужно разделить все сегменты сети и передавать трафик в центр по туннелям, в которых все кроме pppoe заблокировано. Согласен, сегментировать сеть необходимо, а как вы на клиентские антенны или свичи попадете разрешив только pppoe ? Сегментация сети никаким образом к массовым отвалам не относится, разве что косвенно. У нас, например, сеть разбита на сегменты, в каждом совсем мало абонентов, обычно от 5 до 50, каждый сегмент в EoIP туннеле идет в центр и терминируется на отдельном PPPoE сервере. Т.е. с каждым новым вланом/туннелем нагружаем сервер чтоб впарить/продатьпоставить раньше еще один сервер :-) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 16, 2014 Источник проблемы ccr1036 или его Ось :) Нет, источник не правильная сеть. Уже не первый раз сталкиваются с такими проблемами, типа микротик глючит и т.п. Всегда причина оказывалась совершенно в другом месте. Этот момент особо не важен, причина отвала известна, устранить причину нет ТВ. Как раз найдя причину отвалов решите проблему с зависаниями. Сервер ложил на флуд большой болт, до того момента пока есть свободное место в канале передачи данных, а оно есть с запасом, и достаточно его серверных ресурсов, они тоже есть в избытке. К примеру на freebsd i5 1Ксесий онлайн, трафа до 800Мбит, и он не впадает в кому от таких чихов, и стоимость его в 2 раза меньше. Вы не поняли о чем я написал. Бывает флуд просто поток трафика, а бывает флудящий коммутатор возвращает трафик абонентов в сеть, то есть клиент отправил на сервер PPPoE пакет подтверждения, а потом этот же пакет пришел еще раз, либо где-то производится подмена мак адресов, из-за чего нарушаются механизмы работы протокола. В мемориз. Микротик не знает что ему делать, как такое возможно :-) Все бы ничего, если бы сервер не впадал в кому и не ребутился, пусть отваливаются по таймауту, но так не происходит, сервер превращается в тыкву. У меня PPPoE серверов много, и ни один никогда не зависал и никаких проблем не создавал. И на аналогичных вашему микротику есть PPPoE сервера под разными версиями OS и так же все работает стабильно. Согласен, сегментировать сеть необходимо, а как вы на клиентские антенны или свичи попадете разрешив только pppoe ? Сегментация сети никаким образом к массовым отвалам не относится, разве что косвенно. На клиентские антенны можно зайти через PPPoE, по адресу, выданному антенне. Если надо зайти на оборудование за антенной абонента, то выделяете туда сетку /29 или больше, анонсите по OSPF. Если у вас за антенной находится коммутатор, к которому подключены абоненты, то с антенны заворачиваете весь трафик в EoIP туннель и пускаете на сервер, а адресацию коммутаторов так же делаете на этой антенне и анонсите по OSPF. Т.е. с каждым новым вланом/туннелем нагружаем сервер чтоб впарить/продатьпоставить раньше еще один сервер :-) На микротике можно создавать много PPPoE серверов. В идеале на каждый сектор БС, на каждый многоквартирный дом, выделяют отдельный PPPoE сервер в пределах устройства. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kosmich7 Posted December 16, 2014 Нет, источник не правильная сеть. Уже не первый раз сталкиваются с такими проблемами, типа микротик глючит и т.п. Всегда причина оказывалась совершенно в другом месте. Тоесть банальный отвал сегмента сети, по причине например отсутствия элетричества, перезагрузки оборудования на магистральном линке и в следствии этого отвалом абонов с одного из созданного на тике PPPoE севрера, есть повод для окукливания мозка тика ? - однако. Как раз найдя причину отвалов решите проблему с зависаниями. Причина, например отсутствие электричества у абонентов, как это решает проблему с впаданием в кому и ребутами тика ? На микротике можно создавать много PPPoE серверов. Знаю об этом. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Artur-t Posted December 17, 2014 Память не хавается, пика нет, по крайней мере в графиках тика этого не видно, в кактусе пока еще память не прикрутил, не поделитесь ссылочкой на темплейт если есть. Да, сразу бросается в глаза на графиках, одинаковые провалы в маршрутах и pppoe. Т.е. ему выносят мозк вновь созданные и не успевшие потушиться маршруты ? 2. Не вариант. Покрутил настройки, полегчало, наблюдаем дальше. 3. Нет ТВ. Ему сносят башню маршруты которые то появляются то исчезают, у нас примерто в минуту было +-60 сессий при 1000 сессий максимальное время жизни CCR 3 дня. Но у нас из-за этого можно наблюдать постоянный рост потребления памяти и в один прекрасный момент ccr превращается в тыкву. Замена CCR на x86 тазик с ROS не чего не изменила. В итоге пришлось уменьшать количество сессий на одной железке растаскивая из на несколько железок. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kosmich7 Posted December 17, 2014 максимальное время жизни CCR 3 дня. Посмотрим... Не так страшен черт как его рисуют :) Последний ребут отметил на недельном графике, на суточном можно видеть отстутствие пикового потребления памяти при падениях PPPoE и маршрутов. максимальное время жизни CCR 3 дня. Замена CCR на x86 тазик с ROS не чего не изменила. Ставьте FreeBSD, на том же х86 железе прожует в 2 раза больше сесий и трафа. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Artur-t Posted December 17, 2014 kosmich7 У вас все очень хороше судя по графикам у нас была боль из-за постоянно прыгающих клиентов Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted December 17, 2014 Тоесть банальный отвал сегмента сети, по причине например отсутствия элетричества, перезагрузки оборудования на магистральном линке и в следствии этого отвалом абонов с одного из созданного на тике PPPoE севрера, есть повод для окукливания мозка тика ? - однако. У меня ничего не перезагружается и не зависает, даже если пол сети отключаются. Причина, например отсутствие электричества у абонентов, как это решает проблему с впаданием в кому и ребутами тика ? Проблема в другом и с микротиком никак не связана. kosmich7 У вас все очень хороше судя по графикам у нас была боль из-за постоянно прыгающих клиентов Многовато памяти используется при таком количестве абонентов. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kosmich7 Posted December 21, 2014 kosmich7 У вас все очень хороше судя по графикам у нас была боль из-за постоянно прыгающих клиентов Очень похоже что на данный момент 1К онлайна это его предел на сегоднешний день, в связи с недопиленностью софта. Подумайте над вопросом, что можно покрутить на предмет "прыгающих клиентов", соответственно если сеть не совсем "тупая", в противном случае дело у вас возможно и не в "прыгающих клиентах". Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
swsn Posted December 29, 2014 Тестируем CCR1036-8G-2S+EM уже неделю.Прошивка 6.24 Используем в качестве NAT сервера для пользователей которым не хватило выделенных ip Нагрузили пока на десяточный интерфейс на 5 гбит - нагрузка на процессор максимум поднималась до 61%. Вроде пока жалоб нет :) Есть два глюка с веб интерфейсом: 1) Бывает он просто не отвечает) 2) Графики более 3 гбит рисуются неправильно ( провал и рисует на уровне 1 гбит) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
kosmich7 Posted September 5, 2015 Апну тему. Есть CCR1036-12G-4S 2 штуки, оба настроены идентично, один CCR ребутится периодически от непонятно чего, второй работает уже три месяца. Есть в этом же месте х86 с ROS который тоже живет непонятной жизнью. Прошивка на всех 6.24. У меня ничего не перезагружается и не зависает, даже если пол сети отключаются. Да у меня тоже со вторым CCR такая фишка, ему пофиг даже отвал всего сегмента ~500 абонов, хоть несколько раз в минуту отвалы сегмента - ему хоть бы что. А первый непонятно от чего ребутится, подозреваю проблема железная. Многовато памяти используется при таком количестве абонентов. Покажи сколько памяти используется у тебя на аналогичном насе ? На х86 с ROS у меня раз в десять меньше памяти используется, в отличии от CCR. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...