[tadam]

Используем на сети микротики x86+ сетевуха intel 10 Gbe в виде брасов pppoe. Замечено, что при подключении к нему как абонент, теряются пакеты. Если запустить пинг то примерно 1-2 пакета из 1000. Не очень критично, но бесит. 

Теряет пакеты как через nat так и при получении белого IP.

Что делал:

1. Меняли сетевухи, модули, патчкорды

2. Переключали брасы в другую часть сети, меняли коммутаторы к которым они подключены

3. Из соседней темы правили очереди

4. Меняли зону ospf с backbone на stub. Рекомендовала ТП микротов. Сейчас вернули обратно зону backbone с фильтрами. Изменений нет

5. Меняли прошивки ставили 6.12, 6.20, 6.40

Нагрузка на микротики около 2000 абонентов, трафик до 2 Гигов в пике

Куда можно еще рыть?

 

 

[Saab95]

Сами очереди сетевухи, прерывания и т.п. тоже смотрели/меняли?

В биосе все корректно настроено и пропускной способности шины хватает?

Если тест скорости добавите на этом интерфейсе на некое другое устройство, что бы повысить нагрузку на 1-2гб сверху, не начинаются еще более высокие потери?

[tadam]

В микротике на интерфейс сетевухи выставил очередь так  как на скрине. Советовала ТП микротов

В биосе выставлено вообщем-то также как и для сервера Linux сервера, единственно HT включен на другом микроте выключен. Платформа 1366, проц стоит один, с двумя шина будет не справляться

По IRQ все авто и вроде все ровненько раскидано, есть какие-то рекомендации по распределению на микротике?

 

[Saab95]

18 часов назад, tadam сказал:

Платформа 1366

Нужно обновить железо до современного (любая хоть десктопная материнка) и все станет работать без проблем.

[tadam]

то есть проблема в платформе? для теста можно попробовать проверить

А что лучше по железу выбрать? ЧТо то типа e3-1270 v2 подойдет будет лучше?

Изменено 14 мая, 2018 пользователем tadam

[pingz]

Плохая идея использовать PC под ROS. Лучше купить готовое решение. Хотите PC собирайте на линуксе. 

[tadam]

Быстро слезть с него не получиться. Сейчас готовлю переход на accel

По тесту на 1270 процессоре. При количестве абонов 1800+ и трафике 2Гб потерь не было, но проц сильно нагрузился до 90%. Пинг начал скакать, увеличивался в два раза. 

[Saab95]

Естественно процессор будет нагружаться - ведь он занимается некой работой. Гипертрединг нужно отключить, далее смотреть что еще влияет на нагрузку - возможно шейпера или большое количество правил.

Серверные процессоры и большие кеши для целей роутинга или передачи информации не нужны, важна частота и количество настоящих ядер.

[Trueno]

В 14.05.2018 в 19:37, pingz сказал:

Плохая идея использовать PC под ROS. Лучше купить готовое решение. Хотите PC собирайте на линуксе. 

Хрен поймешь. В одной теме жалуются, что 1036 УГ и советуют собирать писюки, тут уже писюки не годятся. У меня на древнем писюке (775 сокет) и проце ксеон (771 сокет с модом) работает отлично. Сетевуха микротиковская. Но есть замануха поменять на CCR. Однако как почитаешь - то ядра неравномерно грузятся, то ещё какая-то хрень - перестаю об этом думать. В плюсах писюка то, что не дай боже сдохнет какой-то элемент - взял и заменил по-быстрому, запчастей для писюков навалом. Сдохнет CCR - всё пропало, надо или в запасе держать второй, или ждать долго, пока починят, либо покупать. В масштабах не проблема держать один запасной, если, например, в работе есть ещё 5 штук. Но если сеть небольшая и там одного с головой, глупо переплачивать за пылящийся в шкафу и морально устаревающий второй роутер.

[Saab95]

CCR просто так не сгорают, вот блоки питания из строя выходят, если работает больше 2-3 лет при высокой температуре, когда охлаждение плохое. Если температура не выше 20 градусов, и по 5 лет без единого сбоя.

 

Оборудование нужно использовать правильно, если ядра не равномерно нагружены - убирать из настроек все лишнее.

[pingz]

@Trueno

 

Давай разберемся вместе.

Да у меня есть на PC собранный микротик он хуже ведет себя чем RB1100 хотя ядер больше и они жирней.

 

1. Всё, что мы знаем про маршрутизаторы(аля Cisco, Juniper, ericsson и т.д.) сразу в топку. "Нужно больше мироктиков", каждый микротик должен выполнять свой функционал.

2. Баги, с готовыми решениями всё проще всегда можно подобрать нужный прошивку, на которой требуемый функционал будет работать. Читаем пукнут 1 "Нужно больше микротиков" и понимаем если у тебя их 5-20 штук, то проще найти адекватный софт, не забываем да же готовые решения скорее собраны из разного железа(это моё личное мнение)

3. Про замену и про починку как бы не стрёмно звучало если у тебя один CCR1036(считаю самым удачным продуктом) и крутится 400-500 клиентов(имхо самое удачное количество если юзается авторизация, нат, фильтры, семплинг и так по мелочи, можно и больше, но не хочется) средний чек с клиента в месяц  300 рублей 400*300 =120к, ну парни комон возмите в зип еще один. 

4. Представь у тебя зоопарк из микротиков у тебя их 10 штук все на пс, у каждого свои грехи и тут ддос(недавно был) и ты до рекомендуемой  версии и у тебя начинаются, веселье на пару дней или недель. 

5. Микротик хоть и сохо на стероидах, но и зуксель нужно уметь настраивать и это приходит с годами серебряной пули не существует, у каждого свои потребности и виденье модели сети. 

6. На готовых решениях комюнити больше вероятность, ответа была бы выше. 

 

З.Ы. Микротик-зло, но за свой деньги хорошее решение. 

 

[Trueno]

@pingz в качестве провайдинга я не использую микротики да и вообще ничего. Просто занимаюсь обслуживанием больших тупых сетей на больших тупых предприятиях. И там, увы, нет никакого чека в месяц 300 рублей. И даже наших 100 украинских гривен нет. Там просто надо, чтобы работало. И пока работает - мне платят за обслуживание. А как начинаются бока - во всем виноват я. У нас тут нынче не сладко. Я не жалуюсь, но жить тоже как-то надо. По этой причине приходится изобретать всяческие извращения.

 

Собственно, если вдруг станет интересно, а нахрена ж ты тогда думал вообще о CCR? Поясняю. Питание порой бывает нестабильно, и проще зачудить какой то ИБП на 24 вольта на колене (и питать через него CCR), чем морочить голову с полноценными ИБП на 220в. Которые, в нормальном моём видении, будут стоить ещё как один такой же микротик )

[pingz]

@tadamТочно не переполнено? Если нат включен, не важно роутинг или нат, всё будет идти через connection Tracking

 

 

@Trueno ИМХО тогда, что-то попроще брать типа RB1100,750 

[Trueno]

@pingz дык это, они не прожуют 200-300 офисных планктонов с трафиком в 200 мбит. При этом симплы, фаерволы, разные разграничения на разные группы лиц (адрес-листы) и прочее.

1009 я думал, он тем более с пассивкой (слышал, что на "больших" CCR кулеры шумят прилично) справится. 

Скоро будет, возможно, подряд на помощь местному пионэр-провайдеру. Насколько я уже слышал, там около 500 клиентов, канал входящий оптика 1гбит, нынче там какое то извращение линуксовое, собраное в 2004 году, авторизация по pptp, но это ж ппц, я думаю переводить их на ipoe (ну или как там у вас называется, по dhcp получать напрямую серый адрес), а там будет видно. И вот что им предложить? Чтобы потом не остаться дураком.

[Saab95]

Если IPoE то надо влан с коммутатора в центр пробрасывать (не по маку же делать привязки) - если так нельзя, то PPPoE тоже не плохо работает. CCR1009 пропустит гиг трафика легко с натом и шейперами.

[pingz]

@Trueno На микротике ipoe без костылей в билинге не получится. Pptp сильно грузит проц, микротик не вывезит. Про 1 гиг саб пошутил если чё, но на 500 клиентов хватит по 100-130к пакетов трафика 500+ будет. 

[tadam]

В 18.05.2018 в 23:18, pingz сказал:

Точно не переполнено? Если нат включен, не важно роутинг или нат, всё будет идти через connection Tracking

Хм, нат есть, а как проверить переполнение? 

[pingz]

@tadam 

Точно цыфры не помню, на 1 ip всего около 65к портов при этом 1.2 или 1.4 служебные тупо портов не хватает. 

При твоих цифрах 2к клиентов и 2 гига трафика думаю 400-500к пакетов в секунду ну как бы это многовато, я бы вынес нат на отдельную железку и выключил Connections tracing на этой железки, чтобы снизить нагрузку. У тебя таблица Connections tracing переполняется скорей всего она у тебя полностью не погрузится когда откроешь. Можно поигратся с таймингами. 

Утром такие проблемы наблюдаются? 

Попробуй выключить лишние пакеты.

 

Так же сильно грузит семплинг, внутренние графики. 

З.Ы. ушел от ната на микротиках имхо зло. Сейчас OSPF, авторизация PPPoE, семплинг, шейпер. 

При 2к клиентах, нужно покупать, что-то посерьезней уже или больше микротиков. 

 

 

 

 

 

[pingz]

Ещё как вариант, поставить фильтры до микротик в виланах пппое пропускать только пппое пакеты по езернет тайп.

Перестать снимать счётчики по smtp

[Saab95]

SMTP на микротике занимает много ресурсов, если его отключить нагрузка сразу упадет.