CRC309-1G-8S+ и port mirror

[Владимир320]

Утро доброе. С помощью данного микротика зеркалирую трафик для соответствующих органов. Микротик стоит в разрезе между сервером (centos7, NAT) и сетью


Схема приложил, сорян, что не visio).

Наблюдаю потери пакетов(в любое время) на порту сервера eth1. На этом порту поднято несколько интерфейсов для p-t-p районных узлов.
Проверяю с районных узлов утилитой mtr и на каждом узле вижу потери на этом eth1, потери в районе 5-7 процентов.
Также проверяю с самого NAT SRV и потерь не вижу вообще, то есть могу сделать вывод, что eth2 не дурит.

Никаких ошибок на портах при этом нет. Я грешу на микрот, что трафик зеркалит. Нагрузка в пике в районе 8-8,5(по вечерам), сейчас нагрузка 3.5. Потери же и утром и вечером.

Сталкивался кто с подобным? Микрот дурит/дурил у кого при простом зеркалировании трафика?
На самом микроте swos, вланы пропускаю все

[Saab95]

Через ROS при отключении изучения маков на порту он будет отправлять туда весь трафик. Через веб всегда какие-то проблемы.

[SOFTOLAB]

1 hour ago, Saab95 said:

Через ROS при отключении изучения маков на порту он будет отправлять туда весь трафик. Через веб всегда какие-то проблемы.

SwOS вас не смущает?

[Владимир320]

То-есть есть вариант того, что я перейду на Ros и станет все норм?

Меня swos особо не смущает. В некоторых местах стоят crs-ы на swos, просто вланы разбросаны по портам и работает норм

[Saab95]

У нас используются коммутаторы микротика для зеркалирования на 10Г. Правда никаких вланов на них не настроено - просто трафик идет с маршрутизаторов (которые ограничивают скорость и через них идут абоненты) на BGP/NAT, соответственно копия трафика льется в 10Г порты, к которым подключен СОРМ. Управление коммутатором идет через медный порт.

[Владимир320]

10 часов назад, Saab95 сказал:

У нас используются коммутаторы микротика для зеркалирования на 10Г. Правда никаких вланов на них не настроено - просто трафик идет с маршрутизаторов (которые ограничивают скорость и через них идут абоненты) на BGP/NAT, соответственно копия трафика льется в 10Г порты, к которым подключен СОРМ. Управление коммутатором идет через медный порт.

Ros на коммутатора? 

[Saab95]

У микротика есть модели CSS и CRS - последние могут работать как через веб, так и через ROS, коммутация там выполняется аппаратно. Только настройки более понятные и удобные.

[Владимир320]

Исключил из схемы микрот и проблема осталась, видимо дело в сервере NAT.

Пытаюсь разобрать, что с ним может быть не так.

железо:

 

ProLiant DL360 G7

Intel(R) Xeon(R) CPU X5670  @ 2.93GHz

Thread(s) per core:    2
Core(s) per socket:    6

ОЗУ 48гигов

Двухголовая сетевая Intel Corporation 82599ES 10-Gigabit SFI/SFP+

Centos 7.6, ядро 3.10

 

На сервере начу сети /25, 164 правила всего.

Балансировка по ядрам на автомате

tuned throughput-performanc

 

Собственно куда копать пока не совсем понятно, трафик просто проходит через сервер. На других узлах NAT поднят на микротиках CCR и потерь никаких через них нету.

Подскажите куда копать, пожалуйста 

 

[Saab95]

5 часов назад, Владимир320 сказал:

Подскажите куда копать, пожалуйста 

Заменить сервер тоже на микротик. Сервер же устарел давно такой.

[rz3dwy]

2 часа назад, Saab95 сказал:

Заменить сервер тоже на микротик. Сервер же устарел давно такой.

Антон, нельзя так мягко с новичками. Надо сразу быка брать за рога - не только сервер, но и провода устарели. Пусть ставит вафлю микротиковскую. И IP с TCP и UDP тоже устарели, надо прямо любимый OSPF сразу поверх L1 строить, тогда все и заработает

Edited February 4, 2021 by rz3dwy

[jffulcrum]

7 часов назад, Владимир320 сказал:

Подскажите куда копать, пожалуйста 

Есть отдельная тема для разбора - 

 

[Saab95]

20 часов назад, Владимир320 сказал:

Подскажите куда копать, пожалуйста 

Надо смотреть настройки биоса - отключение гипертрейдинга, смотреть настройки PCI портов. Какие сетевые карты установлены и т.п.

Если сервер б/у то мало ли что на нем делали или настраивали до вас.

[Владимир320]

1 минуту назад, Saab95 сказал:

Надо смотреть настройки биоса - отключение гипертрейдинга, смотреть настройки PCI портов. Какие сетевые карты установлены и т.п.

Если сервер б/у то мало ли что на нем делали или настраивали до вас.

В биос залазить сложно. Скореевсего просто откажусь от железки и перейду на CCR как в других местах

 

вопрос к "отключение гипертрейдинга" почему все так его хают? часто говорят, что надо отключать. В сети стоят железки с Intel(R) Xeon(R) CPU E31280 @ 3.50GHz и включенный гипертрейдингом. На них шейпинг + dhcp dns ну и всякие правила для block/unblock. В целом проблем не вижу на этих серверах или я просто не смотрел туда где проблемы есть или могут быть?

 

[Saab95]

Проблемы заметны когда нагрузка прет в потолок, на частичных, когда ядра не упираются там в 70-80 процентов постоянно особых неприятностей не возникает.

 

У нас было много серверов с микротиком, но при появлении моделей CCR все их убрали, потому что CCR эффективнее и по потреблению, и по габаритам. Но сейчас в местах где идет много трафика, порядка 5-6Г на устройство, думаем переходить обратно на сервера, что бы увеличить потоки данных, по разным тестам получалось прогонять 10Г транзитом, упиралось все лишь в 2 имеющихся сетевых порта сетевого адаптера. Но тут требуются дорогие быстрые малоядерные процессоры. И собирать приходится на десктопных комплектующих, т.к. серверные очень дорого выходят.

[Владимир320]

В 05.02.2021 в 11:15, Saab95 сказал:

Проблемы заметны когда нагрузка прет в потолок, на частичных, когда ядра не упираются там в 70-80 процентов постоянно особых неприятностей не возникает.

 

У нас было много серверов с микротиком, но при появлении моделей CCR все их убрали, потому что CCR эффективнее и по потреблению, и по габаритам. Но сейчас в местах где идет много трафика, порядка 5-6Г на устройство, думаем переходить обратно на сервера, что бы увеличить потоки данных, по разным тестам получалось прогонять 10Г транзитом, упиралось все лишь в 2 имеющихся сетевых порта сетевого адаптера. Но тут требуются дорогие быстрые малоядерные процессоры. И собирать приходится на десктопных комплектующих, т.к. серверные очень дорого выходят.

CCR-ы какие именно у вас стоят сейчас? У меня CCR1036-8G-2S+ 2шт(вопросов к ним нет). Щас смотрю появился  CCR2004-1G-12S+2XS, портов больше и в два раза дешевле.

Хочу привести на него 7-8 гигов ну и бондинг 20G :)

Есть опыт работы с этим железом? 

Edited February 8, 2021 by Владимир320

[jffulcrum]

@Владимир320 Отзывы в 

 

[Владимир320]

1 час назад, jffulcrum сказал:

@Владимир320 Отзывы в 

 

Да, нашел уже на форуме эту тему. Осталось неоднозначное мнение у меня

[Saab95]

22 часа назад, Владимир320 сказал:

CCR-ы какие именно у вас стоят сейчас? У меня CCR1036-8G-2S+ 2шт(вопросов к ним нет). Щас смотрю появился  CCR2004-1G-12S+2XS, портов больше и в два раза дешевле.

Хочу привести на него 7-8 гигов ну и бондинг 20G :)

Есть опыт работы с этим железом? 

Это роутер а не коммутатор, в качестве роутинга он нормально себя показывает, порядка 10г+ пропускает. С 20Г каналами проблема в том что модули на дальние расстояние дорогие, и сама оптика должна быть идеальная.

[Владимир320]

57 минут назад, Saab95 сказал:

Это роутер а не коммутатор, в качестве роутинга он нормально себя показывает, порядка 10г+ пропускает. С 20Г каналами проблема в том что модули на дальние расстояние дорогие, и сама оптика должна быть идеальная.

У меня основная задача это NAT посадить на него или не на него. Роутить маршрутов 100 ну и NAT тоже 100 правил, трафик 4-5г. Железки планирую брать две.

Был уже горький опыт с RB4011iGS+RM, постоянно висли. При том, что я просто собирал на них сети и слал все по дефолту и трафик на некоторых даже гига не было. В итоге все поснимал.

Проц я смотрю у них из одной серии

[Saab95]

В 09.02.2021 в 13:36, Владимир320 сказал:

Был уже горький опыт с RB4011iGS+RM, постоянно висли.

У нас таких много стоит, вот никаких проблем не было ни разу. И рутингом занимаются, и НАТ есть в нескольких местах, даже BGP.

 

2004 в нате не выдаст 4Г, около 2Г выдает только.

[Владимир320]

22 часа назад, Saab95 сказал:

У нас таких много стоит, вот никаких проблем не было ни разу. И рутингом занимаются, и НАТ есть в нескольких местах, даже BGP.

 

2004 в нате не выдаст 4Г, около 2Г выдает только.

Может RB4011 начинают сума сходить когда температура железки за 45 переваливает. В сетке одна стоит, uptime пол года и температура 39, в других местах было примерно 45 +- и отваливались раз в две недели стабильно. Итог: 6 шт пока лежат без дела

[Saab95]

У RB4011 радиатором является корпус устройства, а процессор на плате припаян с нижней стороны. Плата установлена вверх ногами и сзади ребра на корпусе и есть все охлаждение. При этом тепло от процессора должно перетекать по тонкой пластине на ребра радиатора. Если устройство разобрать и снять плату, удалить термоинтерфейс, то между процессором и корпусом можно легко просунуть лист бумаги. Поэтому надо чуть шлифануть ножки, что бы процессор напрямую касался корпуса-радиатора, намазать его нормальной термопастой и собрать - температура процессора упадет.

 

По сути если взять устройство из коробки, нагрузить его чем-то, например тестом сам на себя или что-то подобное, подождать установления температурного режима и замерить температуру корпуса в месте процессора, то будет видно, что показатели в винбоксе несколько ниже реальной температуры. А после сделать доработку - температура упадет.

 

Если устройство устанавливать в стойку, куда-то под коммутатор или так, что оно со стороны процессора контактирует с другим устройством (преградой), то охлаждение будет плохое. Мы в сложных местах на них дополнительно радиатор от процессора на термопасту сажали прямо на корпус и он достаточно крепко сам прилипал, после ленточными хомутами его надежно фиксировали и никаких проблем с перегревом. Если под хомуты подложить что-то мягкое то после снятия радиатора не остается никаких повреждений корпуса.

[Владимир320]

В 12.02.2021 в 10:20, Saab95 сказал:

У RB4011 радиатором является корпус устройства, а процессор на плате припаян с нижней стороны. Плата установлена вверх ногами и сзади ребра на корпусе и есть все охлаждение. При этом тепло от процессора должно перетекать по тонкой пластине на ребра радиатора. Если устройство разобрать и снять плату, удалить термоинтерфейс, то между процессором и корпусом можно легко просунуть лист бумаги. Поэтому надо чуть шлифануть ножки, что бы процессор напрямую касался корпуса-радиатора, намазать его нормальной термопастой и собрать - температура процессора упадет.

 

По сути если взять устройство из коробки, нагрузить его чем-то, например тестом сам на себя или что-то подобное, подождать установления температурного режима и замерить температуру корпуса в месте процессора, то будет видно, что показатели в винбоксе несколько ниже реальной температуры. А после сделать доработку - температура упадет.

 

Если устройство устанавливать в стойку, куда-то под коммутатор или так, что оно со стороны процессора контактирует с другим устройством (преградой), то охлаждение будет плохое. Мы в сложных местах на них дополнительно радиатор от процессора на термопасту сажали прямо на корпус и он достаточно крепко сам прилипал, после ленточными хомутами его надежно фиксировали и никаких проблем с перегревом. Если под хомуты подложить что-то мягкое то после снятия радиатора не остается никаких повреждений корпуса.

Мощно), были подобные идеи, но они мне показались странными). Попробую сделать тоже самое

Разобрал корпус и какие ножки вы подпиливали? Там помимо проца еще к корпусу прилегают другие элементы для охлаждения. Их все и подпиливали?

Edited February 15, 2021 by Владимир320

[Saab95]

Ножки где шурупы закручиваются. Остальное не надо трогать.

[fractal]

10 часов назад, Saab95 сказал:

Ножки где шурупы закручиваются. Остальное не надо трогать.

Норм устройство) надо дорабатывать ещё напильником