RX дропы на сетевых картах Mikrotik X86

[rliskov]

Здравствуйте! Третий день ломаю голову и не могу разобраться в причине. Собственно головная боль - большое количество RX дропов на всех! сетевых картах в моем микроте Х86. Сначала думал, что проблема с железом, но сразу на трех сетевых картах... маловероятно. RX дропы копятся как на физических портах в направлении интернета так и на портах в направлении сети. Хотя! на vlan поднятых на этих интерфейсах дропов и ошибок нет. Пните пожалуйста в нужном направлении! Куда копать? 
Mikrotik x86 ros v. 6.49.2
Три сетевуху интел 520 c портами 2x10Gb (в некоторых sfp+ модули стоят а в некоторых метровые DAC 10G SFP)

[jffulcrum]

Так может у вас CPU не вывозит. Что с утилизацией?

 

1 час назад, rliskov сказал:

6.49.2

М-м-м, 2021 год

[sol]

А ещё на 7-й версии, говорят, исправили утилизацию многоядерности...

[rliskov]

Это первое, что приходило в голову сделать - обновить версию Ros. Но есть нюансы, по тому и сижу на 6 ветке. Хотя в последних версиях 6 ветки не должно быть таких "хронических" заболеваний. Ок! Обновлюсь и отпишусь. Заманчиво! Но сильно простое решение вопроса.

[sheft]

дропы RX в больших количествах, это сколько и на каком потоке?

кажется уже было в какой то из тем про микроты х86, одно из решений смена очередей в interface queues, но там с нюансами от типа процессора, можно было поймать зависон или полный отвал роутера, дропы у меня пропали, но я поймал пару висов и сменил обратно, у меня дропы жить не мешают...

[rliskov]

Вот такое количество. Может и не много но это вызывает у меня когнитивный диссонанс. Особенно не понимание природы их происхождения. Причем дропы на всех сетевых картах. Стоит три intel dap 520 2x10Gb. Именно на RX и как заметил не зависимо от нагрузки на карту. 

[TheUser]

19 минут назад, rliskov сказал:

Именно на RX и как заметил не зависимо от нагрузки на карту

Может быть стоит посмотреть графики по трафику (биты, пакеты) и дропам?

[rliskov]

Вот другая карта. График рваный. Каких-то особых проблем и жалоб от клиентов сети - нет! Но все же, ГДЕ СОБАКА ЗАРЫТА! 

[sheft]

а, нет, в темах про очереди было про RX errors.... а тут дропы, настройки фаервола, mtu? увидеть бы рядом /system/resources/cpu

[nixx]

3 часа назад, TheUser сказал:

Может быть стоит посмотреть графики по трафику (биты, пакеты) и дропам?

судя по тому, что человек упорно постит скрины с winbox'а, других графиков у него нет. или?...

 

@rliskov у вас есть нормальный мониторинг хоть какой-то, с хоть какой-то историей?

посмотреть бы на графики за сутки/за трое/за неделю. не растут ли дропы строго в ЧНН, либо они постоянно размазаны по времени.

связать бы еще по времени графики трафика с занятостью, как выше написали, cpu.

 

а заодно и скажите, что у вас на другом конце оптики/DAC'ов стоит, какие устройства.

[rliskov]

- Мониторинг к сожалению только средствами микротика.

- ЧНН думаю тут не причем. Дропы копятся на порту где 4 гига бегает и на порту где от силы 0,5 гига трафик идет. Естественно разное количество дропов.

- Что интересно все vlan поднятые на этих портах - вообще без дропов!

- Дропы, повторюсь, на всех железных портах без исключения. Будь то порт оконечен модулем или DAC-кабелем. На втором конце порта - комок Д-линк, роутерборд, epon bdcom, элтекс, отдельный сервак DACом подключен.(сетевуха в серваке кстаит тоже интел 520).  

- Фаервол без забубонов, пару десятков разрешающих правил и в конце запрещающее.

- Шейпер без какого-либо тюнинга. Все правила simple-queues.

- mtu везде 1500. Специально проверял с каждого порта (отключал фрагменацию пакета) 1500 пролазит везде без потерь.

- согласен ros v. 6.49.2 это 2021г. Но релиз то stable !

Вот что под капотом у сервака: 

 

Думал,что все сетевухи на одном ядре висят. Но нет, все красиво даже в режиме авто: 

 

Самое интересное, что как таковых жалоб или замечаний по качеству инета от абонов не поступает. Может это проблема с железом!  Не знаю что и думать. 

 

 

 

[sol]

1 час назад, rliskov сказал:

- Что интересно все vlan поднятые на этих портах - вообще без дропов!

А как вы себе видите дроп на vlan интерфейсе? Ну чисто физически.

[sheft]

1 час назад, rliskov сказал:

Самое интересное, что как таковых жалоб или замечаний по качеству инета от абонов не поступает.

на приведенном счетчике 280000 дропов за 13 дней при пакетрейте 45000/секунду... эти дропу не увидит даже ping часовой... loss 0.00055 %

разброс очередей хороший, но учитывая большое количество не самых производительных ядер, вполне может оказаться какое нибудь одно из ядер в полке по причине процесса firewall или queue.
вот к примеру на тех же х520-da2

 

7 часов назад, rliskov сказал:

График рваный

это всего лишь график, рваный он по причине дерганья винбокса, а не по причине падения трафика, просто косяк отрисовки

[fractal]

2 часа назад, sheft сказал:

на приведенном счетчике 280000 дропов за 13 дней при пакетрейте 45000/секунду... эти дропу не увидит даже ping часовой... loss 0.00055 %

разброс очередей хороший, но учитывая большое количество не самых производительных ядер, вполне может оказаться какое нибудь одно из ядер в полке по причине процесса firewall или queue.
вот к примеру на тех же х520-da2

 

это всего лишь график, рваный он по причине дерганья винбокса, а не по причине падения трафика, просто косяк отрисовки

Вам точно необходимо внешнюю систему мониторинга, возможно это просто баг софта и дропов на самом деле нет

[rliskov]

Думаю, что   loss 0.00055 %   можно списать на особенности отображения показателей в микротике. Получается я зря паниковал! Но все равно ситуация интересная. Обновлюсь до 7 версии, понаблюдаю и дополню пост. Всем СПАСИБО! Отдельный respect  sheft !

[korsakik]

С flow-control играйтесь. Ловил такие глюки с коммутаторами и линукс машинами.

Недавно был прикол между оптическим коммутом МТ и линукс сервером на INTEL сетевой карте. Отключили flow-control на линуксе и все нормализовалось.