Перейти к содержимому
Калькуляторы

Cisco 4948E, Total output drops: 302013 на интерфейсе

Ранее была аналогичная проблема на Cisco 3560G - https://forum.nag.ru/index.php?/topic/135448-cisco-3560g-total-output-drops-255088259-na-interfeyse/ .

После ее замены на 4948Е  проблема с дропами осталась. 

Причем на интерфейсе 10Г который подключен к бордеру на скорости 10Гбит/с  output drops больше чем  на 10Г порту подключенному к другому 4948Е на скорости 1Гбит/с. Загрузка по исходящему трафику линка на 10Г меньше чем загрузка 1Г линка и к тому же исходящий трафик в сторону бордера (10Г линк) миррорится через 1Гбит/с линк!!!

 

нашел где возникают дропы  

#show interfaces tenGigabitEthernet 1/50 counters detail

..

Port       Tx-Drops-Queue-1  Tx-Drops-Queue-2 Tx-Drops-Queue-3  Tx-Drops-Queue-4
Te1/50                  772                 0                0                 0

Port       Tx-Drops-Queue-5  Tx-Drops-Queue-6 Tx-Drops-Queue-7  Tx-Drops-Queue-8
Te1/50                    0                 0                0            301241
 

 

Команды которые для 3560G не проходят на 4948Е, тут по другому видимо настраивать нужно.  На 10Г интерфейсах   Output queue: 0/40 (size/max)

 

Просьба кто знает как лечить ситуацию с нехваткой буферов на этой железке. 

 

PS 

На 1Г интерфейсах которые в LACP-е  (2х1Г) и смотрят в коммутатор агрегации оптики за три недели 3 дропа для двух линков.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

flow-control с обеих сторон отключён? Загрузка портов какова? Какой характер трафика? Раскраска трафика присутствует в сети?

 

Вообще-то дропы - это норма, в данной ситуации, вопрос в их %% количестве. На 3560 их будет много, на 4948E - в несколько раз меньше, но будут. Даже все 16 Мегабайт буфера последнего комутатора,  это всего лишь немногим более 100 мс перегрузки по гигабитному порту (и 10 мс по 10-ке).  Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. Хотя, скорей всего, это обычные бёрсты.

Я где-то читал, что "удачно" оправленные даже 4 мегабита с двух десяток в один гигабитный порт вполне способны произвести перегрузку последнего. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

56 минут назад, andryas сказал:

flow-control с обеих сторон отключён? Загрузка портов какова? Какой характер трафика?

 

Вообще-то дропы - это норма, в данной ситуации, вопрос в их %% количестве. На 3560 их будет много, на 4948E - в несколько раз меньше, но будут. Даже все 16 Мегабайт буфера последнего комутатора,  это всего лишь немногим более 100 мс перегрузки по гигабитному порту (и 10 мс по 10-ке).  Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. Хотя, скорей всего, это обычные бёрсты.

Я где-то читал, что "удачно" оправленные даже 4 мегабита с двух десяток в один гигабитный порт вполне способны произвести перегрузку последнего. 

1.  Интерфейс в сторону бордера

#show interfaces tenGigabitEthernet 1/50 flowcontrol
Port       Send FlowControl  Receive FlowControl  RxPause TxPause
           admin    oper     admin    oper
---------  -------- -------- -------- --------    ------- -------
Te1/50     off      off      on       on          411091  0

 

на бордере выключил.

 

Интерфейс в сторону другого 4948  

#show interfaces tenGigabitEthernet 1/51 flowcontrol
Port       Send FlowControl  Receive FlowControl  RxPause TxPause
           admin    oper     admin    oper
---------  -------- -------- -------- --------    ------- -------
Te1/51     off      off      on       on          0       0

 

2. Загрузка 10Г линка (в сторону бордера)   - исход 400-500Мбит/с, вход 500-600Мбит/с

 

3.Характер трафика - провайдерский, свич на сети провайдера. А что уж там именно качают абоненты - ХЗ.

 

4. " Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. "   - не понимаю о чем Вы.

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Потери могут быть из-за flow control, я обязательно выключаю его с обоих сторон.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

судя по всему тут они и есть. на проблемном интерфейсе RxPause, а это значит сервак начал говорить свитчу что-то типа "эй парень полегче и чуток притормози". явно у свитча на такое буфера не хватит.

 

в общем флоуконтрол выключать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

11 часов назад, QWE сказал:

Интерфейс в сторону бордера

 

Уже посоветовали: отключить с обеих сторон.

У меня, например, вот так:

 

interface TenGigabitEthernet1/50

flowcontrol receive off

flowcontrol send off

Port       Send FlowControl  Receive FlowControl  RxPause TxPause
           admin    oper     admin    oper
---------  -------- -------- -------- --------    ------- -------
Te1/50     off      off      off      off         0       0

 

11 часов назад, QWE сказал:

4. " Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. "   - не понимаю о чем Вы.

О гигабитном интерфейсе, если дропы на таковом сильно беспокоят. Если там сотые доли %, то понять и простить

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

3 часа назад, zhenya` сказал:

судя по всему тут они и есть. на проблемном интерфейсе RxPause, а это значит сервак начал говорить свитчу что-то типа "эй парень полегче и чуток притормози". явно у свитча на такое буфера не хватит.

 

в общем флоуконтрол выключать.

если flowcontrol отключается - то потери ("дропы") будут происходить невидимо или где то в другом месте вылезут?

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

сервак будет дропать. по факту тут в нем и дело, он не успевает разгребать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

я правильно понял, что у Вас мирроринг 10ге порта через порт 1ге идет ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, zhenya` сказал:

сервак будет дропать. по факту тут в нем и дело, он не успевает разгребать.

интересно а из за чего сервак выставил паузу свичу - из за переполнения кольцевого буфера? В каком месте можно посмотреть причину выставления паузы?

 

19 минут назад, artplanet сказал:

я правильно понял, что у Вас мирроринг 10ге порта через порт 1ге идет ?

да. Исход с 10Г мирориться через 1ге (между узлами), причем этот 1ге магистральный - по нему вход/исход абонентский идет   

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

уберите мирроринг - и скорей всего проблема пропадет

У нас была аналогичная проблема когда мы 20ге миррорили в 10ге порт на 6500 шасси и дропы появлялись появлялись как раз out

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 минуту назад, artplanet сказал:

уберите мирроринг - и скорей всего проблема пропадет

У нас была аналогичная проблема когда мы 20ге миррорили в 10ге порт на 6500 шасси и дропы появлялись появлялись как раз out

убрать не могу потому как блокировка ресурсов роскомнадзора работает

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Значит меняйте дизайн сети. Само по себе решение мягко говоря не очень - миррорить что-то жирное в более узкое.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

не понимаю - как порт мирроринг связан с блокировкой ресурсов.

Обычно мирроринг делают для netflow или сормов. Но никак для блокировок

к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

7 минут назад, artplanet сказал:

не понимаю - как порт мирроринг связан с блокировкой ресурсов.

Обычно мирроринг делают для netflow или сормов. Но никак для блокировок

к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов.

копия (зеркало) исходящего трафика из AS поступает на сервер с  https://www.carbonsoft.ru/products/carbon-reductor/

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

6 минут назад, artplanet сказал:

не понимаю - как порт мирроринг связан с блокировкой ресурсов.

Обычно мирроринг делают для netflow или сормов. Но никак для блокировок

к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов.

модные решения для блокировки нынче работают на зеркале исходящего трафика. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

4 часа назад, QWE сказал:

если flowcontrol отключается - то потери ("дропы") будут происходить невидимо или где то в другом месте вылезут?

Скорее всего нигде не появятся, за исключением случаев большого трафика не порту.

 

Насчет зеркала трафика то сомневаюсь что причина дропов в нем, на Cisco.com про 45е каталисты пишут:

Цитата

blank.gifA destination port receives copies of sent and received traffic for all monitored source ports. If a destination port is oversubscribed, it could become congested and result in packet drops at the destination port. This congestion does not affect traffic forwarding on the source ports.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

10 часов назад, QWE сказал:

копия (зеркало) исходящего трафика из AS поступает на сервер с  https://www.carbonsoft.ru/products/carbon-reductor/

 

бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах.

Или можно на бордере просто сделать роуты в нулл на забаненные ip

Как технарь не вижу смысла слать копию трафика куда то?  что они с ним делают?  Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут  - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт.

Но грамотный админ за пару дней настроит скрипт который раз в час будет получать новый список блокировок и обновлять правила на железках и не нужно будет платить каким то carbonsoft.ru 

 

 

10 часов назад, v_r сказал:

Скорее всего нигде не появятся, за исключением случаев большого трафика не порту.

 

Насчет зеркала трафика то сомневаюсь что причина дропов в нем, на Cisco.com про 45е каталисты пишут:

 

проверить то можно, отключили на пол часика часик и далее по графикам смотрим - появляются ошибки или пропали (дропы out пакетов)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

43 минуты назад, artplanet сказал:

 

бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах.

Или можно на бордере просто сделать роуты в нулл на забаненные ip

Как технарь не вижу смысла слать копию трафика куда то?  что они с ним делают?  Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут  - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт.

Но грамотный админ за пару дней настроит скрипт который раз в час будет получать новый список блокировок и обновлять правила на железках и не нужно будет платить каким то carbonsoft.ru 

 

 

проверить то можно, отключили на пол часика часик и далее по графикам смотрим - появляются ошибки или пропали (дропы out пакетов)

Когда в этом ACL будет 50+ тысяч записей я посмотрю на то, как вашим бордерам и шлюзам это понравится. У нас мангал (7606) на 10к записей уже начала выдавать чудеса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

также интересно будет посмотреть что пользователи скажут на забаненный vk или мордокнига какой .. вместо пары конкретных юрлов

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

8 часов назад, stalker86 сказал:

также интересно будет посмотреть что пользователи скажут на забаненный vk или мордокнига какой .. вместо пары конкретных юрлов

и еще пару тыщ ресурсов на этих ip. А если еще резолв использовать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

С резолвами там почти 70к. (к слову)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В результатах резолва много чего интересного встречается. Яркий пример, доставивший попаболь - ncsmedia.ru, резолвившийся в 150 очень нужных ip адресов.

 

А именно - во все корневые днс, днс гугла, яндекса, сервер ревизора, итд

 

1 час назад, vurd сказал:

С резолвами там почти 70к. (к слову)

У меня без резолва в базе числится 224196 адресов + 2497 завернуто в null

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

14 часов назад, artplanet сказал:

 

бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах.

Или можно на бордере просто сделать роуты в нулл на забаненные ip

Как технарь не вижу смысла слать копию трафика куда то?  что они с ним делают?  Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут  - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт.

 

 Горячий финский парень , способный на коленке написать dpi :) В судах за каждый пропуск будете иметь крупный штраф :) Вам-бы рекомендовал почитать темы про ревизор, сорм и прочее. И отчего эти dpi требуют мощного сетевого железа, мощных процов и стоят диких денег. Кстати - схема блока на зеркале - не рекомендована производителями dpi, только в разрыв... Далее - читаем список оттестенных ркн dpi, и видим, что самописных решений там нету совсем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.