Jump to content
Калькуляторы

Cisco 4948E, Total output drops: 302013 на интерфейсе

Ранее была аналогичная проблема на Cisco 3560G - https://forum.nag.ru/index.php?/topic/135448-cisco-3560g-total-output-drops-255088259-na-interfeyse/ .

После ее замены на 4948Е  проблема с дропами осталась. 

Причем на интерфейсе 10Г который подключен к бордеру на скорости 10Гбит/с  output drops больше чем  на 10Г порту подключенному к другому 4948Е на скорости 1Гбит/с. Загрузка по исходящему трафику линка на 10Г меньше чем загрузка 1Г линка и к тому же исходящий трафик в сторону бордера (10Г линк) миррорится через 1Гбит/с линк!!!

 

нашел где возникают дропы  

#show interfaces tenGigabitEthernet 1/50 counters detail

..

Port       Tx-Drops-Queue-1  Tx-Drops-Queue-2 Tx-Drops-Queue-3  Tx-Drops-Queue-4
Te1/50                  772                 0                0                 0

Port       Tx-Drops-Queue-5  Tx-Drops-Queue-6 Tx-Drops-Queue-7  Tx-Drops-Queue-8
Te1/50                    0                 0                0            301241
 

 

Команды которые для 3560G не проходят на 4948Е, тут по другому видимо настраивать нужно.  На 10Г интерфейсах   Output queue: 0/40 (size/max)

 

Просьба кто знает как лечить ситуацию с нехваткой буферов на этой железке. 

 

PS 

На 1Г интерфейсах которые в LACP-е  (2х1Г) и смотрят в коммутатор агрегации оптики за три недели 3 дропа для двух линков.

Edited by QWE

Share this post


Link to post
Share on other sites

flow-control с обеих сторон отключён? Загрузка портов какова? Какой характер трафика? Раскраска трафика присутствует в сети?

 

Вообще-то дропы - это норма, в данной ситуации, вопрос в их %% количестве. На 3560 их будет много, на 4948E - в несколько раз меньше, но будут. Даже все 16 Мегабайт буфера последнего комутатора,  это всего лишь немногим более 100 мс перегрузки по гигабитному порту (и 10 мс по 10-ке).  Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. Хотя, скорей всего, это обычные бёрсты.

Я где-то читал, что "удачно" оправленные даже 4 мегабита с двух десяток в один гигабитный порт вполне способны произвести перегрузку последнего. 

Share this post


Link to post
Share on other sites
56 минут назад, andryas сказал:

flow-control с обеих сторон отключён? Загрузка портов какова? Какой характер трафика?

 

Вообще-то дропы - это норма, в данной ситуации, вопрос в их %% количестве. На 3560 их будет много, на 4948E - в несколько раз меньше, но будут. Даже все 16 Мегабайт буфера последнего комутатора,  это всего лишь немногим более 100 мс перегрузки по гигабитному порту (и 10 мс по 10-ке).  Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. Хотя, скорей всего, это обычные бёрсты.

Я где-то читал, что "удачно" оправленные даже 4 мегабита с двух десяток в один гигабитный порт вполне способны произвести перегрузку последнего. 

1.  Интерфейс в сторону бордера

#show interfaces tenGigabitEthernet 1/50 flowcontrol
Port       Send FlowControl  Receive FlowControl  RxPause TxPause
           admin    oper     admin    oper
---------  -------- -------- -------- --------    ------- -------
Te1/50     off      off      on       on          411091  0

 

на бордере выключил.

 

Интерфейс в сторону другого 4948  

#show interfaces tenGigabitEthernet 1/51 flowcontrol
Port       Send FlowControl  Receive FlowControl  RxPause TxPause
           admin    oper     admin    oper
---------  -------- -------- -------- --------    ------- -------
Te1/51     off      off      on       on          0       0

 

2. Загрузка 10Г линка (в сторону бордера)   - исход 400-500Мбит/с, вход 500-600Мбит/с

 

3.Характер трафика - провайдерский, свич на сети провайдера. А что уж там именно качают абоненты - ХЗ.

 

4. " Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. "   - не понимаю о чем Вы.

Edited by QWE

Share this post


Link to post
Share on other sites

Потери могут быть из-за flow control, я обязательно выключаю его с обоих сторон.

Share this post


Link to post
Share on other sites

судя по всему тут они и есть. на проблемном интерфейсе RxPause, а это значит сервак начал говорить свитчу что-то типа "эй парень полегче и чуток притормози". явно у свитча на такое буфера не хватит.

 

в общем флоуконтрол выключать.

Share this post


Link to post
Share on other sites
11 часов назад, QWE сказал:

Интерфейс в сторону бордера

 

Уже посоветовали: отключить с обеих сторон.

У меня, например, вот так:

 

interface TenGigabitEthernet1/50

flowcontrol receive off

flowcontrol send off

Port       Send FlowControl  Receive FlowControl  RxPause TxPause
           admin    oper     admin    oper
---------  -------- -------- -------- --------    ------- -------
Te1/50     off      off      off      off         0       0

 

11 часов назад, QWE сказал:

4. " Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. "   - не понимаю о чем Вы.

О гигабитном интерфейсе, если дропы на таковом сильно беспокоят. Если там сотые доли %, то понять и простить

Share this post


Link to post
Share on other sites
3 часа назад, zhenya` сказал:

судя по всему тут они и есть. на проблемном интерфейсе RxPause, а это значит сервак начал говорить свитчу что-то типа "эй парень полегче и чуток притормози". явно у свитча на такое буфера не хватит.

 

в общем флоуконтрол выключать.

если flowcontrol отключается - то потери ("дропы") будут происходить невидимо или где то в другом месте вылезут?

Edited by QWE

Share this post


Link to post
Share on other sites

сервак будет дропать. по факту тут в нем и дело, он не успевает разгребать.

Share this post


Link to post
Share on other sites

я правильно понял, что у Вас мирроринг 10ге порта через порт 1ге идет ?

Share this post


Link to post
Share on other sites
1 час назад, zhenya` сказал:

сервак будет дропать. по факту тут в нем и дело, он не успевает разгребать.

интересно а из за чего сервак выставил паузу свичу - из за переполнения кольцевого буфера? В каком месте можно посмотреть причину выставления паузы?

 

19 минут назад, artplanet сказал:

я правильно понял, что у Вас мирроринг 10ге порта через порт 1ге идет ?

да. Исход с 10Г мирориться через 1ге (между узлами), причем этот 1ге магистральный - по нему вход/исход абонентский идет   

Edited by QWE

Share this post


Link to post
Share on other sites

уберите мирроринг - и скорей всего проблема пропадет

У нас была аналогичная проблема когда мы 20ге миррорили в 10ге порт на 6500 шасси и дропы появлялись появлялись как раз out

Share this post


Link to post
Share on other sites
1 минуту назад, artplanet сказал:

уберите мирроринг - и скорей всего проблема пропадет

У нас была аналогичная проблема когда мы 20ге миррорили в 10ге порт на 6500 шасси и дропы появлялись появлялись как раз out

убрать не могу потому как блокировка ресурсов роскомнадзора работает

Share this post


Link to post
Share on other sites

Значит меняйте дизайн сети. Само по себе решение мягко говоря не очень - миррорить что-то жирное в более узкое.

Share this post


Link to post
Share on other sites

не понимаю - как порт мирроринг связан с блокировкой ресурсов.

Обычно мирроринг делают для netflow или сормов. Но никак для блокировок

к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов.

Share this post


Link to post
Share on other sites
7 минут назад, artplanet сказал:

не понимаю - как порт мирроринг связан с блокировкой ресурсов.

Обычно мирроринг делают для netflow или сормов. Но никак для блокировок

к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов.

копия (зеркало) исходящего трафика из AS поступает на сервер с  https://www.carbonsoft.ru/products/carbon-reductor/

Edited by QWE

Share this post


Link to post
Share on other sites
6 минут назад, artplanet сказал:

не понимаю - как порт мирроринг связан с блокировкой ресурсов.

Обычно мирроринг делают для netflow или сормов. Но никак для блокировок

к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов.

модные решения для блокировки нынче работают на зеркале исходящего трафика. 

Share this post


Link to post
Share on other sites
4 часа назад, QWE сказал:

если flowcontrol отключается - то потери ("дропы") будут происходить невидимо или где то в другом месте вылезут?

Скорее всего нигде не появятся, за исключением случаев большого трафика не порту.

 

Насчет зеркала трафика то сомневаюсь что причина дропов в нем, на Cisco.com про 45е каталисты пишут:

Цитата

blank.gifA destination port receives copies of sent and received traffic for all monitored source ports. If a destination port is oversubscribed, it could become congested and result in packet drops at the destination port. This congestion does not affect traffic forwarding on the source ports.

 

Share this post


Link to post
Share on other sites
10 часов назад, QWE сказал:

копия (зеркало) исходящего трафика из AS поступает на сервер с  https://www.carbonsoft.ru/products/carbon-reductor/

 

бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах.

Или можно на бордере просто сделать роуты в нулл на забаненные ip

Как технарь не вижу смысла слать копию трафика куда то?  что они с ним делают?  Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут  - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт.

Но грамотный админ за пару дней настроит скрипт который раз в час будет получать новый список блокировок и обновлять правила на железках и не нужно будет платить каким то carbonsoft.ru 

 

 

10 часов назад, v_r сказал:

Скорее всего нигде не появятся, за исключением случаев большого трафика не порту.

 

Насчет зеркала трафика то сомневаюсь что причина дропов в нем, на Cisco.com про 45е каталисты пишут:

 

проверить то можно, отключили на пол часика часик и далее по графикам смотрим - появляются ошибки или пропали (дропы out пакетов)

Share this post


Link to post
Share on other sites
43 минуты назад, artplanet сказал:

 

бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах.

Или можно на бордере просто сделать роуты в нулл на забаненные ip

Как технарь не вижу смысла слать копию трафика куда то?  что они с ним делают?  Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут  - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт.

Но грамотный админ за пару дней настроит скрипт который раз в час будет получать новый список блокировок и обновлять правила на железках и не нужно будет платить каким то carbonsoft.ru 

 

 

проверить то можно, отключили на пол часика часик и далее по графикам смотрим - появляются ошибки или пропали (дропы out пакетов)

Когда в этом ACL будет 50+ тысяч записей я посмотрю на то, как вашим бордерам и шлюзам это понравится. У нас мангал (7606) на 10к записей уже начала выдавать чудеса.

Share this post


Link to post
Share on other sites

также интересно будет посмотреть что пользователи скажут на забаненный vk или мордокнига какой .. вместо пары конкретных юрлов

Share this post


Link to post
Share on other sites
8 часов назад, stalker86 сказал:

также интересно будет посмотреть что пользователи скажут на забаненный vk или мордокнига какой .. вместо пары конкретных юрлов

и еще пару тыщ ресурсов на этих ip. А если еще резолв использовать...

Share this post


Link to post
Share on other sites

С резолвами там почти 70к. (к слову)

Share this post


Link to post
Share on other sites

В результатах резолва много чего интересного встречается. Яркий пример, доставивший попаболь - ncsmedia.ru, резолвившийся в 150 очень нужных ip адресов.

 

А именно - во все корневые днс, днс гугла, яндекса, сервер ревизора, итд

 

1 час назад, vurd сказал:

С резолвами там почти 70к. (к слову)

У меня без резолва в базе числится 224196 адресов + 2497 завернуто в null

Share this post


Link to post
Share on other sites
14 часов назад, artplanet сказал:

 

бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах.

Или можно на бордере просто сделать роуты в нулл на забаненные ip

Как технарь не вижу смысла слать копию трафика куда то?  что они с ним делают?  Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут  - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт.

 

 Горячий финский парень , способный на коленке написать dpi :) В судах за каждый пропуск будете иметь крупный штраф :) Вам-бы рекомендовал почитать темы про ревизор, сорм и прочее. И отчего эти dpi требуют мощного сетевого железа, мощных процов и стоят диких денег. Кстати - схема блока на зеркале - не рекомендована производителями dpi, только в разрыв... Далее - читаем список оттестенных ркн dpi, и видим, что самописных решений там нету совсем.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now