QWE Опубликовано 25 ноября, 2017 (изменено) · Жалоба Ранее была аналогичная проблема на Cisco 3560G - https://forum.nag.ru/index.php?/topic/135448-cisco-3560g-total-output-drops-255088259-na-interfeyse/ . После ее замены на 4948Е проблема с дропами осталась. Причем на интерфейсе 10Г который подключен к бордеру на скорости 10Гбит/с output drops больше чем на 10Г порту подключенному к другому 4948Е на скорости 1Гбит/с. Загрузка по исходящему трафику линка на 10Г меньше чем загрузка 1Г линка и к тому же исходящий трафик в сторону бордера (10Г линк) миррорится через 1Гбит/с линк!!! нашел где возникают дропы #show interfaces tenGigabitEthernet 1/50 counters detail .. Port Tx-Drops-Queue-1 Tx-Drops-Queue-2 Tx-Drops-Queue-3 Tx-Drops-Queue-4 Te1/50 772 0 0 0 Port Tx-Drops-Queue-5 Tx-Drops-Queue-6 Tx-Drops-Queue-7 Tx-Drops-Queue-8 Te1/50 0 0 0 301241 Команды которые для 3560G не проходят на 4948Е, тут по другому видимо настраивать нужно. На 10Г интерфейсах Output queue: 0/40 (size/max) Просьба кто знает как лечить ситуацию с нехваткой буферов на этой железке. PS На 1Г интерфейсах которые в LACP-е (2х1Г) и смотрят в коммутатор агрегации оптики за три недели 3 дропа для двух линков. Изменено 25 ноября, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
andryas Опубликовано 25 ноября, 2017 · Жалоба flow-control с обеих сторон отключён? Загрузка портов какова? Какой характер трафика? Раскраска трафика присутствует в сети? Вообще-то дропы - это норма, в данной ситуации, вопрос в их %% количестве. На 3560 их будет много, на 4948E - в несколько раз меньше, но будут. Даже все 16 Мегабайт буфера последнего комутатора, это всего лишь немногим более 100 мс перегрузки по гигабитному порту (и 10 мс по 10-ке). Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. Хотя, скорей всего, это обычные бёрсты. Я где-то читал, что "удачно" оправленные даже 4 мегабита с двух десяток в один гигабитный порт вполне способны произвести перегрузку последнего. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 25 ноября, 2017 (изменено) · Жалоба 56 минут назад, andryas сказал: flow-control с обеих сторон отключён? Загрузка портов какова? Какой характер трафика? Вообще-то дропы - это норма, в данной ситуации, вопрос в их %% количестве. На 3560 их будет много, на 4948E - в несколько раз меньше, но будут. Даже все 16 Мегабайт буфера последнего комутатора, это всего лишь немногим более 100 мс перегрузки по гигабитному порту (и 10 мс по 10-ке). Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. Хотя, скорей всего, это обычные бёрсты. Я где-то читал, что "удачно" оправленные даже 4 мегабита с двух десяток в один гигабитный порт вполне способны произвести перегрузку последнего. 1. Интерфейс в сторону бордера #show interfaces tenGigabitEthernet 1/50 flowcontrol Port Send FlowControl Receive FlowControl RxPause TxPause admin oper admin oper --------- -------- -------- -------- -------- ------- ------- Te1/50 off off on on 411091 0 на бордере выключил. Интерфейс в сторону другого 4948 #show interfaces tenGigabitEthernet 1/51 flowcontrol Port Send FlowControl Receive FlowControl RxPause TxPause admin oper admin oper --------- -------- -------- -------- -------- ------- ------- Te1/51 off off on on 0 0 2. Загрузка 10Г линка (в сторону бордера) - исход 400-500Мбит/с, вход 500-600Мбит/с 3.Характер трафика - провайдерский, свич на сети провайдера. А что уж там именно качают абоненты - ХЗ. 4. " Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. " - не понимаю о чем Вы. Изменено 25 ноября, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
v_r Опубликовано 25 ноября, 2017 · Жалоба Потери могут быть из-за flow control, я обязательно выключаю его с обоих сторон. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 26 ноября, 2017 · Жалоба судя по всему тут они и есть. на проблемном интерфейсе RxPause, а это значит сервак начал говорить свитчу что-то типа "эй парень полегче и чуток притормози". явно у свитча на такое буфера не хватит. в общем флоуконтрол выключать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
andryas Опубликовано 26 ноября, 2017 · Жалоба 11 часов назад, QWE сказал: Интерфейс в сторону бордера Уже посоветовали: отключить с обеих сторон. У меня, например, вот так: interface TenGigabitEthernet1/50 flowcontrol receive off flowcontrol send off Port Send FlowControl Receive FlowControl RxPause TxPause admin oper admin oper --------- -------- -------- -------- -------- ------- ------- Te1/50 off off off off 0 0 11 часов назад, QWE сказал: 4. " Рассчитайте статистику и оцените допустимость полученных потерь для Вашей ситуации. " - не понимаю о чем Вы. О гигабитном интерфейсе, если дропы на таковом сильно беспокоят. Если там сотые доли %, то понять и простить Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 26 ноября, 2017 (изменено) · Жалоба 3 часа назад, zhenya` сказал: судя по всему тут они и есть. на проблемном интерфейсе RxPause, а это значит сервак начал говорить свитчу что-то типа "эй парень полегче и чуток притормози". явно у свитча на такое буфера не хватит. в общем флоуконтрол выключать. если flowcontrol отключается - то потери ("дропы") будут происходить невидимо или где то в другом месте вылезут? Изменено 26 ноября, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 26 ноября, 2017 · Жалоба сервак будет дропать. по факту тут в нем и дело, он не успевает разгребать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 26 ноября, 2017 · Жалоба я правильно понял, что у Вас мирроринг 10ге порта через порт 1ге идет ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 26 ноября, 2017 (изменено) · Жалоба 1 час назад, zhenya` сказал: сервак будет дропать. по факту тут в нем и дело, он не успевает разгребать. интересно а из за чего сервак выставил паузу свичу - из за переполнения кольцевого буфера? В каком месте можно посмотреть причину выставления паузы? 19 минут назад, artplanet сказал: я правильно понял, что у Вас мирроринг 10ге порта через порт 1ге идет ? да. Исход с 10Г мирориться через 1ге (между узлами), причем этот 1ге магистральный - по нему вход/исход абонентский идет Изменено 26 ноября, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 26 ноября, 2017 · Жалоба уберите мирроринг - и скорей всего проблема пропадет У нас была аналогичная проблема когда мы 20ге миррорили в 10ге порт на 6500 шасси и дропы появлялись появлялись как раз out Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 26 ноября, 2017 · Жалоба 1 минуту назад, artplanet сказал: уберите мирроринг - и скорей всего проблема пропадет У нас была аналогичная проблема когда мы 20ге миррорили в 10ге порт на 6500 шасси и дропы появлялись появлялись как раз out убрать не могу потому как блокировка ресурсов роскомнадзора работает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
stalker86 Опубликовано 26 ноября, 2017 · Жалоба Значит меняйте дизайн сети. Само по себе решение мягко говоря не очень - миррорить что-то жирное в более узкое. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 26 ноября, 2017 · Жалоба не понимаю - как порт мирроринг связан с блокировкой ресурсов. Обычно мирроринг делают для netflow или сормов. Но никак для блокировок к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 26 ноября, 2017 (изменено) · Жалоба 7 минут назад, artplanet сказал: не понимаю - как порт мирроринг связан с блокировкой ресурсов. Обычно мирроринг делают для netflow или сормов. Но никак для блокировок к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов. копия (зеркало) исходящего трафика из AS поступает на сервер с https://www.carbonsoft.ru/products/carbon-reductor/ Изменено 26 ноября, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 26 ноября, 2017 · Жалоба 6 минут назад, artplanet сказал: не понимаю - как порт мирроринг связан с блокировкой ресурсов. Обычно мирроринг делают для netflow или сормов. Но никак для блокировок к тому же проверьте сначала - отключите на часик мирроринг и посмотрите на дроп пакетов. модные решения для блокировки нынче работают на зеркале исходящего трафика. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
v_r Опубликовано 26 ноября, 2017 · Жалоба 4 часа назад, QWE сказал: если flowcontrol отключается - то потери ("дропы") будут происходить невидимо или где то в другом месте вылезут? Скорее всего нигде не появятся, за исключением случаев большого трафика не порту. Насчет зеркала трафика то сомневаюсь что причина дропов в нем, на Cisco.com про 45е каталисты пишут: Цитата A destination port receives copies of sent and received traffic for all monitored source ports. If a destination port is oversubscribed, it could become congested and result in packet drops at the destination port. This congestion does not affect traffic forwarding on the source ports. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
artplanet Опубликовано 27 ноября, 2017 · Жалоба 10 часов назад, QWE сказал: копия (зеркало) исходящего трафика из AS поступает на сервер с https://www.carbonsoft.ru/products/carbon-reductor/ бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах. Или можно на бордере просто сделать роуты в нулл на забаненные ip Как технарь не вижу смысла слать копию трафика куда то? что они с ним делают? Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт. Но грамотный админ за пару дней настроит скрипт который раз в час будет получать новый список блокировок и обновлять правила на железках и не нужно будет платить каким то carbonsoft.ru 10 часов назад, v_r сказал: Скорее всего нигде не появятся, за исключением случаев большого трафика не порту. Насчет зеркала трафика то сомневаюсь что причина дропов в нем, на Cisco.com про 45е каталисты пишут: проверить то можно, отключили на пол часика часик и далее по графикам смотрим - появляются ошибки или пропали (дропы out пакетов) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Butch3r Опубликовано 27 ноября, 2017 · Жалоба 43 минуты назад, artplanet сказал: бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах. Или можно на бордере просто сделать роуты в нулл на забаненные ip Как технарь не вижу смысла слать копию трафика куда то? что они с ним делают? Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт. Но грамотный админ за пару дней настроит скрипт который раз в час будет получать новый список блокировок и обновлять правила на железках и не нужно будет платить каким то carbonsoft.ru проверить то можно, отключили на пол часика часик и далее по графикам смотрим - появляются ошибки или пропали (дропы out пакетов) Когда в этом ACL будет 50+ тысяч записей я посмотрю на то, как вашим бордерам и шлюзам это понравится. У нас мангал (7606) на 10к записей уже начала выдавать чудеса. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
stalker86 Опубликовано 27 ноября, 2017 · Жалоба также интересно будет посмотреть что пользователи скажут на забаненный vk или мордокнига какой .. вместо пары конкретных юрлов Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 27 ноября, 2017 · Жалоба 8 часов назад, stalker86 сказал: также интересно будет посмотреть что пользователи скажут на забаненный vk или мордокнига какой .. вместо пары конкретных юрлов и еще пару тыщ ресурсов на этих ip. А если еще резолв использовать... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vurd Опубликовано 27 ноября, 2017 · Жалоба С резолвами там почти 70к. (к слову) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 27 ноября, 2017 · Жалоба В результатах резолва много чего интересного встречается. Яркий пример, доставивший попаболь - ncsmedia.ru, резолвившийся в 150 очень нужных ip адресов. А именно - во все корневые днс, днс гугла, яндекса, сервер ревизора, итд 1 час назад, vurd сказал: С резолвами там почти 70к. (к слову) У меня без резолва в базе числится 224196 адресов + 2497 завернуто в null Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 27 ноября, 2017 · Жалоба 14 часов назад, artplanet сказал: бред а не сервис, список можно официально получить с сайта роскомнадзора, далее повесить банальный ACL на бордере или шлюзах. Или можно на бордере просто сделать роуты в нулл на забаненные ip Как технарь не вижу смысла слать копию трафика куда то? что они с ним делают? Они не могут блокировать трафик по заблоченным ресурсам. Все что они могут - это просто прислать уведомление - что у Вас в компании не блокируется трафик на такой то сайт. Горячий финский парень , способный на коленке написать dpi :) В судах за каждый пропуск будете иметь крупный штраф :) Вам-бы рекомендовал почитать темы про ревизор, сорм и прочее. И отчего эти dpi требуют мощного сетевого железа, мощных процов и стоят диких денег. Кстати - схема блока на зеркале - не рекомендована производителями dpi, только в разрыв... Далее - читаем список оттестенных ркн dpi, и видим, что самописных решений там нету совсем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...