[РЕШЕНО] Высокие пинги до Cisco 3750G

[asid2006]

Добрый день. 

Дано: 
Cisco 3750G - центральный коммутатор корпоративной сети. В сети несколько виланов. Нэйтив влан - 1. В нём же сидит большая часть клиентских компьютеров и почти все серверы. К коммутатору через trunk-порты подключены несколько коммутаторов. Через аксесс-порты подключены другие сети. Пользовательских ПК на нём нет. На каждом VLAN висит IP-адрес, настроена маршрутизация (пользователи ходят между виланами через этот коммутатор, он прописан шлюзом). 
На нём же поднято 2 GRE-туннеля в центральный офис и настроено автопереключение через sla. Нагрузка на каналы небольшая. 

 

Проблема: 
В VLAN1 пинги до циски периодически возрастают до 100-200 мс (в нормальное время - 1-3 мс). Соответственно, пинги до всего, что за ней вырастают ещё больше. ВПНы работают медленно. Оборудование внутри сети (даже между коммутаторами, соединёнными через эту циску) - стабильно 1 мс. 
В других VLAN циска в это время пингуется нормально. 
Настроил зеркалирование трафика из VLAN1 на ноут. Wireshark очень много пакетов подсвечивает чёрным и ругается на TCP Retransmission и TCP Out-of-Order. 

Нагрузка на циску не более 50 %

 

Пробовали: 
- Перезагружать 
- Отключать порты коммутатора, чтобы найти того, кто всё портит. В некоторых случаях находился порт, после отключения которого всё работало сильно лучше, но в следующие разы при его отключении ничего не менялось. Видимо, просто трафик шёл оттуда. 
- Переводили часть пользователей из VLAN1 в другой VLAN. Из него циска пингуется нормально, но из-за того, что через неё маршрутизируется ещё больше трафика, пинги в влан1 ещё больше. При загрузке файлов из нового VLAN в VLAN1 - скорость хорошая. При загрузке из VLAN1 в новый влан - очень плохая. 
- много чего ещё 

Проблема то есть, то нет. Подскажите, в чём может быть причина. Уже теряюсь в догадках куда копать. Спасибо! 

Edited May 28, 2018 by asid2006

[ShyLion]

15 minutes ago, asid2006 said:

Нэйтив влан - 1. В нём же сидит большая часть клиентских компьютеров и почти все серверы.

Ошибка номер 1.

 

16 minutes ago, asid2006 said:

На нём же поднято 2 GRE-туннеля

Это вообще за гранью. На этих каталистах GRE _программный_, целиком на CPU. Им нельзя в продакшене пользоваться.

[Smoke]

Проблема в отсутствии админа сети. 

[asid2006]

8 minutes ago, Smoke said:

Проблема в отсутствии админа сети. 

Это как?

[vvertexx]

@asid2006 

тебе пытаются намекнуть, что проблема не в конкретном линке, который портит(?) коммутатор, а в целом архитектурная, допущенная при построении сети

[asid2006]

3 minutes ago, vvertexx said:

@asid2006 

тебе пытаются намекнуть, что проблема не в конкретном линке, который портит(?) коммутатор, а в целом архитектурная, допущенная при построении сети

Как раз сейчас и занимаюсь приведением в порядок. То, что есть досталось от прежних админов. Работы проводить не всегда есть возможность, т.к. контора работает круглосуточно.

[GrandPr1de]

Не знаю куда прямее:

Тунели строить на роутерах, ибо делать это на коммутаторах со слабым ЦПУ - большая ошибка.

 

Пинги и прочее тоже обрабатываются процом. Надо смотреть что его грузит, если после выноса тунелей проблемы остануться.

Но на самом деле это будет иметь мало значения, если работает cef - то транзитный трафик должен быть в порядке.

[abab]

Если на пальцах. На пинги у каталиста отвечает процессор, GRE туннели тоже обрабатывает тот же процессор, средрестатистический каталист может прожевать примерно 10 мегабит полосы GRE трафика до того как его начнет тошнить. Так что периодические пинги 100-200 в вашем случае это абсолютная норма, на транзитную коммутацию пакетов скорее всего они никак не влияют.

Выносите нафиг всё с 1 VLAN, лучше всего его освободить от греха подальше, убирайте GRE на роутеры и пинги ваши нормализуются, естественно если еще каких адовых косяков не найдется. Сразу ведь видно, что люди "творческие" сеть дизайнили.

Edited April 27, 2018 by abab

[asid2006]

Спасибо за помощь. Отпишу по результатам.

[applx]

для начала на 3750 нет поддержки GRE так что тут явно магия

[zhenya`]

Есть поддержка, только оно чисто софт.

[applx]

6 hours ago, zhenya` said:

Есть поддержка, только оно чисто софт.

The General Routing Encapsulation (GRE) tunnel is not supported by the Cisco Catalyst 3750 Series Switches. Even though this feature can be configured with CLI, the packets can be neither switched by hardware, nor by software, which increases the CPU utilization.

 

поддержки как раз нет, есть только присудствие команды.

[zhenya`]

https://lists.gt.net/cisco/nsp/106183 почитайте

[applx]

причем тут почитайте, вам вендор на собственном сайте написал нет поддержки. Присудствие команды != поддержка

[ShyLion]

On 4/30/2018 at 1:11 PM, applx said:

причем тут почитайте, вам вендор на собственном сайте написал нет поддержки. Присудствие команды != поддержка

Коллега, на эти грабли я наступал вот этими самыми руками (показывает). Возможно в какой-то версии софта оно не работает совсем, но 9 лет назад туннель и настраивался и траффик пропускал. Когда деревья были большими, а каналы тоненькими, этого даже хватало.

[kapydan]

В 27.04.2018 в 15:42, ShyLion сказал:

В 27.04.2018 в 15:23, asid2006 сказал:

Нэйтив влан - 1. В нём же сидит большая часть клиентских компьютеров и почти все серверы.

Ошибка номер 1.

да, насколько помню, циска рекомендует менять номер native vlan с 1 на другой.

 

В 28.04.2018 в 19:09, zhenya` сказал:

Есть поддержка, только оно чисто софт.

да, gre туннели там есть. но, как написали уже, поддержка чисто софтварная - т.е. нет никакого vpn модуля.

 

 

а сколько вообще вланов в сети, куда коммутатор подключен - роутер и тд, сколько клиентов к нему подключено и тд?

[YuryD]

50 минут назад, kapydan сказал:

да, насколько помню, циска рекомендует менять номер native vlan с 1 на другой.

 

 У киско есть понятие нейтив влан ? Я-то думал что все извращения в основном от блинка :) default vlan 1 есть, хотя и какие-то команды про гибридные режимы портов тоже есть, но я извращениями не пользуюсь :)

[kapydan]

3 минуты назад, YuryD сказал:

 У киско есть понятие нейтив влан ?

да, по умолчанию 1. по идее так.

[YuryD]

7 минут назад, kapydan сказал:

да, по умолчанию 1. по идее так.

 Прошу, не дайте уйти на пенсию идиотом. Киньте ссылку от киско, нафига он нужен и как его правильно готовить... А то всё как-то без него обхожусь. Что такое default vlan я знаю, и что он 1, тоже. Но как-то не использую.

[zhenya`]

"switchport trunk native vlan" в гугл

[kapydan]

ну, по простому, в натив влане передаются нетегированые кадры.

[YuryD]

7 минут назад, zhenya` сказал:

"switchport trunk native vlan" в гугл

 Только я не понимаю, нахрена нетегированные пакеты должны присутствовать вообще ?

[kapydan]

ну забыли что-то включить в какой-то влан, допустим так.

[smart85]

6 минут назад, YuryD сказал:

 Только я не понимаю, нахрена нетегированные пакеты должны присутствовать вообще ?

Бывает так, что в порт прилетают и тегированные и не тегированные пакеты, если тега нет, то навешивается тег = native vlan id

[kapydan]

Автор, а можешь выложить конфиг без паролей?