grifin.ru Posted February 4, 2018 Упрощенно ситуация такая: Есть два коммутатора, соединены патч-кордом, на обоих включен STP Есть два сервера, на серверах CentOS и по два Ethernet порта. Каждый сервер вставлен одним портом в один коммутатор, а другим - в другой. Порты на сервере объединены в Bridge. STP разобрался и отключил порты на подчиненном коммутаторе. А теперь фокус: Когда перезагружаешь один из серверов, он гасит на секунду свои интерфейсы, а потом поднимает. На несколько секунд возникает петля (Видимо STP не так быстро сходится) Пока петля существует - второй сервер ее обнаруживает и на 90 секунд гасит оба интерфейса. Спустя 1,5 минуты все начинает работать. Но это пока серверов два, а если их будет 3 и более ? Это же колебательная система получится... Единственная мысль приходит в голову - включить на серверных бриджах STP=yes. Но это не универсальное решение. Не факт что завтра не появится железка которая так не умеет... Да и не работает нормально MSTP на зоопарке разных брендов... ЧТо скажете насчет такой проблемы ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 4, 2018 Сделайте на серверах master/slave bonding Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted February 4, 2018 5 hours ago, grifin.ru said: Упрощенно ситуация такая: Есть два коммутатора, соединены патч-кордом, на обоих включен STP Есть два сервера, на серверах CentOS и по два Ethernet порта. Каждый сервер вставлен одним портом в один коммутатор, а другим - в другой. Порты на сервере объединены в Bridge. STP разобрался и отключил порты на подчиненном коммутаторе. А теперь фокус: Когда перезагружаешь один из серверов, он гасит на секунду свои интерфейсы, а потом поднимает. На несколько секунд возникает петля (Видимо STP не так быстро сходится) Пока петля существует - второй сервер ее обнаруживает и на 90 секунд гасит оба интерфейса. Спустя 1,5 минуты все начинает работать. Но это пока серверов два, а если их будет 3 и более ? Это же колебательная система получится... Единственная мысль приходит в голову - включить на серверных бриджах STP=yes. Но это не универсальное решение. Не факт что завтра не появится железка которая так не умеет... Да и не работает нормально MSTP на зоопарке разных брендов... ЧТо скажете насчет такой проблемы ? Бридж на сервере убрать , на коммутаторах настроить portfast + bpdguard , что уберёт stp tcn. Для отказоустойчивость на серверах настроить bonding aka nic teaming без lacp Серверам доверять вещи типа stp некомильфо, если стабильность сети волнует хоть как то Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
myth Posted February 4, 2018 9 часов назад, grifin.ru сказал: включить на серверных бриджах STP=yes. при нестартовавшей ос это поможет, да. еще раз повторюсь - stp для этого не предназначен вероятность отказа свитча сильно ниже, чем этих костылей с ласпами и стп Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted February 11, 2018 В 04.02.2018 в 09:32, EvgeniySerb сказал: Бридж на сервере убрать , на коммутаторах настроить portfast + bpdguard , что уберёт stp tcn. Для отказоустойчивость на серверах настроить bonding aka nic teaming без lacp Серверам доверять вещи типа stp некомильфо, если стабильность сети волнует хоть как то Настроил по Вашему совету Teaming в режиме active-backup, возник вопрос способа мониторинга отказа. Просто Link State меня не устраивает, ибо это защищает только от отказа всего свитча. Если сломается, скажем, порт который идет к коммутатору то линк не упадет... А вот как настроить альтернативный link whatcher в схеме, когда на team Интерфейсе нет IP адреса (он член бриджа (сервер с виртуалками на KVM)) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 11, 2018 arp -n | wc наверное может быть использован. Если нет записей, то переключаться. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted February 11, 2018 @dignity А можно ссылочку где почитать про все возможные линквотчеры и способы их настройки ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 11, 2018 К сожалению, мы не в интеллектуальном казино "Что? Где? Когда?"... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted February 11, 2018 у bond модуля есть встроенный способ мониторинга.. http://xgu.ru/wiki/Linux_Bonding#ARP_Monitor_Operation Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted February 11, 2018 1 hour ago, grifin.ru said: Настроил по Вашему совету Teaming в режиме active-backup, возник вопрос способа мониторинга отказа. Просто Link State меня не устраивает, ибо это защищает только от отказа всего свитча. Если сломается, скажем, порт который идет к коммутатору то линк не упадет... А вот как настроить альтернативный link whatcher в схеме, когда на team Интерфейсе нет IP адреса (он член бриджа (сервер с виртуалками на KVM)) Lacp поддерживается на KVM vswich ? Если да то проще его использовать. Ситуаций когда порт «сломался» но при этом остался в up не помню на своей практике Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted February 11, 2018 @EvgeniySerb Сломался другой порт, который смотрит в маршрутизатор. Этот порт не сломался и поэтому остался в UP, но связи коммутатора с маршрутизатором нет. @zhenya` Оно будет работать если на интерфейсе нет адреса ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted February 11, 2018 это поверх bondа работает. без адреса маловероятно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted February 11, 2018 23 minutes ago, grifin.ru said: @EvgeniySerb Сломался другой порт, который смотрит в маршрутизатор. Этот порт не сломался и поэтому остался в UP, но связи коммутатора с маршрутизатором нет. @zhenya` Оно будет работать если на интерфейсе нет адреса ? Lacp использует собственные l2 bpdu . Если под адресом имеется ввиду IP address , то IP address не нужен если «сломался» порт за свитчами куда включён сервер - что то не так с дизайном , подобный отказ никак не должен влиять на сервера подключённые к свитчу и их связь с маршрутизатором . Для подобных случаев используется NHRP протоколы, типа vrrp/hsrp/glbp/ garp etc 4 minutes ago, EvgeniySerb said: Lacp использует собственные l2 bpdu . Если под адресом имеется ввиду IP address , то IP address не нужен если «сломался» порт за свитчами куда включён сервер - что то не так с дизайном , подобный отказ никак не должен влиять на сервера подключённые к свитчу и их связь с маршрутизатором . Для подобных случаев используется NHRP протоколы, типа vrrp/hsrp/glbp/ garp etc Про адрес вопрос кажись был не ко мне, так что, прошу пардона Если после свитчей натмаршрутизатор l3 Линки , тогда динамическая маршрутизация либо на худой конец IP SLA если l2 , тогда nhrp , подразумевая что маршрутизатора два. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted February 11, 2018 10 минут назад, EvgeniySerb сказал: 40 минут назад, grifin.ru сказал: @EvgeniySerb Сломался другой порт, который смотрит в маршрутизатор. Этот порт не сломался и поэтому остался в UP, но связи коммутатора с маршрутизатором нет. @zhenya` Оно будет работать если на интерфейсе нет адреса ? Lacp использует собственные l2 bpdu . Если под адресом имеется ввиду IP address , то IP address не нужен Про LCAP пока речи не идет. Там есть мониторинг на базе ARP IP Targets, оно будет работать если на интерфейсе нет IP адреса ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zhenya` Posted February 11, 2018 у него разные свитчи и слишком простые. какое там лацп) явно mlag не поддерживается. он про лацп бпду. для них ип не нужен. для арп мониторинга нужен айпишник. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted February 14, 2018 В 11.02.2018 в 09:28, zhenya` сказал: явно mlag не поддерживается А где он поодерживается, кроме цисок, хуавеев и естримов ? В mid-price сегменте (типа того-же HP) есть такие решения ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dignity Posted February 14, 2018 Вроде на hp6600-24xg аналог mlag есть. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted February 14, 2018 Cisco, (даже на дешевых n3k), juniper, arista hp, Etc и даже прости господи nortel Что такое mid-price , я не много не в теме , это сколько за за свитч ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
