Топология управляющего (mgmt) vlan

[Turbid]

Давно мучает вопрос - как правильно растягивать mgmt-vlan на узлах?

 

Допустим у нас есть несколько узлов / ЦОДов, подключенных звездой и не только, внутрях OSPF, iBGP на loopback, т.е. всё по взрослому. Как организовать управление этим добром?

 

1. Тянуть один vlan между узлами - так себе.  Во первых - большой L2-домен - к беде. Во вторых - не везде между узлами L2 и придется костылить (eoip и т.д.).

2. Отдельный vlan на каждом узле. Но возникает вопрос - а как организовать роутинг между этими vlan? Тащить в ospf backbone - хорошо ли это?

3. Отдельный vrf - не вариант, т.к. не все железки умеют или только частично - отвалится ntp, snmp и прочий syslog, т.к. они только в main.

4. Вообще без mgmt-vlan на раутерах - у нас есть loopback - по ним и будем ходить.

 

В общем, как эти вопросы решают большие дяди?

Edited October 8, 2024 by Turbid

[DenKZ]

В идеале - Out of Band - т.е. все менеджмент интерфейсы оборудования на отдельные физ. коммутаторы и между ними отдельные каналы связи

[VolanD666]

Делаете один сегмент для L3 управления, один для L2. И так на каждый ЦОД. Желательно отдельный vrf, но тут надо смотреть чтобы железка поддерживала. Если не получается туда же запихать всякие сервисы (ntp, snmp и т.п.) то можно придумать костыль (например, я на микротике, когда врф была еще устаревшая технология, запихивал управление в глобал, а всех остальных в отдельный врф).

[Turbid]

48 minutes ago, DenKZ said:

В идеале - Out of Band - т.е. все менеджмент интерфейсы оборудования на отдельные физ. коммутаторы и между ними отдельные каналы связи

 

Ну это жирно, конечно. Не везде есть такая возможность.

[Saab95]

6 часов назад, Turbid сказал:

2. Отдельный vlan на каждом узле. Но возникает вопрос - а как организовать роутинг между этими vlan? Тащить в ospf backbone - хорошо ли это?

Отдельный влан на каждом узле, далее роутинг - самая правильная схема. При этом никаких vrf не требуется, достаточно одного правила блокировки, что бы на управление никто другой не попадал и все.

[fractal]

8 часов назад, Turbid сказал:

 

Ну это жирно, конечно. Не везде есть такая возможность.

Но она самая верная и дурака устойчивая, у нас вместо отдельного канала до OOB mngt cisco с эниконектом, к ней цепанулся и попал в закрытый сегмент

[Negator]

Можно взять какой то мелкий микротик для целей управления, и поставить его на каждом узле.

И отдельный влан или несколько вланов на узле свезти в него.

А дальше уже как пожелаете, вариантов масса. Хоть через VPN на него ходите и управляйте железками, хоть L3 настраивайте

 

[jffulcrum]

В 08.10.2024 в 17:04, Turbid сказал:

Ну это жирно, конечно. Не везде есть такая возможность.

Делать насколько хватает денег. Даже у больших дядей видел в стойках мелкий свитч и роутер-мыльницу с модемом, висящие прямо на проводах. Из этой же области ставить управляемые PDU в стойках - они дорогие, но возможность дернуть по питанию зависшую железку бывает просто бесценна. На remote hands на площадке рассчитывать можно не всегда, даже у коммерческих ЦОД это может быть одна пара рук, и она будет уже занята когда случается что-то серьезное. Может быть тупо вопросом выживания, например при DDOS.

 

Абстрагируясь от OOB - даже в пределах одного узла стоит иметь несколько VLAN управления, для разных категорий железа, чтобы, условно: вскрыли свитч со стороны абона - но управления роутером из него не видно. Если связь между узлами сделана по-взрослому, с несколькими каналами, то нет особых проблем маршрутизировать вместе со всем, загнать в еще одну область.

[alibek]

Организация сети управления — это практически бесконечная (бездонная) тема.

Скрытый текст

Я сейчас переделкой занимаюсь, уже вторую неделю только планирую адресный план и коммуникации.

Но физически изолированный сегмент сети с включенными в него oob и роутер с VPN-сервером и 3G-модемом — это обычно достаточно универсально и безопасно.

[witch]

Когда работал в Sovintel, ставил стойки для SWIFT. у них всё управление(консоли) шло в отдельную циску а она уже в ISDN. и всё было резервировано х2.(это понятно бабло же) Out of Band в чистом виде.

давно было, лет 15-20 назад

PS там же ATC Meridian 11 и 61 так же управлялось через Dial-Up(модем стоял). через себя же. СПД Nokia также отдельно управлялась по собственной шине, что-то типа rs485.

часто встречал на крупных узлах  циску, 29хх и гидра к ней.

Edited October 10, 2024 by witch

[VolanD666]

Я бы OOBM рассматривал как резервная точка подключения.

[sirmax]

1 час назад, witch сказал:

29хх и гидра к ней.

Наверно 26/36/28 

у нас старая 28 и гидра 

 

классика это 2511-rj45

[VolanD666]

1 час назад, witch сказал:

часто встречал на крупных узлах  циску, 29хх и гидра к ней.

Но это не альтернатива сети управления.

[witch]

1 час назад, VolanD666 сказал:

Но это не альтернатива сети управления.

Шло отдельное железо(волокно)

Не думаю что американцы делали что-то глупое.

[VolanD666]

А мониторить железки как, если у них только до физической консоли доступ?

[witch]

1 час назад, sirmax сказал:

Наверно 26/36/28 

у нас старая 28 и гидра 

 

классика это 2511-rj45

Точно 26хх !!!, даже сам пытался в конфиг забраться через confreg, было все блочено.

PS спасибо за напоминание.

3 минуты назад, VolanD666 сказал:

А мониторить железки как, если у них только до физической консоли доступ?

Ну явно у них что-то было, нам отдавали готовые железки, поэтому не могу сказать.

Edited October 10, 2024 by witch

[witch]

Вспомнил, система питания 48в eaton, вроде,  мониторили отдельно самим совинтелом.

2 линии батарей.

Там капец как хитро закручено было. Мы типа монтажниками были, тупо инструкция где в каком юните что стоит. Какой патч и какой длинны куда.

 

К теме. Все мониторинг было отдельно физически.

Edited October 10, 2024 by witch

[rover-lt]

между узлами по L3 в отдельном VRF.
внутриузловое по L2. Отдельные коммутаторы для mgmt, в них тыкаем только mgmt порты остальных девайсов.
разные VLANы для разного функционала: сетевые устройства, ilo, storage, tenant mgmt для чужого  добра в наших стойках
на каждом узле есть старый чахлый SRX c 3G модемом 🙂 если совсем все упадет

Edited October 10, 2024 by rover-lt

[Saab95]

6 часов назад, VolanD666 сказал:

А мониторить железки как, если у них только до физической консоли доступ?

Поставить микротики платки вида RB411 с ком портом, который подключить в консольный порт устройства. Далее по сети управлять. В случае проблем с доступом по локальному влану управления.

[Turbid]

12 minutes ago, rover-lt said:

между узлами по L3 в отдельном VRF.
внутриузловое по L2. 

Вот, это звучит дельно

[sirmax]

1 час назад, Saab95 сказал:

Поставить микротики платки вида RB411 с ком портом, который подключить в консольный порт устройства. Далее по сети управлять. В случае проблем с доступом по локальному влану управления.

А сколько у него таких портов? 8? 16?

[Saab95]

В 10.10.2024 в 22:25, sirmax сказал:

А сколько у него таких портов? 8? 16?

Порт один, такие штуки можно ставить на домовые узлы для контроля оборудования вида коммутаторов.

[alibek]

Потому что несколько устройств на узле это устаревшая технология?

[Saab95]

Нет, не устаревшая. Просто разные устройства решают разные задачи.

[TriKS]

К каждому свичу - еще и по микротику с СОМ портом. Запомним...