Turbid Posted October 8 (edited) · Report post Давно мучает вопрос - как правильно растягивать mgmt-vlan на узлах? Допустим у нас есть несколько узлов / ЦОДов, подключенных звездой и не только, внутрях OSPF, iBGP на loopback, т.е. всё по взрослому. Как организовать управление этим добром? 1. Тянуть один vlan между узлами - так себе. Во первых - большой L2-домен - к беде. Во вторых - не везде между узлами L2 и придется костылить (eoip и т.д.). 2. Отдельный vlan на каждом узле. Но возникает вопрос - а как организовать роутинг между этими vlan? Тащить в ospf backbone - хорошо ли это? 3. Отдельный vrf - не вариант, т.к. не все железки умеют или только частично - отвалится ntp, snmp и прочий syslog, т.к. они только в main. 4. Вообще без mgmt-vlan на раутерах - у нас есть loopback - по ним и будем ходить. В общем, как эти вопросы решают большие дяди? Edited October 8 by Turbid Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
DenKZ Posted October 8 · Report post В идеале - Out of Band - т.е. все менеджмент интерфейсы оборудования на отдельные физ. коммутаторы и между ними отдельные каналы связи Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
VolanD666 Posted October 8 · Report post Делаете один сегмент для L3 управления, один для L2. И так на каждый ЦОД. Желательно отдельный vrf, но тут надо смотреть чтобы железка поддерживала. Если не получается туда же запихать всякие сервисы (ntp, snmp и т.п.) то можно придумать костыль (например, я на микротике, когда врф была еще устаревшая технология, запихивал управление в глобал, а всех остальных в отдельный врф). Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Turbid Posted October 8 · Report post 48 minutes ago, DenKZ said: В идеале - Out of Band - т.е. все менеджмент интерфейсы оборудования на отдельные физ. коммутаторы и между ними отдельные каналы связи Ну это жирно, конечно. Не везде есть такая возможность. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted October 8 · Report post 6 часов назад, Turbid сказал: 2. Отдельный vlan на каждом узле. Но возникает вопрос - а как организовать роутинг между этими vlan? Тащить в ospf backbone - хорошо ли это? Отдельный влан на каждом узле, далее роутинг - самая правильная схема. При этом никаких vrf не требуется, достаточно одного правила блокировки, что бы на управление никто другой не попадал и все. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
fractal Posted October 8 · Report post 8 часов назад, Turbid сказал: Ну это жирно, конечно. Не везде есть такая возможность. Но она самая верная и дурака устойчивая, у нас вместо отдельного канала до OOB mngt cisco с эниконектом, к ней цепанулся и попал в закрытый сегмент Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Negator Posted October 9 · Report post Можно взять какой то мелкий микротик для целей управления, и поставить его на каждом узле. И отдельный влан или несколько вланов на узле свезти в него. А дальше уже как пожелаете, вариантов масса. Хоть через VPN на него ходите и управляйте железками, хоть L3 настраивайте Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
jffulcrum Posted October 10 · Report post В 08.10.2024 в 17:04, Turbid сказал: Ну это жирно, конечно. Не везде есть такая возможность. Делать насколько хватает денег. Даже у больших дядей видел в стойках мелкий свитч и роутер-мыльницу с модемом, висящие прямо на проводах. Из этой же области ставить управляемые PDU в стойках - они дорогие, но возможность дернуть по питанию зависшую железку бывает просто бесценна. На remote hands на площадке рассчитывать можно не всегда, даже у коммерческих ЦОД это может быть одна пара рук, и она будет уже занята когда случается что-то серьезное. Может быть тупо вопросом выживания, например при DDOS. Абстрагируясь от OOB - даже в пределах одного узла стоит иметь несколько VLAN управления, для разных категорий железа, чтобы, условно: вскрыли свитч со стороны абона - но управления роутером из него не видно. Если связь между узлами сделана по-взрослому, с несколькими каналами, то нет особых проблем маршрутизировать вместе со всем, загнать в еще одну область. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted October 10 · Report post Организация сети управления — это практически бесконечная (бездонная) тема. Скрытый текст Я сейчас переделкой занимаюсь, уже вторую неделю только планирую адресный план и коммуникации. Но физически изолированный сегмент сети с включенными в него oob и роутер с VPN-сервером и 3G-модемом — это обычно достаточно универсально и безопасно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
witch Posted October 10 (edited) · Report post Когда работал в Sovintel, ставил стойки для SWIFT. у них всё управление(консоли) шло в отдельную циску а она уже в ISDN. и всё было резервировано х2.(это понятно бабло же) Out of Band в чистом виде. давно было, лет 15-20 назад PS там же ATC Meridian 11 и 61 так же управлялось через Dial-Up(модем стоял). через себя же. СПД Nokia также отдельно управлялась по собственной шине, что-то типа rs485. часто встречал на крупных узлах циску, 29хх и гидра к ней. Edited October 10 by witch Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
VolanD666 Posted October 10 · Report post Я бы OOBM рассматривал как резервная точка подключения. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sirmax Posted October 10 · Report post 1 час назад, witch сказал: 29хх и гидра к ней. Наверно 26/36/28 у нас старая 28 и гидра классика это 2511-rj45 Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
VolanD666 Posted October 10 · Report post 1 час назад, witch сказал: часто встречал на крупных узлах циску, 29хх и гидра к ней. Но это не альтернатива сети управления. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
witch Posted October 10 · Report post 1 час назад, VolanD666 сказал: Но это не альтернатива сети управления. Шло отдельное железо(волокно) Не думаю что американцы делали что-то глупое. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
VolanD666 Posted October 10 · Report post А мониторить железки как, если у них только до физической консоли доступ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
witch Posted October 10 (edited) · Report post 1 час назад, sirmax сказал: Наверно 26/36/28 у нас старая 28 и гидра классика это 2511-rj45 Точно 26хх !!!, даже сам пытался в конфиг забраться через confreg, было все блочено. PS спасибо за напоминание. 3 минуты назад, VolanD666 сказал: А мониторить железки как, если у них только до физической консоли доступ? Ну явно у них что-то было, нам отдавали готовые железки, поэтому не могу сказать. Edited October 10 by witch Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
witch Posted October 10 (edited) · Report post Вспомнил, система питания 48в eaton, вроде, мониторили отдельно самим совинтелом. 2 линии батарей. Там капец как хитро закручено было. Мы типа монтажниками были, тупо инструкция где в каком юните что стоит. Какой патч и какой длинны куда. К теме. Все мониторинг было отдельно физически. Edited October 10 by witch Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rover-lt Posted October 10 (edited) · Report post между узлами по L3 в отдельном VRF. внутриузловое по L2. Отдельные коммутаторы для mgmt, в них тыкаем только mgmt порты остальных девайсов. разные VLANы для разного функционала: сетевые устройства, ilo, storage, tenant mgmt для чужого добра в наших стойках на каждом узле есть старый чахлый SRX c 3G модемом 🙂 если совсем все упадет Edited October 10 by rover-lt Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted October 10 · Report post 6 часов назад, VolanD666 сказал: А мониторить железки как, если у них только до физической консоли доступ? Поставить микротики платки вида RB411 с ком портом, который подключить в консольный порт устройства. Далее по сети управлять. В случае проблем с доступом по локальному влану управления. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Turbid Posted October 10 · Report post 12 minutes ago, rover-lt said: между узлами по L3 в отдельном VRF. внутриузловое по L2. Вот, это звучит дельно Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
sirmax Posted October 10 · Report post 1 час назад, Saab95 сказал: Поставить микротики платки вида RB411 с ком портом, который подключить в консольный порт устройства. Далее по сети управлять. В случае проблем с доступом по локальному влану управления. А сколько у него таких портов? 8? 16? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted October 11 · Report post В 10.10.2024 в 22:25, sirmax сказал: А сколько у него таких портов? 8? 16? Порт один, такие штуки можно ставить на домовые узлы для контроля оборудования вида коммутаторов. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted October 12 · Report post Потому что несколько устройств на узле это устаревшая технология? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted October 15 · Report post Нет, не устаревшая. Просто разные устройства решают разные задачи. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
TriKS Posted October 15 · Report post К каждому свичу - еще и по микротику с СОМ портом. Запомним... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
