CarTerr Posted October 23, 2018 · Report post Встала задача организовать отказоустойчивый доступ к серверам. Текущая схема сети: Изучая материал по данной теме нарисовалась следующая схема построения сети: 1. Для подключения серверов используется 2-а сетевых интерфейса с агрегацией каналов. Используем стэк из 2-ух коммутаторов уровня доступа и настраивается агрегация портов. Один порт одного коммутатора агрегатируется с портом другого коммутатора. 2. На маршрутизатора настраиваются vlan интерфейсы и поднимается виртуальный ip адрес. 3. На шлюзовых маршрутизаторах, обеспечивающие подключение к интернет провайдерам (isp 1 и isp 2) настраивается виртуальный ip Собственно сами вопросы: 1. Является ли данная схема действующей для отказоустойчивости сети ? 2. Какие можно еще использовать технологии для решения вопроса по отказоустойчивости на уровнях доступа, агрегации, маршрутизации сети ? 3. Есть ли примеры решений по отказоустойчивости сети от крупных ЦОД (yandex, facebook) ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Chrst Posted October 23, 2018 · Report post А где резервный ЦОД, а где резервные сервера? А вдруг ляжет весь ваш стек коммутаторов, где резерв стека? По схеме Вы все положили в одну корзину, при этом считаете, что у Вас яиц в избытке. Исходя из постановки вопросов, а делали ли Вы оценку стоимости овчинки? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
CarTerr Posted October 23, 2018 · Report post Цель сделать отказоустойчивость текущей сети по схеме N+1 резервные сервера сделаны на vmware vMotion + ceph Я думал что при отключении одного коммутатора в стеке, всю его функцию принимает второй коммутатор. Одновременная сметь 2-ух коммутаторов в данную схему не закладывается. Цитата По схеме Вы все положили в одну корзину, при этом считаете, что у Вас яиц в избытке. Цель сделать N+1, прошу указать где не хватает избыточности. Цитата Исходя из постановки вопросов, а делали ли Вы оценку стоимости овчинки? Оценку пока не делали, т.к. окончательной схемы резервирования нет. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted October 23, 2018 · Report post 9 hours ago, CarTerr said: Встала задача организовать отказоустойчивый доступ к серверам. Текущая схема сети: Изучая материал по данной теме нарисовалась следующая схема построения сети: 1. Для подключения серверов используется 2-а сетевых интерфейса с агрегацией каналов. Используем стэк из 2-ух коммутаторов уровня доступа и настраивается агрегация портов. Один порт одного коммутатора агрегатируется с портом другого коммутатора. 2. На маршрутизатора настраиваются vlan интерфейсы и поднимается виртуальный ip адрес. 3. На шлюзовых маршрутизаторах, обеспечивающие подключение к интернет провайдерам (isp 1 и isp 2) настраивается виртуальный ip Собственно сами вопросы: 1. Является ли данная схема действующей для отказоустойчивости сети ? 2. Какие можно еще использовать технологии для решения вопроса по отказоустойчивости на уровнях доступа, агрегации, маршрутизации сети ? 3. Есть ли примеры решений по отказоустойчивости сети от крупных ЦОД (yandex, facebook) ? Facebook, серьёзно ? У них l3 до серверов идёт , с вмваре так не получиться стэк - единая точка отказа. у вмваре/циско и тп полно white papers как это делать Что такое виртуальный IP на два провайдера ? Evpn/vxlan с anycast default gw если надо scale out. Если scale up , то пара switch’s с поддержкой mlag и портченел в сторону серверов , от свитчей l3 в ядро, ospf в качестве igp, Internet border с l3 связностью и PI subnets в оба провайдера , получать от isp default и инжектировать его в igp Все для сторадж лучше отдельну сетку . Порты 10г и выше , если 40г осилите по деньгам то два порта на сервер хватит ( может и две десятки хватит если надо лоад балансеры, фаерволы, малтитенанси, несколько data centers - -придётся пойти на курсы либо нанять кого то :) Можно все на двух свитчах нагородить если денег нет , но лучше так не делать Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
CarTerr Posted October 24, 2018 · Report post EvgeniySerb, спасибо буду разбираться Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
guеst Posted October 25, 2018 · Report post 2 территориально разнесённые площадки, на каждой по набору серверов, растянутый на 2 площадки vmware HA кластер (можно с FT) + 2 СХД с с чем-нибудь аля VPLEX Metro cluster на каждой. Своя AS с блоком PI , 2 канала и бордер на каждой площадке, ну и дальше VXLAN или вообще по бэстпрактикс от любого уважаемого вендора. ...ну а вообще лучше обратиться к крупному интегратору, там есть дизайнеры сетей, ЦОДов, систем хранения, и т.д. и т.п... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted October 25, 2018 · Report post 5 hours ago, guеst said: 2 территориально разнесённые площадки, на каждой по набору серверов, растянутый на 2 площадки vmware HA кластер (можно с FT) + 2 СХД с с чем-нибудь аля VPLEX Metro cluster на каждой. Своя AS с блоком PI , 2 канала и бордер на каждой площадке, ну и дальше VXLAN или вообще по бэстпрактикс от любого уважаемого вендора. ...ну а вообще лучше обратиться к крупному интегратору, там есть дизайнеры сетей, ЦОДов, систем хранения, и т.д. и т.п... Растянутые кластера - это прекрасно :) . У вас все ещё впереди Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
guеst Posted October 26, 2018 · Report post нет, именно это уже позади. Работает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vurd Posted October 26, 2018 · Report post 3 часа назад, guеst сказал: нет, именно это уже позади. Работает. Сколько? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
catalist Posted October 28, 2018 · Report post у нас года три Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
fork Posted October 28, 2018 · Report post В 24.10.2018 в 15:18, CarTerr сказал: EvgeniySerb, спасибо буду разбираться какой у Вас парк серверов? на чем живут vmware vMotion + ceph ? и сколько вообще хостов? и планируется? и каков бюджет на LAN + SAN уровня DC? В 24.10.2018 в 01:40, EvgeniySerb сказал: для сторадж лучше отдельну сетку . Порты 10г и выше , если 40г осилите по деньгам то два порта на сервер хватит ( может и две десятки хватит нафига сторадж гонять по сети? если уж делать красиво то однозначно самостоятельный SAN. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted October 29, 2018 (edited) · Report post 4 hours ago, fork said: какой у Вас парк серверов? на чем живут vmware vMotion + ceph ? и сколько вообще хостов? и планируется? и каков бюджет на LAN + SAN уровня DC? нафига сторадж гонять по сети? если уж делать красиво то однозначно самостоятельный SAN. Про бюджеты это к ТС Отдельная сеть под storage - маст хэв, я себе б классический san fc делал бы . Сейчас модно лепить горбатого из Ethernet сетей и дисков , поэтому я не предлагал FC, а тактически обобщил «выделенная сеть» :) Edited October 29, 2018 by EvgeniySerb Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
fork Posted October 30, 2018 · Report post В 29.10.2018 в 04:47, EvgeniySerb сказал: Отдельная сеть под storage - маст хэв, я себе б классический san fc делал бы . Сейчас модно лепить горбатого из Ethernet сетей и дисков , поэтому я не предлагал FC, а тактически обобщил «выделенная сеть» :) ну если строить DC по всем каноном, то самостоятельный SAN СХД подразумевается, со своими волокнами, Brocade, etc... FCoE не то что бы плох/хорош, проблема скорей возникает организационная, т.к. в большинстве своем SAN и LAN админы это разные люди. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
EvgeniySerb Posted October 30, 2018 · Report post 15 hours ago, fork said: ну если строить DC по всем каноном, то самостоятельный SAN СХД подразумевается, со своими волокнами, Brocade, etc... FCoE не то что бы плох/хорош, проблема скорей возникает организационная, т.к. в большинстве своем SAN и LAN админы это разные люди. Network engineer не должно составлять труда to manage fcoe. Чисто San админы уходят в историю , или двигаются выше по стэку стабильности fc (fcoe в какой то мере тоже ) можно только позавидовать к iscsi и nfs много вопросов Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
fork Posted October 31, 2018 · Report post 7 часов назад, EvgeniySerb сказал: Network engineer не должно составлять труда to manage fcoe. Чисто San админы уходят в историю , или двигаются выше по стэку стабильности fc (fcoe в какой то мере тоже ) можно только позавидовать к iscsi и nfs много вопросов SAN admin и СХД admin это в большинстве случаев одни и те же люди, или кто по вашему админит СХД? fcoe это на доступе, массивы все равно по fc san включены. Как раз стыки fcое и fc san становятся камнем преткновения разных подразделений и зон ответственности когда сыпятся ошибки типа lost access to volume Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
