Посоветуйте как организовать отказоустойчивую сеть

[CarTerr]

Встала задача организовать отказоустойчивый доступ к серверам. Текущая схема сети:

 

 

Изучая материал по данной теме нарисовалась следующая схема построения сети:

 

1. Для подключения серверов используется 2-а сетевых интерфейса с агрегацией каналов. Используем стэк из 2-ух коммутаторов уровня доступа и настраивается агрегация портов. Один порт одного коммутатора агрегатируется с портом другого коммутатора.

2. На маршрутизатора настраиваются vlan интерфейсы и поднимается виртуальный ip адрес.
3. На шлюзовых маршрутизаторах, обеспечивающие подключение к интернет провайдерам (isp 1 и isp 2) настраивается виртуальный ip

 

Собственно сами вопросы:

1. Является ли данная схема действующей для отказоустойчивости сети ?

2. Какие можно еще использовать технологии для решения вопроса по отказоустойчивости на уровнях доступа, агрегации, маршрутизации сети ?

3. Есть ли примеры решений по отказоустойчивости сети от крупных ЦОД (yandex, facebook) ?

[Chrst]

А где резервный ЦОД, а где резервные сервера?

А вдруг ляжет весь ваш стек коммутаторов, где резерв стека?

 

По схеме Вы все положили в одну корзину, при этом считаете, что у Вас яиц в избытке.

 

Исходя из постановки вопросов, а делали ли Вы оценку стоимости овчинки?

[CarTerr]

Цель сделать отказоустойчивость текущей сети по схеме N+1 

резервные сервера сделаны на vmware vMotion + ceph

 

Я думал что при отключении одного коммутатора в стеке, всю его функцию принимает второй коммутатор. Одновременная сметь 2-ух коммутаторов в данную схему не закладывается.

 

Цитата

По схеме Вы все положили в одну корзину, при этом считаете, что у Вас яиц в избытке.

Цель сделать N+1, прошу указать где не хватает избыточности.
 

Цитата

Исходя из постановки вопросов, а делали ли Вы оценку стоимости овчинки?

Оценку пока не делали, т.к. окончательной схемы резервирования нет.
 

[EvgeniySerb]

9 hours ago, CarTerr said:

Встала задача организовать отказоустойчивый доступ к серверам. Текущая схема сети:

 

 

Изучая материал по данной теме нарисовалась следующая схема построения сети:

 

1. Для подключения серверов используется 2-а сетевых интерфейса с агрегацией каналов. Используем стэк из 2-ух коммутаторов уровня доступа и настраивается агрегация портов. Один порт одного коммутатора агрегатируется с портом другого коммутатора.

2. На маршрутизатора настраиваются vlan интерфейсы и поднимается виртуальный ip адрес.
3. На шлюзовых маршрутизаторах, обеспечивающие подключение к интернет провайдерам (isp 1 и isp 2) настраивается виртуальный ip

 

Собственно сами вопросы:

1. Является ли данная схема действующей для отказоустойчивости сети ?

2. Какие можно еще использовать технологии для решения вопроса по отказоустойчивости на уровнях доступа, агрегации, маршрутизации сети ?

3. Есть ли примеры решений по отказоустойчивости сети от крупных ЦОД (yandex, facebook) ?

 

Facebook, серьёзно ? У них l3 до серверов идёт , с вмваре так не получиться 

 

стэк - единая точка отказа. 

у вмваре/циско и тп полно white papers как это делать

 

Что такое виртуальный IP на два провайдера ? 

 

Evpn/vxlan с anycast default gw если надо scale out. 

 

Если scale up , то пара switch’s с поддержкой mlag и портченел в сторону серверов , от свитчей l3 в ядро, ospf в качестве igp, Internet border с l3 связностью и PI subnets в оба провайдера , получать от isp default и инжектировать его в igp 

Все 

 

для  сторадж лучше отдельну сетку . Порты 10г и выше , если 40г осилите по деньгам то два порта на сервер хватит ( может и две десятки хватит 

 

 

 

если надо лоад балансеры, фаерволы, малтитенанси, несколько data centers - -придётся пойти на курсы либо нанять кого то :) 

 

Можно все на двух свитчах нагородить  если денег нет , но лучше так не делать 

 

 

[CarTerr]

EvgeniySerb, спасибо буду разбираться

[guеst]

2 территориально разнесённые площадки, на каждой по набору серверов, растянутый на 2 площадки vmware HA кластер (можно с FT) + 2 СХД с с чем-нибудь аля VPLEX Metro cluster на каждой.

Своя AS с блоком PI , 2 канала и бордер на каждой площадке, ну и дальше VXLAN  или вообще по бэстпрактикс от любого уважаемого вендора. 

...ну а вообще лучше обратиться к крупному интегратору, там есть дизайнеры сетей, ЦОДов, систем хранения, и т.д. и т.п...

[EvgeniySerb]

5 hours ago, guеst said:

2 территориально разнесённые площадки, на каждой по набору серверов, растянутый на 2 площадки vmware HA кластер (можно с FT) + 2 СХД с с чем-нибудь аля VPLEX Metro cluster на каждой.

Своя AS с блоком PI , 2 канала и бордер на каждой площадке, ну и дальше VXLAN  или вообще по бэстпрактикс от любого уважаемого вендора. 

...ну а вообще лучше обратиться к крупному интегратору, там есть дизайнеры сетей, ЦОДов, систем хранения, и т.д. и т.п...

Растянутые кластера - это прекрасно :) . У вас все ещё впереди 

[guеst]

нет, именно это уже позади. Работает.

[vurd]

3 часа назад, guеst сказал:

нет, именно это уже позади. Работает.

Сколько?

[catalist]

у нас года три

[fork]

В 24.10.2018 в 15:18, CarTerr сказал:

EvgeniySerb, спасибо буду разбираться

 

какой у Вас парк серверов? на чем живут vmware vMotion + ceph ? и сколько вообще хостов? и планируется?

и каков бюджет на LAN + SAN  уровня DC?

 

В 24.10.2018 в 01:40, EvgeniySerb сказал:

для  сторадж лучше отдельну сетку . Порты 10г и выше , если 40г осилите по деньгам то два порта на сервер хватит ( может и две десятки хватит

 

нафига сторадж гонять по сети? если уж делать красиво то однозначно самостоятельный SAN.

[EvgeniySerb]

4 hours ago, fork said:

 

какой у Вас парк серверов? на чем живут vmware vMotion + ceph ? и сколько вообще хостов? и планируется?

и каков бюджет на LAN + SAN  уровня DC?

 

 

нафига сторадж гонять по сети? если уж делать красиво то однозначно самостоятельный SAN.

Про бюджеты это к ТС

 

Отдельная сеть под storage -  маст хэв,  я себе б классический san fc делал бы . Сейчас модно лепить горбатого из Ethernet сетей и дисков , поэтому я не предлагал FC, а тактически обобщил «выделенная сеть» :) 

 

 

Edited October 29, 2018 by EvgeniySerb

[fork]

В 29.10.2018 в 04:47, EvgeniySerb сказал:

Отдельная сеть под storage -  маст хэв,  я себе б классический san fc делал бы . Сейчас модно лепить горбатого из Ethernet сетей и дисков , поэтому я не предлагал FC, а тактически обобщил «выделенная сеть» :) 

 

ну если строить DC по всем каноном, то самостоятельный SAN СХД подразумевается, со своими волокнами, Brocade, etc...

FCoE не то что бы плох/хорош, проблема скорей возникает организационная, т.к. в большинстве своем SAN и LAN админы это разные люди.

 

 

[EvgeniySerb]

15 hours ago, fork said:

 

ну если строить DC по всем каноном, то самостоятельный SAN СХД подразумевается, со своими волокнами, Brocade, etc...

FCoE не то что бы плох/хорош, проблема скорей возникает организационная, т.к. в большинстве своем SAN и LAN админы это разные люди.

 

 

Network engineer не должно составлять труда to manage fcoe. Чисто San админы уходят в историю , или двигаются выше по стэку 

 

стабильности fc (fcoe в какой то мере тоже ) можно только позавидовать 

 

к iscsi и nfs много вопросов 

[fork]

7 часов назад, EvgeniySerb сказал:

Network engineer не должно составлять труда to manage fcoe. Чисто San админы уходят в историю , или двигаются выше по стэку 

 

стабильности fc (fcoe в какой то мере тоже ) можно только позавидовать 

 

к iscsi и nfs много вопросов 

SAN admin и СХД admin это в большинстве случаев одни и те же люди,  или кто по вашему админит СХД?

fcoe это на доступе, массивы все равно по fc san включены.

Как раз стыки fcое  и fc san становятся камнем преткновения разных подразделений и зон ответственности когда сыпятся ошибки типа lost access to volume