[sevmax]

Переезжаем от хостера в датацентр с покупкой железа и сетевой инфраструктуры.

Будет примерно 3-6 стоек, в которых для начала будут размещаться порядка 60-70 серверов.

Роли серверов: БД, WEB, API, Processing.

На текущий момент никакого BGP, статическая маршрутизация между серверами, весь трафик TCP, один канал VPN для управления.

В планах через некоторое время запуститься во втором ДЦ в другой части света, где возможно и понадобятся дополнительные сетевые функции, но не сейчас.

 

Планирую сделать 10GBaseT соединение между серверами БД и 1Gbps для соединения всех остальных серверов.

ДЦ дает нам Ethernet соединение и питание.

 

1. На что обратить внимание при построении сети?

2. Какую схему выбрать? WAN маршрутизаторы -> 10Gbps + 1 Gbps свитчи или добавить что-то в центр между ними.

3. Как организовать failover?

4. Делать ли VLAN по ролям серверов или один VLAN для всех?

5. Надо ли брать "железные" firewall'ы?

6. На ряде серверов используется Floating IP для keealived (HAProxy, MySQL). Что необходимо делать с точки зрения сети, чтобы поддерживать эту возможность?

 

Заранее спасибо за помощь!

 

UPD1: Uplink, думаю, будет в районе 1 Gbps.

Текущий средний WAN traffic находится в районе 300-400 Mbps, с пиками до 700 Mbps. Мы очень активно используем CDN и внешние сервисы, что позволяет выиграть на сетевой пропускной способности.

Изменено 7 ноября, 2013 пользователем sevmax

[myst]

5. Надо ли брать "железные" firewall'ы?

если сервера будут отсвечивать в интернет то однозначно брать.

 

На самом деле топология простая, в стойку по свичшу и 10г аплинками + что-нибудь 10г в центр(ядро).

 

а в ядре уже аппаратный фаервол для поддержаний связи с вншеним миром.

 

Вот например:

Cisco Catalyst WS-C4500X-16SFP+ - в центр

и Cisco Catalyst WS-C4948-10GE-S - на стойку. думаю вполне должно хватит. хотя тут надо смотреть сколько у вас сервером DB

 

если же вам надо прям файловер-файловер то имеет смысл посмотреть на что-нибудь модульное с горячим резервированием управляющих карт...

но и цена будет соответствующая.

Изменено 7 ноября, 2013 пользователем myst

[darkagent]

Для ЦОД я бы смотрел в сторону cisco nexus линейки. например 5548p в центр и по 2х 2232TM на стойку. Чем интересней - помимо типичного 1/10G Ethernet, 55й nexus дает работать с FCoE (если планируете цеплять SAN) и фабрика отдельно наращивается по мере необходимостии (для 22х есть специализированные расширения под HP/Fujitsu/DELL).

[myst]

ну или нексус да... хотя для организации SAN можно заюзать отдельный контур на infiniband, для баз знаете ли очень приятно...

 

В любом случае, все решения очень не бесплатно.

Изменено 7 ноября, 2013 пользователем myst

[s.lobanov]

5. Надо ли брать "железные" firewall'ы?

 

Что такое "железный" firewall? Cisco ASA это железный по вашему мнению? Если вам защититься от DDoS, то такие игрушки вас не спасут, ими только от школодосеров можно прикрыться

[myst]

5. Надо ли брать "железные" firewall'ы?

 

Что такое "железный" firewall? Cisco ASA это железный по вашему мнению? Если вам защититься от DDoS, то такие игрушки вас не спасут, ими только от школодосеров можно прикрыться

Ну вот от школодосеров и прочих ботов и нужно защититься в первую очередь.

Как миниум синкуки прикрутить...

[darkagent]

Даже кластер из 55х cisco asa "маловат" для запрошенных масштабов. Тут уже надо посматривать в сторону какого нибудь fortigate постарше (3700D например), F5 (BIG-IP например) или аналогичных решений.

хотя опять же все зависит от масштабов и объемов, а то может там и вовсе утилизация этих линков не превысит 10%.

[myst]

Даже кластер из 55х cisco asa "маловат" для запрошенных масштабов. Тут уже надо посматривать в сторону какого нибудь fortigate постарше (3700D например), F5 (BIG-IP например) или аналогичных решений.

можно посмотреть в сторону линейки SRX...

Но вот в режиме flow у него производительность весьма сомнительная, а в packet от него толку как от фаервола маловата.

 

Есть ещё huawei eudemon кстати, но я боюсь даже представить сколько он стоит. (А кто-нибудь реально с ними дело имел?)

Изменено 7 ноября, 2013 пользователем myst

[n0_name]

В одном таком же проекте в качестве фаерволла будет установлен Juniper srx650, в вашем случае может и 240 подойдет.

[myst]

В одном таком же проекте в качестве фаерволла будет установлен Juniper srx650, в вашем случае может и 240 подойдет.

Ой сомневаюсь...

SRX650_1> show security flow session summary | match Maximum

Maximum-sessions: 524288

 

На 400 000 оно начинает икать с процем под 90%. И это без особых плюшек типа IDP/SCREEN.

[NikBSDOpen]

Для 10G маловат 650. Нужно что то более производительное и что то более "пожелезней". 650 все же софтфаервол, хоть и с ~ ">=<" "полноценным" RE.

[myst]

Для 10G маловат 650. Нужно что то более производительное и что то более "пожелезней". 650 все же софтфаервол, хоть и с ~ ">=<" "полноценным" RE.

Насколько я понял, речь не идет про 10г наружу.

Так что по портам 650й вывозит, в крайнем случае пару Гэшных интерфейсов саггрегировать...

А вот про производительность в flow mode есть большие сомнения.

[borodaUch]

а что какие нибудь SRX5800 уже не катируются? или ценник не катируется? =)

 

ну это я так по максимуму, есть же модели HIGH END специально для ЦОД, а не ENT пограничники.

[applx]

ASA5585X SSP-40

[myst]

ASA5585X SSP-40

Вам не кажется что слишком избыточно?

[applx]

20Gpbs full duplex это избыточно?

 

можно и SSP-20 там 10Г ФД

[myst]

20Gpbs full duplex это избыточно?

 

можно и SSP-20 там 10Г ФД

Для чего?

ТС вроде не озвучил что ему надо 10Г гнать наружу.

Ему достаточно Л2 10Г.

Брать для этого секурити апплианс за бешенные бабки даже с 10гшными портами ну поменьшей мере избыточно.

[applx]

ТС не озвучил какой аплинк ему готов дать ДЦ

[dmvy]

В одном таком же проекте в качестве фаерволла будет установлен Juniper srx650, в вашем случае может и 240 подойдет.

Ой сомневаюсь...

SRX650_1> show security flow session summary | match Maximum

Maximum-sessions: 524288

 

На 400 000 оно начинает икать с процем под 90%. И это без особых плюшек типа IDP/SCREEN.

 

пол миллиона сессий - это стандартное ограничение linux. но при ddos новые сессии не должны устанавливаться, на уровне srx дропаться и не попадать в conn track таблицу. Конечно это сильно зависит от ПО...

[s.lobanov]

пол миллиона сессий - это стандартное ограничение linux. но при ddos новые сессии не должны устанавливаться, на уровне srx дропаться и не попадать в conn track таблицу. Конечно это сильно зависит от ПО...

 

Что за "стандартное ограничение"? Если сделать тупо modprobe nf_conntrack, то будет hash-таблица на 16К с 64К трансляций

 

А вообще, размер хеш-таблицы ограничен размером RAM

[myst]

ол миллиона сессий - это стандартное ограничение linux. но при ddos новые сессии не должны устанавливаться, на уровне srx дропаться и не попадать в conn track таблицу. Конечно это сильно зависит от ПО...

Чего?

Прилетает SYN улетает ACK вот тебе и сессия.

 

Во всяком случае так 650ка ложется на раз.

 

Так же она была замечена в унылом поведении при торрентами в защищаемом периметре. Количество сессий достигало предела и новые начинали тупо дропаться.

[sevmax]

я топикстартер :)

=================

 

Спасибо за советы.

 

Добавил обновление в первый пост.

 

UPD1: Uplink, думаю, будет в районе 1 Gbps.

Текущий средний WAN traffic находится в районе 300-400 Mbps, с пиками до 700 Mbps. Мы очень активно используем CDN и внешние сервисы, что позволяет выиграть на сетевой пропускной способности.

 

Я для начала хочу разобраться какую схему использовать для сети.

Сейчас нарисую свои прикидки и выложу здесь.

[sevmax]

На графике получается весьма простая схема.

В приложении прикреплен xml файл для редактирования в draw.io.

 

Вопросы:

* куда поставить оборудование для поддержания Virtual IP. VIP  необходим для ряда серверов.

* WAN включает в себя firewall, или защиту надо отдельно ставить?

Simple Datacenter Network.v1.xml

[myst]

1) сколько будет DB серверов?

2) советую все-таки посмотреть на отдельный контур SAN на infiniband например.

Из этого можно получить много выгоды. Да и ценник в принципе не заоблачный.

 

* куда поставить оборудование для поддержания Virtual IP. VIP  необходим для ряда серверов.

 

Это ставится в центр, между миром и ядром.

 

* WAN включает в себя firewall, или защиту надо отдельно ставить?

Не понял вопроса.

[CNick]

Какие сервера вы используете на данный момент(вендор/конфигурация) и сколько на них используеться ресурсов?

Дело в том что от этого очень сильно зависит дизайн сети, вот варианты:

 

1. Пачка 1U серверов - для них лучше всего подойдет Top Of Rack дизайн где в каждой стойке у вас 2 свича.

2. Блейд сервера IBM/HP/Dell - Судя подходят варианты с Cisco Nexus + Cisco B22 Fabric Extender

3. Если по части приложений которые вы используете много серверов которые простаивают по IO/CPU например для приложения нужен выделенный сервер или какой-то API или сервера для DEV/QA/UAT тогда возможно вам подойдет виртуализация и тогда вам стоит посмотреть в сторону Cisco UCS. Это готовое решение где сервера интегрированные с сетью. UCS сильно экономит по части занимаемого места и питания и сильно лучше других вендоров по части управления.

 

По поводу дизайна сети в не зависимости от вариантов то что вы нарисовали уже давно не делают, сейчас не практикуют отключения 50% серверов при отказе одного коммутатора. Из того что делают сейчас начиная от самого бюджетного варианта и заканчивая самым интересным:

1. От каждого сервера 2х1g кабеля в два разные свича (можно самые дешевые : ) между ними bond для failover или 2х1g кабеля в один свич в разные модули при условии что у вас модульный свич с двумя супервизорами.

2. От каждого сервера 2x1g или 2x10g в Cisco Nexus или Nexus + FEX или подобное от конкурентов, то же самое если у вас блейды только FEX там уже внутри корзины с серверами будут и все это в vPC (LACP между разными свичами). Этот вариант лучше первого потому что позволит использовать сразу всю пропускную способность сети и 50% при отказе любого из компонентов.

3. Cisco UCS - В зависимости от комплектации, будет начиная от 20 заканчивая 80 гигабитами на сервер. Сразу может показаться сильно избыточным, но типичная набивка сервера это 20 ядер + 256 гиг оперативки. Один такой сервер заменит вам ~ 5-10 1u серверов двухлетней давности при том что места он занимает на 30% меньше.

 

Еще нужно знать планируете ли вы использовать системы хранения данных. Судя по описанию контента у вас нет, а тот что есть в основном на CDN. Если так то не нужно выбрасывать деньги на всякие дорогие штуки типа FC, FCoE, iSCSI, Infiniband итд итп. Выбор очень велик главное знать подход если весь упор на ПО по части отказоустойчивости то нужно смотреть в сторону дешевого оборудования куда блейдам, UCS и Nexus путь заказан, а если ентерпрайз то там совсем другие устройства и схемы :)

 

2) советую все-таки посмотреть на отдельный контур SAN на infiniband например.

Судя по описанию это веб приложение, а там SAN/Infiniband даром не нужен :)