[Saab95]

Цитата

Сетевая карта стоит 10т.

Новая, что за модель?

[nixx]

1 час назад, Saab95 сказал:

Сейчас один только сетевой адаптер с двумя портами под оптику 10Г стоит от 35 тыс. А еще нужен процессор, материнка, память, жесткий диск, БП и корпус. Да и вторая сетевушка нужна порта на 4 для других служебных подключений. Набегает за 100 тыс.

двухпортовка mellanox connectx-3 с QSFP-портами - 6 тысяч на алиэкспрессе.

если поискать 1-портовую с SFP+ - то вообще тысячи за 3 найти можно.

hp connectx-4 с QSFP 100гбит месяца полтора назад на авито брали за 15 тыр.

[jffulcrum]

3 часа назад, fractal сказал:

Услуг не предоставляет никто по активации? Аналогично juniper, checkpoint, cisco

Увы, нет поддержки промежуточных серверов активации. Всё в Латвию лезет.

[sirmax]

1 час назад, nixx сказал:

mellanox

Мой опыт с ними хоть и не связан с маршрутизацией был негативный 

[nixx]

1 час назад, sirmax сказал:

Мой опыт с ними хоть и не связан с маршрутизацией был негативный 

в чем выражался негатив? любопытно.

 

у нас стоят в нескольких бордерах и натах - от connectx-3 до 6-го. полет более чем нормальный.

ну а дешманские однопортовки с sfp+, про которые я писал выше - прекрасно идут в обычные сервера (ну типа хостов с esxi и прочих).

[jffulcrum]

Я на connectx-3 собрал кучу граблей: c VXLAN, VMQ, c RDMA, и даже был успех, когда не удавалось обычные VLAN создать. Windows, ESXi, Ubuntu - везде пришлось подпрыгивать как-то. Для Windows дрова теперь вообще у NVIDIA, точнее, их нет - попробуйте сами скачать, вас ждут 404. Не, ну может для роутера или веб-сервера прямо на железе какого все ОК будет, но у меня были задачи посложнее. Да и со стороны FreeBDSM-сообщества тоже припоминаю звуки жизни от этих карт - крики, проклятия, вопли. Звуки разочарованно прекращались после замен на i520 или даже что получше.

[sirmax]

2 часа назад, jffulcrum сказал:

Я на connectx-3 собрал кучу граблей: c VXLAN, VMQ, c RDMA, и даже был успех, когда не удавалось обычные VLAN создать. Windows, ESXi, Ubuntu - везде пришлось подпрыгивать как-то. Для Windows дрова теперь вообще у NVIDIA, точнее, их нет - попробуйте сами скачать, вас ждут 404. Не, ну может для роутера или веб-сервера прямо на железе какого все ОК будет, но у меня были задачи посложнее. Да и со стороны FreeBDSM-сообщества тоже припоминаю звуки жизни от этих карт - крики, проклятия, вопли. Звуки разочарованно прекращались после замен на i520 или даже что получше.

У меня была задача с опенстеком и nfv когда на карту приходит влан а он должен отмапиться в виртуалку как pci карта и там было куча боли пока не поменяли на интел вроде 740 но я уже не помню детали 

 

в общем я пока не очень к меланоксу хотя опыт свежим и релевантным задачам я не назову 

[nixx]

2 часа назад, jffulcrum сказал:

Я на connectx-3 собрал кучу граблей: c VXLAN, VMQ, c RDMA, и даже был успех, когда не удавалось обычные VLAN создать. Windows, ESXi, Ubuntu - везде пришлось подпрыгивать как-то. Для Windows дрова теперь вообще у NVIDIA, точнее, их нет - попробуйте сами скачать, вас ждут 404. Не, ну может для роутера или веб-сервера прямо на железе какого все ОК будет, но у меня были задачи посложнее. Да и со стороны FreeBDSM-сообщества тоже припоминаю звуки жизни от этих карт - крики, проклятия, вопли. Звуки разочарованно прекращались после замен на i520 или даже что получше.

такое впечатление, что у нас разные мелланоксы. у меня за последние ~4 года вообще никаких проблем с ними, если не считать того, что дрова, идущие в той же убунте/дебиане в дистрибутиве надо сразу и категорично посылать лесом. но задачи - просто лопатить трафик. с вланами )

а у нвидии сейчас всё, ибо мелланокс им продался. и дрова на винду качаются ))

[fractal]

8 часов назад, Saab95 сказал:

Это явно дело не в железе микротика, а в чем-то другом. На некоторых прошивках были проблемы, может на такую попали. У нас все прошивки 6.44.5.

И так, по последним уточнениям, в 6й ветке 1036/1072 с bgp fv все так же плохо, работать может, но флап bgp сессии около 10 минут ставит их раком, сам проверить не могу, но получил инфу от друзей которые в зсттк, у них микротов 1036 много, в качестве L3 молотилок, под nat с их количеством трафика не идёт, чисто L3 forward ospf или мелкий ibgp бордер

 

6 часов назад, jffulcrum сказал:

Увы, нет поддержки промежуточных серверов активации. Всё в Латвию лезет.

Жаль, я думал что для гигантов проблемы с лицензированием порешали в России, то и с микротом кто то подавно 

[AKim]

1072 это лотерея.

 

У нас есть пару штук. Один используется для форварда и mpls, второй валяется в груде "жалко выкинуть". Он ребутится при нагрузке по вачдогу или виснет намертво без него. Такое поведение с момента покупки новой железки. Поздно на него дали нагрузку, вернуть по гарантии уже нельзя было.

 

[jffulcrum]

6 часов назад, fractal сказал:

я думал что для гигантов проблемы с лицензированием порешали в России,

Ну как порешали, по сути кто-то в Армении рискует жопой, ведь что там в итоге доходит до Cisco - вопрос со многими неизвестными. Таймзона, NTP и DNS сервера, nexthop, регион на беспроводным оборудовании - вычислить настоящее расположение железки при желании можно, и начать репрессии посредников. Я ещё помню, как поначалу, году в 15, с Амазона и Ebay в Крым люди заказывали и приходило, а потом контролирующие органы мемериканские разок выдали людей и все анально огородилось.

 

При активации сливается серийник в любом случае, его забанят - и всё, уже ни через какие Казбекистаны второй раз лицензию не купишь. Потому брать что-то без RTU - очень так себе идея сейчас. Ну и ждём Хатаба от мира сетевого лицензирования, репаки IOS XE и Junos приветствуются.

[fractal]

20 минут назад, jffulcrum сказал:

При активации сливается серийник в любом случае, его забанят - и всё, уже ни через какие Казбекистаны второй раз лицензию не купишь. Потому брать что-то без RTU - очень так себе идея сейчас. Ну и ждём Хатаба от мира сетевого лицензирования, репаки IOS XE и Junos приветствуются.

Не, это и не нужно, есть куча обходных типо сателит сервера либо покупка лицензии PLR, практически на все их можно взять, считай железка до своей смерти становится RTU

[taf_321]

12 часов назад, nixx сказал:

в чем выражался негатив? любопытно.

Конкретно CX3 реализация работы с VLAN сделана на отъ....сь, вроде как есть и даже работает, но отвалится может на ровном месте. У меня такая карта выстрелила аппаратным лимитом в 128 VLAN'ов.

[Saab95]

Цитата

двухпортовка mellanox connectx-3 с QSFP-портами - 6 тысяч на алиэкспрессе.

если поискать 1-портовую с SFP+ - то вообще тысячи за 3 найти можно.

hp connectx-4 с QSFP 100гбит месяца полтора назад на авито брали за 15 тыр.

С али приходят перепаянные чипы на сетевушках и по сути это восстановленные б/у.

 

В любом случае не б/у сетевые адаптеры дорогие. И собирать сервер с нуля за место 1036 по деньгам как 1036 и будет.

 

Цитата

У нас есть пару штук. Один используется для форварда и mpls, второй валяется в груде "жалко выкинуть".

Никогда с ними проблем не было, работают и в режиме БГП+НАТ, и в режиме шейпера, и просто в режиме роутера, что бы собрать со всех портов трафик и выдать в 2 порта суммарно под 20Г.

 

Открою один маленький секрет про микротики с двумя Б/П - у них не совсем правильно сделана развязка между БП на плате, поэтому нужно подключать только один БП, а второй выдергивать из устройства, а не оставлять подключенным без подачи питания на него. Это если у вас микротик непонятным образом чудит или перезагружается. Скорее всего один из БП неисправен.

[Negator]

Это если у вас микротик непонятным образом чудит или перезагружается. Скорее всего один из БП неисправен.

 

у меня вон антенны LHG 60G перезагружаются иногда с kernel panic, но второго БП там нет

[Saab95]

Цитата

у меня вон антенны LHG 60G перезагружаются иногда с kernel panic, но второго БП там нет

У нас эти устройства работают на L3 уровне, количество мак адресов максимум 4 в канале, никаких проблем нет. Перезагружаются обычно тогда, когда в канале за 2-3 сотни мак адресов, и то от того, что арп или иной флуд летит на устройство.

[sirmax]

34 минуты назад, Saab95 сказал:

У нас эти устройства работают на L3 уровне, количество мак адресов максимум 4 в канале, никаких проблем нет. Перезагружаются обычно тогда, когда в канале за 2-3 сотни мак адресов, и то от того, что арп или иной флуд летит на устройство.

И это типа нормально, перезагружаться от сотни маков?????

считаете что все ок?

[Negator]

нет там сотни маков.

и десятка не наберется.

Итого 5 маков

По 1 клиентскому с каждой стороны

2 мака антенн

+ мак железки управления.

 

[Saab95]

Цитата

+ мак железки управления.

Вот отсюда и идут корни проблемы. Если пробросили влан управления до устройства через несколько коммутаторов - ждите беды.

 

Цитата

И это типа нормально, перезагружаться от сотни маков?????

считаете что все ок?

Оно перезагружается не от сотни маков, а от мусорного трафика этой сотни маков. Уже не один раз писал - никакого абонентского трафика на L2 в сети оператора быть не должно. Он должен заканчиваться на промежуточном узле агрегации, если туда сводятся данные с домовых коммутаторов, или сразу на роутере перед OLT, или на L3 коммутаторе, к которому подключены абоненты. Кто так сеть переделал - спит спокойно.

[Умник]

@Saab95 Я правильно понимаю, что для агрегации L2 от больше чем пары-тройки сотен абонентов Микротик не подходит? Что мне делать, если я хочу сеть чисто на Микротиках? Ставить по Микротику на 100 L2-абонентов?

[sirmax]

2 минуты назад, Умник сказал:

@Saab95 Я правильно понимаю, что для агрегации L2 от больше чем пары-тройки сотен абонентов Микротик не подходит? Что мне делать, если я хочу сеть чисто на Микротиках? Ставить по Микротику на 100 L2-абонентов?

на каждый дом микротик и терминировать там же
мне такая мысль кажется странной

[fractal]

13 минут назад, Saab95 сказал:

Оно перезагружается не от сотни маков, а от мусорного трафика этой сотни маков. Уже не один раз писал - никакого абонентского трафика на L2 в сети оператора быть не должно.

При этом всякие юбики, камбиумы, инфинеты и другие радио железки работают без проблем с таким

[Saab95]

Цитата

Я правильно понимаю, что для агрегации L2 от больше чем пары-тройки сотен абонентов Микротик не подходит? Что мне делать, если я хочу сеть чисто на Микротиках? Ставить по Микротику на 100 L2-абонентов?

L2 не должно идти через промежуточные коммутаторы, только непосредственно от абонентов.

 

Сразу варианты:

 

1. У вас сеть на CRS317 и т.п. где абоненты подключаются непосредственно к порту микротика - настраиваете сразу IP адреса на порты роутера.

2. У вас сеть на базе пон, перед OLT ставите микротик, заводите на нем хоть 1000, хоть 2000 вланов (каждый на свою онушку), вешаете на каждый влан свой IP абонента и все отлично работает.

3. У вас сеть на базе L2 коммутаторов в домах и вы их менять не будете - ставите промежуточный узел, на него микротик, в каждый порт микротика подключаете отдельный коммутатор, или связку из домовых коммутаторов, так же заводите вланы и все работает.

 

Если у вас сеть вида - домовой коммутатор - промежуточный коммутатор - районный коммутатор - еще один коммутатор - центральный коммутатор - микротик - то вот такая схема обычно проблемная и можно ловить непонятные ситуации.

 

Во вложении картинка для примера, как на CCR2004 заведено 1372 влана (начинаются они с влана под номером 2), на них висят абонентские IP и трафик переходит на L3 уровень, и дальше они идут в центр по оптике через 3 влана. В центре стоит коммутатор микротик, в который сводится еще 8 таких промежуточных узлов. За коммутатором стоят 3 роутер CCR1036, и на каждом заведены по 3 влана для возможности установки метрик маршрутов для OSPF. Изменением метрик распределяется нагрузка, т.к. параллельно включить нельзя, что бы абоненты не попадали в интернет через 2-3 шейпера, в этом случае у них скорость по тарифу так же увеличивается.

 

Загрузка процессора 2004 не высокая, стоит он не дорого, имеет 10Г портов в достатке, поэтому отличное решение для модернизации старых сетей на коммутаторах.

[sirmax]

16 минут назад, Saab95 сказал:

Если у вас сеть вида - домовой коммутатор - промежуточный коммутатор - районный коммутатор - еще один коммутатор - центральный коммутатор - микротик - то вот такая схема обычно проблемная и можно ловить непонятные ситуации.

Другими словами микротик дохнет от маков
L3 свитч спасет отца русской демократии,  cisco 4900 например 

 

[Saab95]

Цитата

Другими словами микротик дохнет от маков

Нет, советую взять микротик и средствами торч или сниффером пакетов посмотреть что на него прилетает с промежуточных коммутаторов. Вот что часто там бывает на реальных сетях, когда между абонентом и микротиком несколько коммутаторов типа длинк, тплинк, циско и прочих

 

1. Часто один и тот же мак адрес виден с разными src IP адресами. Например во влане 10 виден правильный мак абонента и его адрес, а во влане 11 виден правильный мак абонента и его адрес, и там же видны пакеты с мак адресом абонента из 10 влана, но IP адресом абонента из 11. Защититься никак нельзя.

 

2. Часто данные, отправленные абоненту в 10 влан, прилетают обратно в 11 влане с мак адреса абонента из 10 влана. Защититься тоже никак нельзя.

 

3. ARP пакеты могут залетать совершенно любые в любой номер влана, на микротике можно защититься путем установки на портах arp-reply-only и статическое добавление маков от DHCP сервера.

 

Все это уже было много много раз и на сети с коммутаторами просто где-то на других узлах устанавливали микротик, между ним и центром по IP поднимали EoIP туннель, в нем пускали трафик с кучей вланов от групп домов и все проблемы уходили. А если этот же трафик шел по L2 цепочке коммутаторов возникали непонятные глюки. И доходило до того, что пол сети работали через EoIP туннели, и это спасало от всех проблем. До момента, пока транспортную часть в нормальный вид на L3 не перевели.

 

Цитата

L3 свитч спасет отца русской демократии,  cisco 4900 например 

Нет. Обычно на промежуточных узлах с несколькими микротиками, которые собирают каналы с многоквартирных домов, установлен ИБП и он вполне себе долго позволяет работать микротикам при отключении питания. Более того они все работают от 12-24 вольт и можно подключать аккумуляторы напрямую, экономя на преобразованиях. Ваша циска потребляет как 10 микротиков, и сильно шумит, да еще и б/у.