Перейти к содержимому
Калькуляторы

Посоветуйте L3-свич в ядро сети чтобы держал более 8К ARP-записей

Вы знаете, для начала хотелось бы услышать реальную успешную историю про эти свичи. Ибо китайская техника - это, к сожалению, кот в мешке. Стоит у меня пара BDCOM-3756 чисто на Л2-агрегации, все бы хорошо, но раз в месяц стабильно разваливается порт-ченнэл. Приходится ребутить. А тут речь о ядре, ребуты как бы недопустимы.

не надо сравнивать BDCOM 3756 и SNR-S300G-24FX, это две большие разницы

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы знаете, для начала хотелось бы услышать реальную успешную историю про эти свичи. Ибо китайская техника - это, к сожалению, кот в мешке. Стоит у меня пара BDCOM-3756 чисто на Л2-агрегации, все бы хорошо, но раз в месяц стабильно разваливается порт-ченнэл. Приходится ребутить. А тут речь о ядре, ребуты как бы недопустимы.

не надо сравнивать BDCOM 3756 и SNR-S300G-24FX, это две большие разницы

В приведенной Вами моей цитате акцентируйте пожалуйста свое внимание на первых двух предложениях. Цепляние к словам уводит тему в сторону. Есть УСПЕШНЫЙ опыт по этим супер-пупер-кулл-свичам? Если да, делитесь деталями, это весьма интересно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так возьмите на тест, да посмотрите. Их спокойно дают.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Во-первых, о каком "перспективном росте" речь? Ты его к чему выдумал? Там все что могло вырасти, уже выросло. Не надо ничего выдумывать про сеть, о которой ты ничего не знаешь.

Во-вторых, нимб выключи. Кто тебе дал право обзывать чужие сети говном? Тяжелое детство? Собственные комплексы неполноценности?

В-третьих, 4948е - это дорого? :) ну, тогда предыдущие три вопроса снимаются...

 

Если у вас много L2 интерфейсов, нужно использовать MPLS, вынеся терминацию вланов на MPLS коммутаторы, установленные на промежуточных узлах агрегации, тогда в центре уже никаких маков не будет, весь трафик абонентов пойдет внутри MPLS, а дальше с этими интерфейсами можно уже что угодно делать, и беспокоить будет лишь размер ARP таблицы на устройствах с железным ограничением на ее объемы. При этом, если вы еще не совсем сильно развились, появится легкая возможность сделать резервирование центральных железок, или поставить большой брас, который без лишних проблем сможет масштабировать любое количество L2 абонентских интерфейсов.

 

В любой крупной сети ничего по L2 в центр не идет.

 

Кстати, Mikrotik CCR1072 отлично подходит для этой задачи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если у вас много L2 интерфейсов, нужно использовать MPLS, вынеся терминацию вланов на MPLS коммутаторы

зачем?

 

и беспокоить будет лишь размер ARP таблицы на устройствах с железным ограничением на ее объемы

чукча не читатель? проблема была в выборе железки с большим кол-вом ARP записей. а 16к маков сейчас умеет любой л2 свич агрегации. ну кроме CRS поделок вестимо...

 

 

Кстати, Mikrotik CCR1072 отлично подходит для этой задачи.

ну да, воткнул один абон флудящий юникастом роутер - и положил всю сеть... о "прекрасном" пинге через эту поделку (+15мс задержки при нагрузке 20-30% по ядрышкам в среднем) - помолчу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

зачем?

 

Затем. Попробуйте представить узел, скажем так, на 500 тысяч абонентов, каждому из которых нужно предоставить уникальный L2 интерфейс на брасе. Каким образом каналы будут попадать в центр? Будет 500 тысяч маков на центральном узле по L2 и тысячи вланов управления? И каким образом делать резервирование? И как в случае проблем на одном узле увести весь трафик абонентов на другой?

 

В крупной сети используется IP транспорт, а все вланы и какие либо манипуляции идут только на оконечных коммутаторах, т.к. прокидывать сотни тысяч вланов по цепочкам коммутаторов - таких еще не придумали=)

 

чукча не читатель? проблема была в выборе железки с большим кол-вом ARP записей. а 16к маков сейчас умеет любой л2 свич агрегации. ну кроме CRS поделок вестимо...

 

А что такое ARP и для чего оно нужно? И разве нет схем работы без использования ARP записей на терминирующем устройстве?

 

ну да, воткнул один абон флудящий юникастом роутер - и положил всю сеть... о "прекрасном" пинге через эту поделку (+15мс задержки при нагрузке 20-30% по ядрышкам в среднем) - помолчу.

 

Начинается стандартная отписка про микротик. Придумайте уже что-то новенькое хоть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Начинается стандартная отписка про микротик. Придумайте уже что-то новенькое хоть.

 

зачем придумывать что-то новое, если уже есть набор дефектов на микротиках версии 6.х

 

Микротик например научили vrf? ведь нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

зачем придумывать что-то новое, если уже есть набор дефектов на микротиках версии 6.х

Микротик например научили vrf? ведь нет.

 

А зачем оно в сети оператора? У него что, нет денег поставить еще один маршрутизатор и нужно обязательно нагородить 10 виртуальных на одной железке?

 

У каждого устройства есть свои сильный и слабые стороны. Тот же MPLS умеет и микротик, и циска, и длинк, и многие другие вендоры. Но если у микротика MPLS умеет даже RB750, и он пропустит через себя 100М трафика, упираясь лишь в скорость порта, то у длинка и циски нет маленьких решений, их MPLS начинается (у длинка) от 150-160 и более тысяч за коммутатор. Приводить для сравнения б/у оборудование не корректно. И поэтому строя сети на цисках и длинках, встает проблема оконечного оборудования и выдергивания L2 каналов из MPLS сети для потребителей. Приходится ставить многопортовый коммутатор с MPLS, и к нему подключать штук 10-20 распределяющих коммутаторов, создавая L2 сегмент, где без него можно было бы обойтись. И если оператор сам предоставляет L2 каналы другим, то встает вопрос маков и защиты от не желательного трафика и его ограничения, то есть нужно ограничить скорость уже на порту коммутатора, куда подключен абонент, ограничить скорость внутри MPLS сети для этого абонента, ограничить скорость на коммутаторе второй точки абонента и т.п. То есть приходится вносить настройки на большое количество устройств. И представьте, что абонентов много, устройств много - это большая работа, а поиск неисправностей на такой сети очень сложен, т.к. оборудование не поддерживает никаких функций диагностики, кроме пинга и снятия дампа трафика. Даже посмотреть загрузку интерфейсов в реальном времени нельзя.

 

И получается так, что одни операторы продолжают делать все на L2, а вторые, более продвинутые, ставят в центре циску или иное оборудование с MPLS, на распределение тоже аналоги от именитых производителей, а на раздачу MPLS ставит микротик, потому что у него самые дешевые и малопортовые устройства в этом сегменте. И если посмотрите даже на крупных операторов большой тройки, ростелеком и других магистральных операторов, они везде используют MPLS на транспорте, минимизируя размеры L2 сегментов. И во многих местах для подключения оконечных абонентов (например на БС, или магистральном узле) используют микротики, что бы вытащить данные из MPLS сети и выдать абоненту, не устанавливая дополнительные дорогие коммутаторы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В общем тоже понадобился L3 коммутатор. Нужны современные гигабитные циски на замену стека из 3750.

 

Нужно чтобы умели VSS, портов 32-48 на каждой (в данный момент занято по 22 порта), адекватный diffserv QoS, медные гигабитные порты. Ориентир на 45 серию...но вот 4948 похоже VSS не умеет, что сильно огорчает. Коммутаторы нужны в ядро ентерпрайз сети, никаких запредельных требований по хотелкам - десяток вланов, ацл, dhcp и тд.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так возьмите на тест, да посмотрите. Их спокойно дают.

BDCOM 3756 я у НАГа именно и брал сначала на тест. Неделю писался от восторгов какая это чудо-железяка, как она умеет все что мне нужно, как здорово работает и мало стОит. Купил полностью довольный результатами теста. А когда поставили его на агрегацию в живую сеть, получили регулярное раз в месяц рассыпание порт-ченнела, причем что на старой прошивке, то и на последней.

Невозможно на тесте выявить ВСЕ косяки софта. А тест на пару месяцев никто не даст. И как Вы себе представляете тест свича в ядре сети? Взять неизвестный науке свич, воткнуть его в ядро, и тестить "на кошечках" - 10К абонентах? "Кошечки" в случае чего могут не оценить ботанской тяги к экспериментам над ними, сегодня на рынке провайдинга есть из кого выбирать как бы...

Изменено пользователем nemo_lynx

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Так возьмите на тест, да посмотрите. Их спокойно дают.

BDCOM 3756 я у НАГа именно и брал сначала на тест. Неделю писался от восторгов какая это чудо-железяка, как она умеет все что мне нужно, как здорово работает и мало стОит. Купил полностью довольный результатами теста. А когда поставили его на агрегацию в живую сеть, получили регулярное раз в месяц рассыпание порт-ченнела, причем что на старой прошивке, то и на последней.

Невозможно на тесте выявить ВСЕ косяки софта. А тест на пару месяцев никто не даст. И как Вы себе представляете тест свича в ядре сети? Взять неизвестный науке свич, воткнуть его в ядро, и тестить "на кошечках" - 10К абонентах? "Кошечки" в случае чего могут не оценить ботанской тяги к экспериментам над ними, сегодня на рынке провайдинга есть из кого выбирать как бы...

В свое время НАГ дали нам на 4 месяца Extreme X460-24x и Extreme X670-48x. Этого времени хватило изучить документацию, перенести конфигурацию с Cisco 3550 и поставить на крупный узел агрегации. Только после этого мы решились купить оборудование на всю сеть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У экстримов, как и у цисок, джунов и т.п. брэндов есть ГОДЫ успешных продаж, сильнейшие команды софт-кодеров, тысячи клиентов по всему миру. Итог - вагон и маленькая тележка success-strory of enterprise. А чем может завлечь на новую линейку железа величайший бренд SNR? Пламенными заверениями менеджера по продажам "мамой клянусь, всё будет в порядке, пепелац - весчь!"? Это при том, что и железо и софт китайские, а техсаппорт - аж целых 2 студента-инженегра, которые при малейшем трабле пишут через гугло-переводчик китайцам и месяцами ждут от них ответа? Не, спасибо за доверие, но я не готов стать почетным летчиком-испытателем пепелаца, я свой адреналин сжигаю несколько иными способами. Хватит с меня длинка, наиспытывался для них.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В свое время НАГ дали нам на 4 месяца Extreme X460-24x и Extreme X670-48x.

Кстати, сделайте доброе дело плиз! Раз у Вас есть в работе сии замечательные свичи, проделайте на каждом из них следующее:

1. Вводите: show iparp

2. При первом же предложении прервать вывод или продолжить, прерывайте вывод. Вам нарисуются итоговые счетчики.

3. Посмотрите значение "Max ARP entries".

Сообщите мне в личку, если сюда в топик не хотите.

Буду благодарен!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Посмотрите значение "Max ARP entries".

Лучше открыть любой release notes и посмотреть h/w limits.

На старых платформах лимит в среднем 8к арп записей, на новых G2 все шикарно

При этом параметр max arp можно крутить туда-сюда, если позволяют h/w ресурсы (чтоб в проц все не уползло).

 

IPv4 ARP entries in hardware with minimum LPM routes—maximum recommended number of IPv4 ARP entries in hardware, with minimum LPM routes present.

Summit X670, X480 (40G4X) 8,000

...

Summit X770, X670-G2 108,000

 

.12 # sh iparp  | i Max
Max ARP entries  :       47102             Max ARP pending entries   :        256
.13 # sh sw | i Type
System Type:      X460G2-48x-10G4

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если у вас много L2 интерфейсов, нужно использовать MPLS, вынеся терминацию вланов на MPLS коммутаторы, установленные на промежуточных узлах агрегации, тогда в центре уже никаких маков не будет, весь трафик абонентов пойдет внутри MPLS, а дальше с этими интерфейсами можно уже что угодно делать, и беспокоить будет лишь размер ARP таблицы на устройствах с железным ограничением на ее объемы. При этом, если вы еще не совсем сильно развились, появится легкая возможность сделать резервирование центральных железок, или поставить большой брас, который без лишних проблем сможет масштабировать любое количество L2 абонентских интерфейсов.

 

В любой крупной сети ничего по L2 в центр не идет.

 

Кстати, Mikrotik CCR1072 отлично подходит для этой задачи.

Да! Да! Да! Я именно так и делаю - строю домосети fttb исключительно на мплс. И только на микротиках! И обязательно с множеством промежуточных узлов агрегации! Более того, у меня каждый узел агрегации продублирован и обеспечен категорией 2 электропитания, и система агрегации четырехуровневая, и кольца везде, и от каждого абонента из квартир идут по 2 независимых кабеля - на агрегаторы на разных домах, запитанные от разных ТП. Все строго по Вашему учебнику. И в месяц покупаю не менее тысячи коробочек микротиков, потому что каждому абоненту в квартиру приходится ставить по 2 микротика (VRRP ведь необходим).

Так что не волнуйтесь, с продажами микротиков все будет у Вас в порядке.

А про Л3-молотилку на 16К arp я тут тему поднял ради чисто академического интереса - это мой сын курсовик пишет. Там у него препод дебил, дурацкие вводные дает детям. Отсталый человек, старый пердун, про мплс и микротики не слышал ничего.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Посмотрите значение "Max ARP entries".

Лучше открыть любой release notes и посмотреть h/w limits.

На старых платформах лимит в среднем 8к арп записей, на новых G2 все шикарно

При этом параметр max arp можно крутить туда-сюда, если позволяют h/w ресурсы (чтоб в проц все не уползло).

 

IPv4 ARP entries in hardware with minimum LPM routes—maximum recommended number of IPv4 ARP entries in hardware, with minimum LPM routes present.

Summit X670, X480 (40G4X) 8,000

...

Summit X770, X670-G2 108,000

 

.12 # sh iparp  | i Max
Max ARP entries  :       47102             Max ARP pending entries   :        256
.13 # sh sw | i Type
System Type:      X460G2-48x-10G4

К сожелениею, экстрим в своих доках приводит только параметры МАС и LPM. Про ARP вообще не упоминается. Но LPM routes это ни разу не тоже самое, что Max ARP entries. У экстрима x450, к примеру, LPM routes = 16K, а Max ARP entries = 8K. Про x480 я вообще молчу - там при 512K LPM, ARP всё те же самые 8К.

G2 - согласен, там с ARP то что надо, кроме ценника! Хочется как-то скромнее :) . Сейчас у меня пашут 2 экстрима 450. Второй пришлось добавить, когда у первого полезла в логах ругань, что таблица ARP переполняется. Но в стойке тупо нет места, нужен свич на 1 юнит, с таблицей ARP более 10К.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Rack-space driven-networks это сильно :D

Итс раша, бэйби! :)

На самом деле все банально - не ставить же из-за одного свича новую стойку? Сейчас на старой стойке доп.свич лежит на крыше - тоже не айс. В самой стойке реально нет места. Купить новый свич и продать два старых - проще всего, поэтому почему бы и нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Serejka (Сегодня, 11:28) писал:

зачем придумывать что-то новое, если уже есть набор дефектов на микротиках версии 6.х

Микротик например научили vrf? ведь нет.

 

А зачем оно в сети оператора? У него что, нет денег поставить еще один маршрутизатор и нужно обязательно нагородить 10 виртуальных на одной железке?

В смысле, надо Микротики ставить в роли P роутера, типа как Juniper PTX (которые IPoDWDM)? На указанных Джуниперах всего 32к префиксов в FIB, в этом плане CCR намного круче.

 

Про X670:

# sh iparp | i "Max ARP"
Max ARP entries  :        8192             Max ARP pending entries   :        256
# sh switch | i Type
System Type:      X670-48x

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

pe1-se35.1 # sh iparp 0.0.0.0
VR            Destination      Mac                Age  Static  VLAN          VID   Port

Dynamic Entries  :        7603             Static Entries            :          1
Pending Entries  :         227
In Request       :  3607060683             In Response               :  754893120
Out Request      :  12106248786             Out Response              : 3169018778
Failed Requests  :  1905559827
Proxy Answered   :  2955820916
Rx Error         :         795             Dup IP Addr               :     10.90.90.80
Rejected Count   :   354866674             Rejected IP               :    178.248.3.48
Rejected Port    :          34             Rejected I/F              : vlan12

Max ARP entries  :       16000             Max ARP pending entries   :        512
ARP address check:    Enabled              ARP refresh               :    Enabled
Timeout          :           5 minutes     ARP Sender-Mac Learning   :   Disabled
Locktime         :        1000 milliseconds
Retransmit Time  :        1000 milliseconds
Reachable Time   :      225000 milliseconds (Auto)
Fast Convergence :         Off 

pe1-se35.5 # show iproute reserved-entries statistics 
                     |-----In HW Route Table-----|   |-------In HW L3 Hash Table------|
                      # Used Routes   # IPv4 Hosts   IPv4   IPv4  IPv6    IPv4    IPv6
Slot  Type              IPv4   IPv6    Local Remote   Local  Rem.  Local   MCast   MCast
----  --------------- ------- ------  ------ ------   -----  ----- -----  ------  ------
1     X460-24x           3045      0      48      0    7555      2     0      62       0

Theoretical maximum for each resource type:
X440                       32     16      64     64     509    512   256 *   256 *   128
E4G-200                 12256   6128    8189  12288    8189   8192  4096 *  4096 *  2048
X460, E4G-400           12256   6128   12288  12288   16381  16384  8192 *  6000 *  3000
X460G2                  12256   6128   12288  12288   40958  49152 24576 * 24576 * 12288
X480(40G4X)             16352   8176    8189  16384    8189   8192  4096 *  4096 *  2048
X670-48x, X670V-48x     16352   8176    8189  16384    8189   8192  4096 *  4096 *  2048
X670V-48t               16352   8176   16381  16384   16381  16384  8192 *  6000 *  3000
X450G2                  16352   8176   16381  16384   22526  28672 14336 * 14336 *  7168
X770, X670G2            16352   8176   16381  16384   98302 147456 49149 * 73728 * 36864
X480                   524256   8192   16381  40960   16381  16384  8192 *  6000 *  3000

Flags: (!) Indicates all reserved route entries in use.
      (d) Indicates only direct IPv4 routes are installed.
      (>) Some IPv6 routes with mask > 64 bits are installed and do not use
          entries in the internal HW Route Table.
      (R) IPv6 hosts in external HW Route Table.
      (*) Assumes IP Multicast compression is on.
      (M) IPMC entries stored in L2 MAC Table when lookup-key is 'mac-vlan'.


System UpTime:    304 days 2 hours 1 minute 31 seconds

 

версия 16.1.3.6-patch1-2. на ветке 15.3 была проблема с TCAM.

 

Кстати, Max ARP entries - это софтовое ограничение. Просто по умолчанию оно почему-то выставлено меньше аппаратного.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну вот! То, что доктор прописал. Осталось узнать ценник счастья.

Комрад dmvy, как конкретно называется железяка (полное название со всеми буковками) и какая лицензия стоит? Я так понимаю, если мне не требуется bgp/ospf/mpls и мультикаст, то мне достаточно будет advanced edge (или даже просто edge?) чтобы роутить 200 вланов (на каждом SVI)?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Невозможно на тесте выявить ВСЕ косяки софта. А тест на пару месяцев никто не даст. И как Вы себе представляете тест свича в ядре сети? Взять неизвестный науке свич, воткнуть его в ядро, и тестить "на кошечках" - 10К абонентах? "Кошечки" в случае чего могут не оценить ботанской тяги к экспериментам над ними, сегодня на рынке провайдинга есть из кого выбирать как бы...

 

Тогда не берите на тест. Берите циску 4948e, на l3 в 1u будет самое адекватное решение за небольшой ценник. Экстрим, я бы лично на l3 не тащил, впрочем как и snr. Разве, что обстоятельства заставят.

(предрекая следующий вопрос; а вот уже циску возьмите у нага тоже на тест, посмотрите сколько там арп забить можно синтетическими тестами)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Циска 4948e - заманчиво. Ее купить ни разу не страшно и не дорого. Там требуется какие-то лицензии иметь? Или оно работает "из коробки"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Циска 4948e - заманчиво. Ее купить ни разу не страшно и не дорого. Там требуется какие-то лицензии иметь? Или оно работает "из коробки"?

 

Можно лить что угодно. Вам может подойти даже и без "e", но c "e" лучше, ибо 4 SFP+.

Из минусов - длинная, жрёт почти 200 Ватт и шумит соответственно (кулеры 1U). Но это меньше, и гораздо тише, чем 4900M.

Есть нюансы с private vlan trunk (у меня так и не получилось), но private vlan host работает сносно (хотя есть проблемы с "залипанием" arp).

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.