[optimous]

Приветствую всех.

 

Коллеги, подскажите, кто какие сабжевые использует 10Гбитные сетевки от Интела? x710 поновее будет, очередей поболее, но встречались, вроде как, не очень хорошие отзывы о ней, может реально есть какие-то геморные юзкейсы с этими картами?

Кто какие патчи с точки зрения безпроблемности использует - твинакс или оптика?

У нас надо завязать линк к DGS-3420 , серверок, на котором надо установить 10Гб сетевку, сейчас жует 3-3,2 Гб (пока) , карточки используем сейчас i350-t4 + вшитая 2х портовка.

[passer]

10 минут назад, optimous сказал:

твинакс или оптика

Оптика. На DA-кабелях иногда бывают глюки неприятные, да и дешевле и гибче (5,10,20м не  проблема а нюанс заказа у поставщика) вариант с оптическими модулями.

 

14 минут назад, optimous сказал:

очередей поболее

И это так ценно в сервере с 4-8-16 ядрами? Не думаю, ибо возможностей 599 сетевух в плане количества очередей редко когда кому не хватает.

[s.lobanov]

На x710 гемор с анлоком unsupported sfp+ (по факту надо шить sfp+), гемор с версиями прошивок и драйверов (вам придется возиться либо с прошивкой, либо с драйвером, либо с обоими), да и в целом у неё бо́льшая часть фич посвящены виртуализации. Если вам чисто под 10g брас/роутинг/nat, то однозначно x520. Единственный минус что на 82599 очень сложно купить карту на 4x10g

[jffulcrum]

6 часов назад, optimous сказал:

серверок, на котором надо установить 10Гб сетевку, сейчас жует 3-3,2 Гб (пока) , карточки используем сейчас i350-t4 + вшитая 2х портовка.

Если сервачок старенький, без PCI-E 3.0, то с 710 лучше не связываться, сталкивался, что не заводилась в HPE G7 (с 2.0)б, переставили в G8 c 3.0 - работает.

[crank]

Используем у себя X520-DA2. Такие карточки стоят в примерно 6-10 серверах. Всё работает и проблем никаких нет. В основном все подключения с помощью DAC. Про x710 пишут, что они часто не заводятся с модулями отличными от Intel. Там же пишут, что можно решить перепрошивкой.

[optimous]

9 часов назад, crank сказал:

В основном все подключения с помощью DAC

Интересует вопрос совместимости, какой твинакс используете, от Интела или не родной? и с каким свитчом линкуете?

[crank]

20 минут назад, optimous сказал:

Интересует вопрос совместимости, какой твинакс используете, от Интела или не родной? и с каким свитчом линкуете?

Из свичей мы используем Extreme X670 и Nexus 3064. Кабели покупали у НАГа, так что это не интел, а китай.

[vurd]

А в чем смысл использовать дагов вместо модулей мм, которые и расстояние могут дать, стоят если не дешевле, то так же, да еще и не делают голову?

[optimous]

Ну, расстояние здесь обычно не играет большой роли, в условиях небольшого оператора все находится радом, максимум в соседних стойках. А по цене решение все-в-одном вроде как должно быть дешевле, не?

[vurd]

Модуль SFP+ оптический, дальность до 300м (5dB), 850нм - 1395 * 2 = 2790

Патчкорд оптический LC/UPC MM Duplex 3 метра - 219

Итого 3009

 

Модуль SFP+ Direct Attached Cable (DAC), дальность до 3м - 2311

Итого 2311

 

 

Ок, согласен, вы победили. Мучайтесь за 700 рублей.

 

[crank]

2 минуты назад, vurd сказал:

Ок, согласен, вы победили. Мучайтесь за 700 рублей.

Когда всё в пределах одной стойки, то по удобству получается не хуже. Плюс у нас как-то сложилось использовать DAC кабели, т.к. для прочих соединений мы решили в своё время использовать везде SM. Сейчас планируем всю коммутацию оптики вынести в кроссовую. В каждой стойке появится крос. Вот в этом случае как раз единственным решением будет использование ММ модулей для межстоечных соединений. Использовать SM для этого будет жирновато. Так что в ваших словах тоже есть смысл.

[alibek]

В стойках или межстоечных соединениях я бы использовал DAC не из соображений экономии, а по организационным причинам.

Во-первых тип патчкорда сразу виден. Плюс бирки на таком кабеле удобнее закреплять.

Во-вторых, не перепутаешь модули и можно не думать про деградацию лазера, перегрев и т.п.

В-третьих, DAC покрепче будут, их случайно не повредишь.

[pppoetest]

19 минут назад, alibek сказал:

В стойках или межстоечных соединениях я бы использовал DAC

У нас было два эксперимента с DAC'ами, оба раза неудачно, возможно руки из ж..., но все равно к оным отношусь настороженно.

[passer]

4 часа назад, crank сказал:

Когда всё в пределах одной стойки, то по удобству получается не хуже.

Угу, только вот год назад наблюдал падения линка (не в ЧНН, в логе только падение и так почти каддый день) как раз в пределах стойки между cisco 4948e и extreme x620 с da-кабелем. Воткнули sfp+ sr и жили спокойно дальше пока патч не сломали при переносе оборудования (сильные программисты )

[optimous]

ок, значит все-таки х520 + оптика. Но насколько всеядна эта сетевка, хавает любые sfp+ или подавай родные?

[crank]

11 часов назад, pppoetest сказал:

У нас было два эксперимента с DAC'ами, оба раза неудачно

У нас проблемы были при подключении OLT к 10G свичу DAC'ом. Причем проблема подтверждалась не раз именно с этой OLT + DAC. Заменили на оптику и проблем больше не было.

 

20 минут назад, optimous сказал:

ок, значит все-таки х520 + оптика. Но насколько всеядна эта сетевка, хавает любые sfp+ или подавай родные?

Вроде пишут, что эта сетевка все модули принимает как раз в отличии от x710

[vurd]

27 минут назад, optimous сказал:

ок, значит все-таки х520 + оптика. Но насколько всеядна эта сетевка, хавает любые sfp+ или подавай родные?

Не было проблем ни разу. В модпроб треба ансапортед флаг и всё. Единственный нюанс, в новых версиях драйверов нужно указывать массивом, а не интом. И лучше таки первым делом апнуть драйвера до последних.

[agent2011]

у нас на одном из серверов стоит x520, изначально с гигабитными модулями стояла, перешли на SFP+ модули, сервер с установленным линуксом не захотел их принимать, так как модули не оригинальные, естественно запустили с командой ixgbe.allow_unsupported_sfp=1 и он стал их принимать, но на одном из порту мы раз в 20-30 минут хаотично фиксировали линк ап и линк давн. Всякие ковыряние не смогли преодолеть эту беду. DAC прошитый под Интел решил эту проблему. Вопрос только, почему гигабитные без проблем принял, они так же были не оригинальные, от SNR.

[pingz]

@agent2011 если наг просить заранее прошить модули под ваше оборудование. То проблем не будет.

[agent2011]

12 часов назад, pingz сказал:

@agent2011 если наг просить заранее прошить модули под ваше оборудование. То проблем не будет.

Это мы знали, может они такие и были уже прошитые, но на момент покупки модулей, у нас еще такой карты не было :-)

[pingz]

@agent2011 у меня есть модули наг, которые на juniper не заводятся, но прекрасно работают на cisco. При заказе заранее сообщаем куда будем устанавливать.

[taf_321]

В 04.05.2020 в 16:28, alibek сказал:

В-третьих, DAC покрепче будут, их случайно не повредишь.

У DAC-кабелей есть еще одна неожиданная фича - эпическая толщина кабеля. В свое время тоже понатыкали его во все локальные (в пределах пары стоек) 10G-линки. Перед 10G коммутатором набиралась такая внушительная колбаса. Когда все сменили на оптику по первости как-то даже непривычно пусто все выглядеть стало. Там где раньше еле умещалось двадцать DAC, можно было свободно разместить в три раза больше оптических патчкордов.

[msdt]

49 минут назад, taf_321 сказал:

У DAC-кабелей есть еще одна неожиданная фича - эпическая толщина кабеля.

DAC-кабели длиной в метр-два не намного толще оптических паткордов. Вот если более длинные - то да, там кабель чуть ли не в сантиметр диаметром.

[edo]

 

В 03.05.2020 в 17:56, passer сказал:

На DA-кабелях иногда бывают глюки неприятные

у меня никаких проблем с DAC'ами нет, есть и на 10G, и на 25G. просто работают.

 

да, валяется DAC на 100G, вот тот действительно толстый )

[edo]

Меня смущает статистика на оптических портах, вот, например, оптика внутри помещения, метров 100, наверное:

  Input packets statistics:
    290610896364 input packets, 287476206149542 bytes, 0 no buffer
    290604045423 unicast packets, 2414768 multicast packets, 4435522 broadcast packets
    651 input errors, 0 CRC, 0 frame alignment, 0 overrun, 0 ignored,
    651 abort, 0 length error, 0 undersize 0 jabber, 0 fragments , 0 pause frame

вот тот же линк с другой стороны:

  Input packets statistics:
    388862388971 input packets, 305402179841834 bytes, 0 no buffer
    388465519346 unicast packets, 112262387 multicast packets, 284550079 broadcast packets
    96 input errors, 92 CRC, 0 frame alignment, 0 overrun, 0 ignored,
    0 abort, 0 length error, 0 undersize 0 jabber, 3 fragments , 0 pause frame

на тех же свитчах на DAC'ах ошибок по нулям.

 

понятное дело, что доля ошибок ничтожна, но ведь неаккуратно как-то )))