Jump to content
Калькуляторы

Проблема с E1G42ET и SR1600UR Что-то не так, но совсем плохо.

Вообщем есть сервер, всем хорош, но пришло время встроенную двухпортовую карту (82575) расширить.

Решил купить для этого E1G42ET (82576). Купил, но вызвало подозрение отсутствие радиатора. Дырки в плате для крепления онного есть, а радиатора нет. Ну да ладно, погонял на тестовом Пк, вроде работает, но нагрузку дать нечем, все же не реальные условия.

Воткнул ее в сервер SR1600UR. Увиделась без проблем, операционка (FreeBSD 8.1) так же скушала и прекрасно увидила igb2, igb3.

Начал поднимать интерфейсы, как только не крутил, поднимаются, кое как что-то передается, но неустойчиво, пинги то пропадут, по подвиснут, zebra маршруты (full-view) применяет с жуткими тормозами. Обчно за 1-2 мин справляется, тут и час и два может уйти. Попробовал MPD5.5 поднять через эту карту - ни в какую. Даже установить связь не получается, подвисает и по таймауту отваливается, даже до пароля не может дойти (но сервак видит, т.е. начинает устанавливать соединение).

Пробовал и в lagg загонять, тоже самое. Вообщем не пойму в чем дело, уже думаю, м.б. карта кривая?

Пробовал и выключать lro, tso и прочи фичи.

И вот так прописывал:

dev.igb.2.rx_processing_limit=2048

dev.igb.3.rx_processing_limit=2048

Ничего не помогает. И идет же какой-то трафик, не просто тупо не работает и все. Что за хрень?

При этом втроенная любые из перечисленных действи воспринимает нормально, и через нее все работает прекрасно...

 

Может кто заодно поскажет как во фре посмотреть с какой скоростью работает pci-e конкретный? (х1, х2, х4, х8???).

 

Ну и что мне вообще делать то?

Share this post


Link to post
Share on other sites

Как посмотреть скорость нашел. Вот:

 

igb0@pci0:1:0:0:        class=0x020000 card=0x34de8086 chip=0x10a78086 rev=0x02 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2520000, size 131072, enabled
    bar   [18] = type I/O Port, range 32, base 0x2020, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb2544000, size 16384, enabled
    cap 01[40] = powerspec 2  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit 
    cap 11[60] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(256) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001517ffffb0bdcd
igb1@pci0:1:0:1:        class=0x020000 card=0x34de8086 chip=0x10a78086 rev=0x02 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2500000, size 131072, enabled
    bar   [18] = type I/O Port, range 32, base 0x2000, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb2540000, size 16384, enabled
    cap 01[40] = powerspec 2  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit 
    cap 11[60] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(256) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001517ffffb0bdcd
igb2@pci0:2:0:0:        class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2420000, size 131072, enabled
    bar   [14] = type Memory, range 32, base 0xb2000000, size 4194304, enabled
    bar   [18] = type I/O Port, range 32, base 0x1020, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb24c4000, size 16384, enabled
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks 
    cap 11[70] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001b21ffff83906e
ecap 000e[150] = unknown 1
ecap 0010[160] = unknown 1
igb3@pci0:2:0:1:        class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2400000, size 131072, enabled
    bar   [14] = type Memory, range 32, base 0xb1c00000, size 4194304, enabled
    bar   [18] = type I/O Port, range 32, base 0x1000, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb24c0000, size 16384, enabled
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks 
    cap 11[70] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001b21ffff83906e
ecap 000e[150] = unknown 1
ecap 0010[160] = unknown 1

 

igb0, igb1 - встроенная

igb2,igb3 - вставленная.

 

По основному вопросу есть идеи?

Share this post


Link to post
Share on other sites

lro надо отключать через loader.conf и перегружаться.

 

Edited by Slad

Share this post


Link to post
Share on other sites

Пробовал и там.

На 82575 не отключаю ничего - работает прекрасно.

В 8.1 lro вообще похоже отключается в ifconfig.

Edited by Hawk128

Share this post


Link to post
Share on other sites

стоят такие в серваке у меня:

igb0@pci0:2:0:0:        class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks 
    cap 11[70] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) link x4(x4)

grep igb loader.conf
if_igb_load="YES"
hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.lro.enable=0
hw.igb.num_queues=0

7.3 стоит, дрова 1.4.1 версия.

Edited by Slad

Share this post


Link to post
Share on other sites

Без тюнинга работала? Или вообще никак?

Share this post


Link to post
Share on other sites

с lro не работала нормально, потери и прочие тормоза. прописал в лоадере и после ребута все залетало.

input (Total) output

packets errs bytes packets errs bytes colls

1.6M 0 1.2G 1.6M 0 1.2G 0

1.6M 0 1.2G 1.6M 0 1.2G 0

1.6M 0 1.2G 1.6M 0 1.2G 0

типа такого вот сейчас.

Share this post


Link to post
Share on other sites

Неплохо. В системе только эти 2 порта?

Share this post


Link to post
Share on other sites

Понятно. А насчет радиаторов что? Есть на чипах?

Share this post


Link to post
Share on other sites

Воткнул карту в другой ПК. Нормально завелась, без тюнинга, прекрасно работает.

 

Что за косяк? Может что-то не могут поделить с встроенной картой? Были у кого-нибудь такие конфигурации?

Share this post


Link to post
Share on other sites

Народ. Не бросайте. Радиоторы у всех на этих картах стоят? Или без радиаторов тоже есть экземпляры?

 

В МБ S5520 кто-нибудь эту плату юзал? Интерисует под FreeBSD, но и другие операционки тоже отзовитесь!

Share this post


Link to post
Share on other sites

у меня без радиатора

а если в Вашем случае оставить только одну плату, ту, которая igb2/3, она будет работать?

Share this post


Link to post
Share on other sites

У меня таких 3 штуки. Все три - без радиатора.

Где-то уже это обговаривалось. Насколько я помню, радиатор для 82576 на 2 порта не нужен. Вот на 4 - другое дело.

Supermicro карточки с 82576 тоже без радиатора идут.

Share this post


Link to post
Share on other sites

Понятно. Значит радиатор ни причем.

 

Пробовал настраивать и без внутренне, тоже криво. Там вообще вся сетевая часть системы замирает как-то. Маршруты (2 Full-view) прописываются кусками с тормозами между ними.

 

Может у кого-то стоит такая карта в s5520?

Share this post


Link to post
Share on other sites

Чисто поржать - запустите на машине Linux и погоняйте тесты. У меня две штуки на Linux - без проблем, одна на FreeBSD - там вечные проблемы с драйверами.

Share this post


Link to post
Share on other sites

Попробую, но позже. Сервак этот в работе уже, на другом буду пробовать.

 

Линух проще к дровам относится, но я к MPD привык...

Share this post


Link to post
Share on other sites

И все же подниму тему.

Неужели ни у кого нет такого сочетания железа и Фрибсд?

Share this post


Link to post
Share on other sites

 

У всех работает.

Share this post


Link to post
Share on other sites

У Вас есть такое сочетание?

Тюнниг делали?

У меня так ни в какую и не поднялось, пришлось на встроенные вернуться, а они не резиновые.

Share this post


Link to post
Share on other sites

У Вас есть такое сочетание?

Тюнниг делали?

У меня так ни в какую и не поднялось, пришлось на встроенные вернуться, а они не резиновые.

 

а пробовали значение nmbclusters увеличить до 204800 ?

Share this post


Link to post
Share on other sites

Тогда не пробовал, но есть подозрения, что в этом и было дело. Уже год прошел, давно уже увеличил и система работает на гораздо большей нагрузке, но на 10G уже...

Share this post


Link to post
Share on other sites

Тогда не пробовал, но есть подозрения, что в этом и было дело. Уже год прошел, давно уже увеличил и система работает на гораздо большей нагрузке, но на 10G уже...

 

та же платформа? Intel 1U SR1600URR

Share this post


Link to post
Share on other sites

Да. Карты 598-е, CX4. Оба вида пробовал (обчная и под этот корпус/мать). Полет нормальный, проблем никаких.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this