Jump to content

Проблема с E1G42ET и SR1600UR

Hawk128
 Share

Recommended Posts

Hawk128

Hawk128

Posted
Posted

Вообщем есть сервер, всем хорош, но пришло время встроенную двухпортовую карту (82575) расширить.

Решил купить для этого E1G42ET (82576). Купил, но вызвало подозрение отсутствие радиатора. Дырки в плате для крепления онного есть, а радиатора нет. Ну да ладно, погонял на тестовом Пк, вроде работает, но нагрузку дать нечем, все же не реальные условия.

Воткнул ее в сервер SR1600UR. Увиделась без проблем, операционка (FreeBSD 8.1) так же скушала и прекрасно увидила igb2, igb3.

Начал поднимать интерфейсы, как только не крутил, поднимаются, кое как что-то передается, но неустойчиво, пинги то пропадут, по подвиснут, zebra маршруты (full-view) применяет с жуткими тормозами. Обчно за 1-2 мин справляется, тут и час и два может уйти. Попробовал MPD5.5 поднять через эту карту - ни в какую. Даже установить связь не получается, подвисает и по таймауту отваливается, даже до пароля не может дойти (но сервак видит, т.е. начинает устанавливать соединение).

Пробовал и в lagg загонять, тоже самое. Вообщем не пойму в чем дело, уже думаю, м.б. карта кривая?

Пробовал и выключать lro, tso и прочи фичи.

И вот так прописывал:

dev.igb.2.rx_processing_limit=2048

dev.igb.3.rx_processing_limit=2048

Ничего не помогает. И идет же какой-то трафик, не просто тупо не работает и все. Что за хрень?

При этом втроенная любые из перечисленных действи воспринимает нормально, и через нее все работает прекрасно...

 

Может кто заодно поскажет как во фре посмотреть с какой скоростью работает pci-e конкретный? (х1, х2, х4, х8???).

 

Ну и что мне вообще делать то?

Hawk128

Hawk128

Posted
  • Author
Posted

Как посмотреть скорость нашел. Вот:

 

igb0@pci0:1:0:0:        class=0x020000 card=0x34de8086 chip=0x10a78086 rev=0x02 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2520000, size 131072, enabled
    bar   [18] = type I/O Port, range 32, base 0x2020, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb2544000, size 16384, enabled
    cap 01[40] = powerspec 2  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit 
    cap 11[60] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(256) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001517ffffb0bdcd
igb1@pci0:1:0:1:        class=0x020000 card=0x34de8086 chip=0x10a78086 rev=0x02 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2500000, size 131072, enabled
    bar   [18] = type I/O Port, range 32, base 0x2000, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb2540000, size 16384, enabled
    cap 01[40] = powerspec 2  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit 
    cap 11[60] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(256) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001517ffffb0bdcd
igb2@pci0:2:0:0:        class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2420000, size 131072, enabled
    bar   [14] = type Memory, range 32, base 0xb2000000, size 4194304, enabled
    bar   [18] = type I/O Port, range 32, base 0x1020, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb24c4000, size 16384, enabled
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks 
    cap 11[70] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001b21ffff83906e
ecap 000e[150] = unknown 1
ecap 0010[160] = unknown 1
igb3@pci0:2:0:1:        class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    bar   [10] = type Memory, range 32, base 0xb2400000, size 131072, enabled
    bar   [14] = type Memory, range 32, base 0xb1c00000, size 4194304, enabled
    bar   [18] = type I/O Port, range 32, base 0x1000, size 32, enabled
    bar   [1c] = type Memory, range 32, base 0xb24c0000, size 16384, enabled
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks 
    cap 11[70] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) link x4(x4)
ecap 0001[100] = AER 1 0 fatal 0 non-fatal 1 corrected
ecap 0003[140] = Serial 1 001b21ffff83906e
ecap 000e[150] = unknown 1
ecap 0010[160] = unknown 1

 

igb0, igb1 - встроенная

igb2,igb3 - вставленная.

 

По основному вопросу есть идеи?

Hawk128

Hawk128

Posted
  • Author
Posted (edited)

Пробовал и там.

На 82575 не отключаю ничего - работает прекрасно.

В 8.1 lro вообще похоже отключается в ifconfig.

Edited by Hawk128
Slad

Slad

Posted
Posted (edited)

стоят такие в серваке у меня:

igb0@pci0:2:0:0:        class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    cap 01[40] = powerspec 3  supports D0 D3  current D0
    cap 05[50] = MSI supports 1 message, 64 bit, vector masks 
    cap 11[70] = MSI-X supports 10 messages in map 0x1c enabled
    cap 10[a0] = PCI-Express 2 endpoint max data 256(512) link x4(x4)

grep igb loader.conf
if_igb_load="YES"
hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.lro.enable=0
hw.igb.num_queues=0

7.3 стоит, дрова 1.4.1 версия.

Edited by Slad
Slad

Slad

Posted
Posted

с lro не работала нормально, потери и прочие тормоза. прописал в лоадере и после ребута все залетало.

input (Total) output

packets errs bytes packets errs bytes colls

1.6M 0 1.2G 1.6M 0 1.2G 0

1.6M 0 1.2G 1.6M 0 1.2G 0

1.6M 0 1.2G 1.6M 0 1.2G 0

типа такого вот сейчас.

Hawk128

Hawk128

Posted
  • Author
Posted

Воткнул карту в другой ПК. Нормально завелась, без тюнинга, прекрасно работает.

 

Что за косяк? Может что-то не могут поделить с встроенной картой? Были у кого-нибудь такие конфигурации?

Hawk128

Hawk128

Posted
  • Author
Posted

Народ. Не бросайте. Радиоторы у всех на этих картах стоят? Или без радиаторов тоже есть экземпляры?

 

В МБ S5520 кто-нибудь эту плату юзал? Интерисует под FreeBSD, но и другие операционки тоже отзовитесь!

Abram

Abram

Posted
Posted

У меня таких 3 штуки. Все три - без радиатора.

Где-то уже это обговаривалось. Насколько я помню, радиатор для 82576 на 2 порта не нужен. Вот на 4 - другое дело.

Supermicro карточки с 82576 тоже без радиатора идут.

Hawk128

Hawk128

Posted
  • Author
Posted

Понятно. Значит радиатор ни причем.

 

Пробовал настраивать и без внутренне, тоже криво. Там вообще вся сетевая часть системы замирает как-то. Маршруты (2 Full-view) прописываются кусками с тормозами между ними.

 

Может у кого-то стоит такая карта в s5520?

Abram

Abram

Posted
Posted

Чисто поржать - запустите на машине Linux и погоняйте тесты. У меня две штуки на Linux - без проблем, одна на FreeBSD - там вечные проблемы с драйверами.

Hawk128

Hawk128

Posted
  • Author
Posted

Попробую, но позже. Сервак этот в работе уже, на другом буду пробовать.

 

Линух проще к дровам относится, но я к MPD привык...

Hawk128

Hawk128

Posted
  • Author
Posted

У Вас есть такое сочетание?

Тюнниг делали?

У меня так ни в какую и не поднялось, пришлось на встроенные вернуться, а они не резиновые.

  • 1 year later...
zlolotus

zlolotus

Posted
Posted

У Вас есть такое сочетание?

Тюнниг делали?

У меня так ни в какую и не поднялось, пришлось на встроенные вернуться, а они не резиновые.

 

а пробовали значение nmbclusters увеличить до 204800 ?

Hawk128

Hawk128

Posted
  • Author
Posted

Тогда не пробовал, но есть подозрения, что в этом и было дело. Уже год прошел, давно уже увеличил и система работает на гораздо большей нагрузке, но на 10G уже...

zlolotus

zlolotus

Posted
Posted

Тогда не пробовал, но есть подозрения, что в этом и было дело. Уже год прошел, давно уже увеличил и система работает на гораздо большей нагрузке, но на 10G уже...

 

та же платформа? Intel 1U SR1600URR

Hawk128

Hawk128

Posted
  • Author
Posted

Да. Карты 598-е, CX4. Оба вида пробовал (обчная и под этот корпус/мать). Полет нормальный, проблем никаких.

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to topic listing
×
×
  • Create New...
На сайте используются файлы cookie и сервисы аналитики для корректной работы форума и улучшения качества обслуживания. Продолжая использовать сайт, вы соглашаетесь с использованием файлов cookie и с Политикой конфиденциальности.