Jump to content

Странная проблема с гигабитной сетевкой - скорость до 130Мбит

sirmax
 Share

Recommended Posts

sirmax

sirmax

Posted
Posted

Странная проблема, на сервре 2 встроенные сетевые карты, на каждой с 10-к вланов.

Нагрузка - не поднимается выше 130 мбит.

 

iperf показывает то же самое

Cистема - 32-битная 

Linux 2.6.23.9-ipset-esfq #2 SMP Mon Dec 17 14:57:49 EET 2007 i686 Intel(R) Xeon(R) CPU E5310 @ 1.60GHz GenuineIntel GNU/Linux

 

version:        7.6.15.4-NAPI
license:        GPL
description:    Intel(R) PRO/1000 Network Driver
author:         Intel Corporation, <linux.nics@intel.com>

 

 

Есть аналогинчный по железу сервер, но там 64 бита, и нет вланов - все ОК

 

ethtool никаких аномалий не показывает.

Результта измерений одинаковы как для eth0.XX так и для eth1.XX.

 

Подскажите куда копать.. (

 

 

6:00.0 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01)
        Subsystem: Super Micro Computer Inc Unknown device 1096
        Flags: bus master, fast devsel, latency 0, IRQ 217
        Memory at d8420000 (32-bit, non-prefetchable) [size=128K]
        Memory at d8400000 (32-bit, non-prefetchable) [size=128K]
        I/O ports at 2000 [size=32]
        [virtual] Expansion ROM at d8480000 [disabled] [size=64K]
        Capabilities: [c8] Power Management version 2
        Capabilities: [d0] Message Signalled Interrupts: Mask- 64bit+ Queue=0/0 Enable+
        Capabilities: [e0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting <?>
        Capabilities: [140] Device Serial Number 20-9a-35-ff-ff-48-30-00
        Kernel driver in use: e1000
        Kernel modules: e1000

06:00.1 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit Ethernet Controller (Copper) (rev 01)
        Subsystem: Super Micro Computer Inc Unknown device 1096
        Flags: bus master, fast devsel, latency 0, IRQ 216
        Memory at d8460000 (32-bit, non-prefetchable) [size=128K]
        Memory at d8440000 (32-bit, non-prefetchable) [size=128K]
        I/O ports at 2020 [size=32]
        [virtual] Expansion ROM at d8490000 [disabled] [size=64K]
        Capabilities: [c8] Power Management version 2
        Capabilities: [d0] Message Signalled Interrupts: Mask- 64bit+ Queue=0/0 Enable+
        Capabilities: [e0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting <?>
        Capabilities: [140] Device Serial Number 20-9a-35-ff-ff-48-30-00
        Kernel driver in use: e1000
        Kernel modules: e1000

 

sirmax

sirmax

Posted
  • Author
Posted
У меня было похожее пока не воткнул сетевуху на PCI-E
Насколько я могу судить, это сетевая карта на PCI-E, но она распаяна на плате?

или ошибаюсь?

 

Попробую обновить драйвер на e1000e, по результату отпишу.

Nafanya

Nafanya

Posted
Posted

больше смахивает на то, что pci-e интерфейс распаян на мамке в pci шину. Производители любят так делать на пользовательских матерях

sirmax

sirmax

Posted
  • Author
Posted

Это сервер supermicro

на другом таком же (но 64 бита и без вланов) - все ОК

Потому, грешить на железо смысла нет

 

Линк не 100 мбит, свитч - каталист 3550-12Т точно не может быть узким местом, другие сервера включенные в него выдают счестные 40-50 мбайт в секунду.

Ошибок нигде на интерфейсах нет

Stormi

Stormi

Posted
Posted (edited)
Драйвер e1000, сегодня попробую сменить на e1000e
У меня увеличило idle на всех ядрах (Core Quad) с 70% до 99%, зачастую 2 ядра стоят в 100% idle, load average не поднимается выше 0.2. Правда всего сотня VLAN и 70-80 мбит трафика через карточку, ппс не мерял (2-х портовая PCI-E, на 1-м порту тегированый на втором нет). Интересно как под высокой нагрузгой оно себя чувствовать будет.
а в чем между ними разница?
е1000 для PCI е1000е для PCI-Express, дальше не сравнивал ;)

 

Edited by Stormi
nuclearcat

nuclearcat

Posted
Posted

e1000 для PCI-Express категорически не рекомендуется, в свежих ядрах e1000 кастрирован в этом направлении, так как код там был больше тестовый, чем рабочий.

P.S. esfq не советую - он не очень стабилен.

Мартен

Мартен

Posted
Posted (edited)
e1000 для PCI-Express категорически не рекомендуется, в свежих ядрах e1000 кастрирован в этом направлении, так как код там был больше тестовый, чем рабочий.
от это спасибо, от это замечательно, что сказали. какую версию e1000e порекомендуете? ядро 2.6.18.

PS

Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) (PCIe)

Edited by Мартен
sirmax

sirmax

Posted
  • Author
Posted

Прочтите только ридми, там по поводу некоторых карточек были замечания.

 

Я сам попробую, буду через час с результатом

sirmax

sirmax

Posted
  • Author
Posted (edited)

обновил драйвер до

 

modinfo e1000e

version:        0.4.1.7-NAPI
license:        GPL
description:    Intel(R) PRO/1000 Network Driver
author:         Intel Corporation, <linux.nics@intel.com>
srcversion:     F0CB1A3989745F06FB55BC5

 

Скорость возрасла до 350Мбит

Edited by sirmax
sirmax

sirmax

Posted
  • Author
Posted
Но "потолок" еще есть?
Не тестил пока основательно, посмотрю день как будет работать, не вылезут ли какие-либо проблемы.

Собственно, сервер вышел на уровень с другими, которые тоже выдают примерно такие же результаты, + - 10%

Мартен

Мартен

Posted
Posted

debian etch, зараза, никак не хочет грузить e1000e автоматом, вместо него подгружает e1000. если сделать rmmod e1000 && modprobe e1000e, все работает, но хочется чтоб красиво было.

перелопатил пол-инета, везде говорится про /etc/modprobe.d/ и blacklist.

прописывал, update-modules делал, не помогает. все равно грузит e1000.

уже близок к тому, чтоб просто удалить модуль e1000 с диска, но гордость не позволяет :)

что я делаю не так?

 

Stormi

Stormi

Posted
Posted
что я делаю не так?
У меня было так на Федоре, пока не обновил ядро до 2.6.25.14-69.fc8 - потом просто указал в modprobe.conf грузить е1000е, ядро дефолтное из поставки. Я думаю зависит от версии ядра или как минимум от параметров сборки, есть предположение, что, если е1000 вкомпилен в ядро а е1000е лежит модулем получится примерно Ваш случай, я могу ошибаться - не гуру и не проверял.

 

Не тестил пока основательно, посмотрю день как будет работать, не вылезут ли какие-либо проблемы.
Если есть возможность выяснить реальный "потолок" решения буду очень благодарен. У меня нет возможности сгенирировать больше пары сотен мбит трафика ;)

 

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to topic listing
×
×
  • Create New...
На сайте используются файлы cookie и сервисы аналитики для корректной работы форума и улучшения качества обслуживания. Продолжая использовать сайт, вы соглашаетесь с использованием файлов cookie и с Политикой конфиденциальности.