Выбор материнских плат для Border и PPTP

[hiller]

Встала необходимость модернизации Border и серверов доступа PPTP.

 

Планируется операционная система Linux 2.6.30.

На border будет использоваться zebra, tc, iptables, ipt_netflow, nat, vlan, трафик ~800 Мегабит.

На сервере доступа accel-pptpd, tc, iptables, ipt_netflow, ~1200 тунелей, трафик ~350 Мегабит.

 

Хотим поставить процессоры Intel Core2Quad 2.4ГГц.

 

Сейчас стоит вопрос в выборе материнской платы.

Хочется чтобы на матери были 2 встроенных гигабитных сетевушки с поддержкой NAPI и нескольких IRQ для RX и TX + встроенная видеокарта.

 

Не посоветуете, на какие железки стоит посмотреть?

Или мой подход неправильный в корне?

Как бы сделали вы? Желательно не очень дорого...

Edited September 22, 2009 by hiller

[hiller]

Marvell 88E1111-RCJ. Кто-нибудь знает, как этот NIC ведет себя в Linux?

Edited September 22, 2009 by hiller

[SmalleR]

Хотим поставить процессоры Intel Core2Quad 2.4ГГц.

"По новым данным разведки" многоядерность можно вычеркнуть из списка.

Лучше брать процессор с максимальным ГГц.

 

 

[DemYaN]

Marvell и встроенные сетевые в топку. Берите Intel, лучше E1G42ETBLK.

[nuclearcat]

Вычеркивать не надо многоядерность. Два ядра иногда неплохо...

Но два процессора ставить - уже перебор. Quad или Core i7 обычно хватает вполне на большинство задач.

[photon]

Хотим поставить процессоры Intel Core2Quad 2.4ГГц.

 

Сейчас стоит вопрос в выборе материнской платы.

Хочется чтобы на матери были 2 встроенных гигабитных сетевушки с поддержкой NAPI и нескольких IRQ для RX и TX + встроенная видеокарта.

Если бюджет позволяет, лучше с LGA1366 брать. Для LGA775 новых процессоров уже не будет. NAPI и offloading в моей практике хорошо работали в драйверах Intel и Broadcom. В серверных материнках редко найдешь другие сетевухи. Неплохой выбор плат есть здесь:

http://www.supermicro.com/products/motherboard/

http://www.tyan.com/product_board.aspx

Edited September 22, 2009 by photon

[SokolovS]

Однозначно брать родную Intel,овскую мать с ихнимиже гигабитками e1000 или e1000e.

Edited September 22, 2009 by SokolovS

[Giga-Byte]

посмотрите в строну intel s3200/s3210, ~7-9т.р. (в зависимости от региона)

[MagMike]

Marvell и встроенные сетевые в топку. Берите Intel, лучше E1G42ETBLK.

+1

при этом кол-во RX-TX прерываний будет пропорционально кол-ву процессоров (ядер). так что Quad лучше Duo.

 

посмотрите в строну intel s3200/s3210, ~7-9т.р. (в зависимости от региона)

ага, присмотритесь к платформе SR1530HSH (3 SATA hotswap-а) или SR1530SH (без хотсвопов, но зато дешевле). сервер с Q8200 @ 2.33GHz, 2 гигами памяти и 1 винтом выходит менее чем в $1к.

 

Но все равно сюда лучше поставить E1G42ETBLK (+7500р с райзером), т.к. интегрированные - плохо живут на больших нагрузках. особенно 82541GI, которая сама по себе считается десктопной, и подключена вроде как даже на PCI-шину.

[DemYaN]

82541GI - на PCI, да и 82566DM-2 не блещет

[hiller]

Хотим поставить процессоры Intel Core2Quad 2.4ГГц.

"По новым данным разведки" многоядерность можно вычеркнуть из списка.

Лучше брать процессор с максимальным ГГц.

Это что-за данные такие? Видимо я что-то упустил :(

[hiller]

Marvell и встроенные сетевые в топку. Берите Intel, лучше E1G42ETBLK.

+1

при этом кол-во RX-TX прерываний будет пропорционально кол-ву процессоров (ядер). так что Quad лучше Duo.

 

посмотрите в строну intel s3200/s3210, ~7-9т.р. (в зависимости от региона)

ага, присмотритесь к платформе SR1530HSH (3 SATA hotswap-а) или SR1530SH (без хотсвопов, но зато дешевле). сервер с Q8200 @ 2.33GHz, 2 гигами памяти и 1 винтом выходит менее чем в $1к.

 

Но все равно сюда лучше поставить E1G42ETBLK (+7500р с райзером), т.к. интегрированные - плохо живут на больших нагрузках. особенно 82541GI, которая сама по себе считается десктопной, и подключена вроде как даже на PCI-шину.

Да, действительно, начинаю серьезно рассматривать платформу Intel... У нас стоят несколько старых серверов на SR1320, но помнится ранее мы их покупали невероятно дорого, а SR1530SH приятно удивил своей низкой ценой...

 

Пока смотрел более простые, десктопные матери, несколько раз наталкивался на чипсеты RT8111DL, 82578DC. О них ничего сказать не можете? Как они с NAPI и IRQ?

Edited September 22, 2009 by hiller

[photon]

Да, действительно, начинаю серьезно рассматривать платформу Intel... У нас стоят несколько старых серверов на SR1320, но помнится ранее мы их покупали невероятно дорого, а SR1530SH приятно удивил своей низкой ценой...

 

Пока смотрел более простые, десктопные матери, несколько раз наталкивался на чипсеты RT8111DL, 82578DC. О них ничего сказать не можете? Как они с NAPI и IRQ?

RT8111DL -- это Realtek. 82578DC -- десктопный Intel на PCIe. Список чипов сетевух, сидящих на PCIe, можно узнать, если посмотреть на PCI IDs в исходниках драйвера e1000e: http://cateee.net/lkddb/web-lkddb/E1000E.html У Интела в целом хорошие серверы, но выбор невелик. У Supermicro конфигурации материнок намного разнообразнее. Edited September 23, 2009 by photon

[nuclearcat]

Держитесь подальше от Realtek любого посола. Это говнище годится с трудом для одиночных трансферов эндюзера.

[SmalleR]

Хотим поставить процессоры Intel Core2Quad 2.4ГГц.

"По новым данным разведки" многоядерность можно вычеркнуть из списка.

Лучше брать процессор с максимальным ГГц.

Это что-за данные такие? Видимо я что-то упустил :(

Несколько последних тем, в которых жалуются на отсутствие пропорциональной зависимости производительности систем от количества ядер ее обслуживающих.

[hiller]

Хотим поставить процессоры Intel Core2Quad 2.4ГГц.

"По новым данным разведки" многоядерность можно вычеркнуть из списка.

Лучше брать процессор с максимальным ГГц.

Это что-за данные такие? Видимо я что-то упустил :(

Несколько последних тем, в которых жалуются на отсутствие пропорциональной зависимости производительности систем от количества ядер ее обслуживающих.

Спасибо. Пойду почитаю. Хотя, ИМХО, ожидать пропорционального прироста производительности - глупость. SMP позволяет а) раскидать прерывания сетевух по ядрам/процессорам. б) выполнять ядерные ресурсоемкие процессы на одном ядре, а юзерспейс - на другом. Этого вполне достаточно лично для меня...

 

Держитесь подальше от Realtek любого посола. Это говнище годится с трудом для одиночных трансферов эндюзера.

Выходит выбора особо нет, надо ставить серверный Intel?

[Max P]

http://www.nix.ru/autocatalog/intel/net/In...Mbps_87764.html

[sfstudio]

Держитесь подальше от Realtek любого посола. Это говнище годится с трудом для одиночных трансферов эндюзера.

Последним вменяемым чипом от риалтэк был 8139, для своего времени конечно. Сейчас поддерживаю ЯдерногоКота обеими руками. Вменяемого гигабитного чипа они не родили это я вам как доктор. А что твориться с их новыми SoC это вообще отдельная песня, грустная такая...

[x86]

Позволю не согласиться - Realtek 8111B/C/D вполне нормальные чипы для задач не требующих топовой производительности.

При тестировании по Rx даже сумели превзойти Marvell, по Tx правда проиграли ему в два раза.

Ну, а Marvell'a свои заморочки - при большом Rx pps у него останавливается Tx :(

Чип Realtek 8139 имеет только 4 дескриптора на передачу, поэтому годиться только для конечного пользователя.

Для серьезных задач - только Intel под PCI-Express ( EXPI9400PT или 2-х портовый EXPI9402PT ).

 

[sfstudio]

Позволю не согласиться - Realtek 8111B/C/D вполне нормальные чипы для задач не требующих топовой производительности.

При тестировании по Rx даже сумели превзойти Marvell, по Tx правда проиграли ему в два раза.

Сильно зависит как тестировать. У китацев в отчётах о тестах цифры тоже весьма красивые, а вот реальные испытания из их базы знаний увы говорят о полном провале.

 

Ну, а Marvell'a свои заморочки - при большом Rx pps у него останавливается Tx :(

Тут не в курсе, марвел не пользую.

 

Чип Realtek 8139 имеет только 4 дескриптора на передачу, поэтому годиться только для конечного пользователя.

Ну вы же видели оговорку насчёт своего времени? Сейчас конечно бессмысленно использовать его где-либо кроме десктопов. Но 8139 очень надёжный экземпляр с минимумом гемора независимо от оси.

 

Для серьезных задач - только Intel под PCI-Express ( EXPI9400PT или 2-х портовый EXPI9402PT ).

Тут пожалуй соглашусь.

[nuclearcat]

Позволю не согласиться - Realtek 8111B/C/D вполне нормальные чипы для задач не требующих топовой производительности.

При тестировании по Rx даже сумели превзойти Marvell, по Tx правда проиграли ему в два раза.

Ну, а Marvell'a свои заморочки - при большом Rx pps у него останавливается Tx :(

Чип Realtek 8139 имеет только 4 дескриптора на передачу, поэтому годиться только для конечного пользователя.

Для серьезных задач - только Intel под PCI-Express ( EXPI9400PT или 2-х портовый EXPI9402PT ).

Превзойти какой именно Marvell? Их много.

R8169 почти ничего не умеет из offloading, имеет кучу "voodoo magic" значений и кучу ревизий от производителя. Нет и открытых спеков. Майнтейнера от реалтека в ядре нет, саппортит какой-то левый чувак это дело... доверия к карте ноль, и грабли с потерями прерываний, проблемами с 64-bit DMA transfers, поврежденными данными - уже норма. Не говоря о том, что нормальные чипмейкеры заранее вносят новые чипы в дрова, а с рылтеками "трахаются" по факту получения нерабочего железа.

[nuclearcat]

Вот это рылтек. 50 Mbit/s in + 50 Mbps out

tx offloading там нет, потому видимо и crc32_be тоже в топах.

И это прокся, где время должно быть не рылтеком отнято, а дисковым контроллером.

 

-----------------------------------------------------------------------------

PerfTop: 920 irqs/sec kernel:98.4% [100000 cycles], (all, 2 CPUs)

------------------------------------------------------------------------------

 

samples pcnt RIP kernel function

______ _______ _____ ________________ _______________

 

553.00 - 9.2% - 00000000f8413bde : rtl8169_interrupt [r8169]

544.00 - 9.1% - 00000000c0212516 : crc32_be

533.00 - 8.9% - 00000000c020ec86 : delay_tsc

173.00 - 2.9% - 00000000c02fd06e : _spin_lock

 

[x86]

Превзойти какой именно Marvell? Их много.

R8169 почти ничего не умеет из offloading, имеет кучу "voodoo magic" значений и кучу ревизий от производителя. Нет и открытых спеков. Майнтейнера от реалтека в ядре нет, саппортит какой-то левый чувак это дело... доверия к карте ноль, и грабли с потерями прерываний, проблемами с 64-bit DMA transfers, поврежденными данными - уже норма. Не говоря о том, что нормальные чипмейкеры заранее вносят новые чипы в дрова, а с рылтеками "трахаются" по факту получения нерабочего железа.

Отвечаю по-порядку.

Marvell'ы использовались на чипах 88E8053 и 88E8052 - тоже естественно PCI-Express. Драйвера пробовались с kernel'a и от производителя. Отличаются они 2-мя моментами: от vendor'a при 100% загрузке полностью занимают процессор( отклик на клавиши идет с большой задержкой ), а kernel-овские имеют дурную особенность в виде периодического Rx buffer hang - драйвер это лечит путем down/up интерфейса, что в свою очередь влечет утрату всех маршрутов, привязанных к этому интерфейсу.

По Realtek - 8169 это чип под PCI и я его не тестировал, хотя в будущем планирую. По драйверам - от vendor'a показали производительность выше, чем kernel'овские + я их допилил и получил нормальную производительность за небольшие деньги. Но это о чипе 8111. Сейчас работает на нем кучка компьютеров в качестве Acess Node - полет нормальный. Пробовал пробомбить arpflood - 90k вкушал и не поперхнулся :)

[x86]

Вот это рылтек. 50 Mbit/s in + 50 Mbps out

tx offloading там нет, потому видимо и crc32_be тоже в топах.

И это прокся, где время должно быть не рылтеком отнято, а дисковым контроллером.

 

-----------------------------------------------------------------------------

PerfTop: 920 irqs/sec kernel:98.4% [100000 cycles], (all, 2 CPUs)

------------------------------------------------------------------------------

 

samples pcnt RIP kernel function

______ _______ _____ ________________ _______________

 

553.00 - 9.2% - 00000000f8413bde : rtl8169_interrupt [r8169]

544.00 - 9.1% - 00000000c0212516 : crc32_be

533.00 - 8.9% - 00000000c020ec86 : delay_tsc

173.00 - 2.9% - 00000000c02fd06e : _spin_lock

Скорее всего проблема и в чипе и драйвере :(

Я в тестах для связки 8111B+88E8053 получал 950/850 Mbit при не 100% загрузке процессора ( это было 2-а встречных UDP-потока по 1500 байт ).

Если нет денег на Intel, можно посмотреть на недорогую материнку от Gigabyte на G31 c интегрированным 8111.

Кстати, по спекам это довольно приличный чип, вопрос лишь в том, насколько реализованы его возможности в драйверах.

 

[vitalyb]

nuclearcat

x86

 

Начиная с ревизии 8111C у них поменялся формат TX дескриптора и vanilla kernel драйвер не умеет выставлять TX IP/TCP/UDP checksumming биты. Драйвер с сайта vendor'а - умеет, что делает разницу в производительности просто ужасающей.

 

Scatter-gather (опять, на ревизиях C+) не работает ни с kernel драйвером, ни с vendor'овским, но методом тыка удалось дописать драйвер. На некоторых нагрузках разница легко заметна, но и близко не сравнима с CRC offload.

 

TCP Segmentation Offloading методом тыка "воскресить" не удалось (карта превращается в wire-speed генератор пакетов и прерываний 8), надо реверсинжинерить драйвер от Vista, а она что-то упирается и в ядерную память никого не пускает :))

 

В общем, моя мысль, 8111 - чипы весьма неплохие (то, что надо недорогому маршрутизатору - есть, и даже больше), но отсутствие вменяемого драйвера всё портит.