[nag-f]

nag-f, ага. Но выбор routing protocols suite (на месте XORP могла быть Quagga) вряд ли мог повлиять на исход теста Intel.

XORP использовался до 4 версии включительно, сейчас в качестве базовой используется Quagga.

 

Тем не менее интересен факт, что именно эта платформа была выбрана специалистами Intel, возможно они тоже хотят "экономить" на специалистах с "прямыми руками"

Изменено 19 декабря, 2009 пользователем nag-f

[jab]

Подсчитали, что если собирать платформу самим, экономия составляет 500-600$ на сервере стоимостью 5000$. А вот время расходуется порядочно, что бы собрать все комплектующие.

Вот я и говорю - легко и приятно из-за собственной лени тратить чужие 5000$ там где можно было небось и тысячей обойтись, придумывая всякие оправдания про оптимизацию расхода времени. :-))))

[nag-f]

Подсчитали, что если собирать платформу самим, экономия составляет 500-600$ на сервере стоимостью 5000$. А вот время расходуется порядочно, что бы собрать все комплектующие.

Вот я и говорю - легко и приятно из-за собственной лени тратить чужие 5000$ там где можно было небось и тысячей обойтись, придумывая всякие оправдания про оптимизацию расхода времени. :-))))

Ну смотрите, канал пропускной способностью 1Гбит стоит порядка 3000-5000Евро ежемесячно. Ну если вы считаете запредельными единоразовые! расходы на приобретение маршрутизатора стоимостью 3500Евро, то может мы просто решаем разного уровня задачи?

 

Впрочем у Intel достаточно широкий диапазон серверных систем, от однопроцессорных на базе Xeon 3xxx до 55xx. Кстати в отличии от других производителей, Intel также поставляет серверные комплекты: корпус+бп+плата, ну это в случае если вообще нет средств или не имеет смысла переплачивать за Xeon (например шлюз удаленного офиса).

Изменено 19 декабря, 2009 пользователем nag-f

[jab]

Ну смотрите, канал пропускной способностью 1Гбит стоит порядка 3000-5000Евро ежемесячно. Ну если вы считаете запредельными единоразовые! расходы на приобретение маршрутизатора стоимостью 3500Евро, то может мы просто решаем разного уровня задачи?

За 3500E я куплю четыре гигабитных маршрутизатора минимум. :-))) Зачем переплачивать за шильдик ?

[nag-f]

Ну смотрите, канал пропускной способностью 1Гбит стоит порядка 3000-5000Евро ежемесячно. Ну если вы считаете запредельными единоразовые! расходы на приобретение маршрутизатора стоимостью 3500Евро, то может мы просто решаем разного уровня задачи?

За 3500E я куплю четыре гигабитных маршрутизатора минимум. :-))) Зачем переплачивать за шильдик ?

3500 затем, что каналов пропускной способностью 1Гбит - 4 :)

 

Зачем экономить на спичках? Впрочем, за 3500 вполне можно приобрести 3 серверных однопроцессорных системы 16хх :)

Изменено 19 декабря, 2009 пользователем nag-f

[CateArcher]

Вы не из города кировска случайно????

 

[Мартен]

Я бы поставил:

CPU: E8200

MB: если из дешевых Intel ServerBoard S3210SHLC или серии ASUS P5BV

NIC: однозначно Intel PRO/1000 PT (2 x EXPI9400 или 1 x EXPI9402), две очереди на порт и MSI-X

Сорри, если не в тему, но у меня как раз проблема с EXPI9402.

Поставил на роутер данную карту, но две очереди на порт не узрел:

grep "CPU\|eth" /proc/interrupts
           CPU0       CPU1
1271:          1        159   PCI-MSI-edge      eth3
1272:          0        161   PCI-MSI-edge      eth2

eth2 и eth3 - как раз она.

Ядро 2.6.26.

Драйвер:

[    1.020893] e1000e: Intel(R) PRO/1000 Network Driver - 0.3.3.3-k2
[    1.020937] e1000e: Copyright (c) 1999-2008 Intel Corporation.

что я делаю не так?

 

[shicoy]

Ухожу от темы софт-роутеров но тут для одного места потребовалось.

Цель прокачать 2Гбит/сек трафика фулдуплекс.

Два аплинка фулвью. Агрегация каналов в сторону субскрайберов (LACP), софт Linux

Что хочу: 2хXeon (что бы 16ть ядер было), Mb c intel 82575 + доп.сетевую intel 82576\

вопрос, протащит такая конфигурация 2Гбит в фулдуплексе?

 

[Ainy]

Протащит. Не понял зачем 16 ядер? Чтобы в топе красиво смотрелось? BIGSMP это вообще такая штуковина, можно скорее проблем поиметь. Там Core i5 справится, с запасом.

 

[radids]

Здравствуйте!

Извиняюсь что беспокою вас, моя задача конечно куда скромней чем 10 гигабит на линуксе но всеже,

не могли бы вы поддержать мою тему своим советом. Сам глубоких познаний в linux не имею но передо мной стала задача, поставить на сервер AquaServer T222 линуксовый роутер а именно vyatta и сразу возникли проблемы.

 

Вот ссылка на тему http://forum.nag.ru/forum/index.php?showto...mp;#entry570580

Заранее спасибо!!!

[nicol@s]

Добрый день, коллеги!

А кто-нибудь использует проц Core i7 980X??

Купили такой проц (разогнали до 4500Мгц) и собрали с ним сервер (роутинг+нат):

dmesg|less:

CPU: Intel(R) Core (TM) i7 CPU x980 @3,33GHz (4500MHz K8-class CPU)

uname -a:

FreeBSD 8.1-STABLE-201011

Стоит igb-шная сетевуха с последними дровами:

sysctl -a | grep igb.0:

dev.igb.0.%desc: Intel(R) PRO/1000 Network Connection version - 2.0.1

Из тюнинга:

/boot/loader.conf:

hw.igb.num_queues=6
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.num_queues=0
hw.igb.enable_aim=0
hw.igb.low_latency=1000
hw.igb.ave_latency=2000
hw.igb.bulk_latency=4000
hw.igb.rx_process_limit=1000
hw.igb.fc_setting=0
hw.igb.lro=0

Нагрузка распределена на все 12 ядер. Распределял такой командой:

cpuset -l 0 -x 258

Первые 6 ядер на igb0, вторые 6 ядер - igb1 (по одному irq на ядро соответственно).

Вчера решили посмотреть как он будет себя вести под нагрузкой. В итоге при 650Мбит IN и 557МБит OUT загрузка проца была 70%. Впринципе то неплохо, есть некоторый запас. Но появились задержки - пинги в интернет стали 10-50мс, вместо 2-3мс.

Самое интересное, что на другом процессоре (Core i7 975) с таким же конфигом ядра, такой же сетевухой и системой, с таким же тюнингом /boot/loader.conf и /etc/sysctl.conf, такие пинги появлялись при загрузке проца в 90%.

 

Что думаете? Может посоветуете что-нибудь подкрутить?

[kayot]

Отключить нахрен HT и разделить прерывания по физическим ядрам, станет в 2 раза ниже загрузка.

[jab]

 

Что-то вы неправильно делаете. Обычный Core i5 3Ghz натит pfnat и роутит bgp fullview 1Gbps full duplex ( при среднем размере пакета ~=600 байт ).

[nicol@s]

Отключить нахрен HT и разделить прерывания по физическим ядрам, станет в 2 раза ниже загрузка.

Спасибо. Попробуем без HT.

Что-то вы неправильно делаете. Обычный Core i5 3Ghz натит pfnat и роутит bgp fullview 1Gbps full duplex ( при среднем размере пакета ~=600 байт ).

Вот в том то и вопрос. Тестировали core i5 в качестве роутера, и на первый взгляд он справился лучше, чем core i7 980X. Конфиги, система, тюнинг, дрова - все одинаковое, только мать другая ну и сам проц. Может быть, отключив HT, получим более приемлемый результат...

Изменено 30 декабря, 2010 пользователем nicol@s

[nicol@s]

Попробуем без HT.

Попробовали без hyper threading. Вот результат:

647Мбит/сек IN

520Мбит/сек OUT

 

При этом (igb1 смотрит в сеть, igb0 - наружу):

netstat -w1d -I igb1:

input         (igb1)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
     89240     0     0   64834953      87503     0   83333416     0
     87941     0     0   65235337      84272     0   77493477     0
     88898     0     0   65358874      85708     0   80889009     0
     87399     0     0   65376329      84788     0   78636742     0
     88406     0     0   66778801      82634     0   75319699     0
     89223     0     0   68230986      83625     0   75834638     0
     90511     0     0   69404352      84893     0   76758260     0

top -SPH

last pid:  5090;  load averages:  0.96,  0.93,  0.83 
105 processes: 7 running, 66 sleeping, 32 waiting
CPU 0:  0.0% user,  0.0% nice, 18.9% system, 28.4% interrupt, 52.7% idle
CPU 1:  0.0% user,  0.0% nice, 17.9% system, 35.8% interrupt, 46.3% idle
CPU 2:  0.0% user,  0.0% nice, 14.4% system, 23.9% interrupt, 61.7% idle
CPU 3:  0.0% user,  0.0% nice, 12.4% system, 30.8% interrupt, 56.7% idle
CPU 4:  0.0% user,  0.0% nice,  8.5% system, 28.9% interrupt, 62.7% idle
CPU 5:  0.0% user,  0.0% nice, 10.0% system, 24.5% interrupt, 65.5% idle
Mem: 22M Active, 17M Inact, 309M Wired, 372K Cache, 20M Buf, 2610M Free
Swap: 6144M Total, 6144M Free

Проц загружен на 60%, а пинги уже:

ping ya.ru

64 bytes from 77.88.21.3: icmp_seq=785 ttl=64 time=2.443 ms
64 bytes from 77.88.21.3: icmp_seq=786 ttl=64 time=2.332 ms
64 bytes from 77.88.21.3: icmp_seq=787 ttl=64 time=2.706 ms
64 bytes from 77.88.21.3: icmp_seq=788 ttl=64 time=31.169 ms
64 bytes from 77.88.21.3: icmp_seq=789 ttl=64 time=20.926 ms
64 bytes from 77.88.21.3: icmp_seq=790 ttl=64 time=19.784 ms
64 bytes from 77.88.21.3: icmp_seq=791 ttl=64 time=39.195 ms
64 bytes from 77.88.21.3: icmp_seq=792 ttl=64 time=4.702 ms
64 bytes from 77.88.21.3: icmp_seq=793 ttl=64 time=12.770 ms
64 bytes from 77.88.21.3: icmp_seq=794 ttl=64 time=2.911 ms
64 bytes from 77.88.21.3: icmp_seq=795 ttl=64 time=6.067 ms
64 bytes from 77.88.21.3: icmp_seq=796 ttl=64 time=8.389 ms
64 bytes from 77.88.21.3: icmp_seq=797 ttl=64 time=11.793 ms
64 bytes from 77.88.21.3: icmp_seq=798 ttl=64 time=2.523 ms
64 bytes from 77.88.21.3: icmp_seq=799 ttl=64 time=2.364 ms
64 bytes from 77.88.21.3: icmp_seq=800 ttl=64 time=2.435 ms

Ума не приложу в чем проблема...

Изменено 30 декабря, 2010 пользователем nicol@s

[jab]

 

Проблема не в CPU, он недогружен. Для начала попробуйте увеличить icmplim, и для контроля пингайте мимо ната. Возможно не хватает каких-то буфферов.

Что с net.isr и fastforwarding ?

[nicol@s]

Что с net.isr и fastforwarding ?

/etc/sysctl.conf:

net.isr.direct=1
net.inet.ip.fastforwarding=1

Проблема не в CPU, он недогружен. Для начала попробуйте увеличить icmplim, и для контроля пингайте мимо ната. Возможно не хватает каких-то буфферов.

Уже стоит:

net.inet.icmp.icmplim=200

Надо будет попробовать, как только пинги увеличатся, увеличить этот параметр.

Изменено 30 декабря, 2010 пользователем nicol@s

[jab]

 

Отключить fastforwarding однозначно.

[Slad]

jab, а чем net.inet.icmp.icmplim может помочь?

[jab]

jab, а чем net.inet.icmp.icmplim может помочь?

Да вобщем-то ничем, ошибочка вышла. Сорри.

[nicol@s]

Отключить fastforwarding однозначно.

Спасибо, я попробую конечно. Просто на других роутерах это не мешает %)

[jab]

 

И Вы думаете, что телепатическими методами мы сможем определить, чем другие роутеры отличаются от описываемого ?

[nicol@s]

Нет :) Я выше писал:

Вот в том то и вопрос. Тестировали core i5 в качестве роутера, и на первый взгляд он справился лучше, чем core i7 980X. Конфиги, система, тюнинг, дрова - все одинаковое, только мать другая ну и сам проц...

А сейчас в продакшене стоят роутеры с core i7 975, опять же с таким же тюнингом, igb-ешной сетевухой с последними дровами, с одинаковым ядром, системой...

[jab]

Нет :) Я выше писал:

Вот в том то и вопрос. Тестировали core i5 в качестве роутера, и на первый взгляд он справился лучше, чем core i7 980X. Конфиги, система, тюнинг, дрова - все одинаковое, только мать другая ну и сам проц...

А сейчас в продакшене стоят роутеры с core i7 975, опять же с таким же тюнингом, igb-ешной сетевухой с последними дровами, с одинаковым ядром, системой...

Да ну ? И на них к примеру тоже hw.igb.num_queues=6 ?

 

Что нужно было сделать с самого начала: локализовать проблему. Проблема может быть вообще не в роутере а снаружи. Либо она может затрагивать

только icmp. И еще миллион вариантов.

[Ivan_83]

Отключить fastforwarding однозначно

Чем плохо что пакет идёт не попадая в очереди в ядре а сразу насквозь?

Нагрузка на ядра не раскидывается?