[jab]

Просто одно дело получить Mpps на серверном железе, и несколько другое - 600к на железе за 150$.

И вообще мысль которую я хотел донести - современное железо( даже дешевое ) способно на многое, просто софт не всегда может выжать с него максимальную производительность.

У меня нет серверного железа, вообще.

 

Живой пример: 400 мбит на бордюре - загрузка ядер в районе 20%; 500 мбит - в районе 40-50%; 600 мбит - 85-90%. Т.е. 650 мбит максимум - и полка. Вопрос: на сколько 15% разгон при такой тенденции увеличит полку?

Тю, это же Linux небось ?

[Abram]

Тю, это же Linux небось ?

Людиии! Не читайте эту фразу :(.

[x86]

У меня нет серверного железа, вообще.

Respect :)

Озвучьте конфигурацию и стоимость решения для Mpps.

 

[jab]

У меня нет серверного железа, вообще.

Respect :)

Озвучьте конфигурацию и стоимость решения для Mpps.

Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$.

[x86]

По поводу перегрева ЮМ - марку материнской платы в студию. И по зависаниям - не забываем про параметры питания и охлаждения.

Тысячи их, наблюдал и на биостарах, и на асусах, и на прочих - везде, где стоит небольшой рекомендованный интелом рабиатор в виде немного ребристой пластинки. Висы как в серверном применении, так и в десктопном (к прмиеру если на PCI стоит карта видеозахвата на несколько входов, дающая нагрузку на шину близкую к 100%).

С подобным не сталкивался, хотя нагрузки встречались разные. Может еще проблема и в блоках питания?

Но если-же ситуацию спасала установка кулера на южный мост - то это однозначно проблема производителя материнской платы.

 

Не надо передергивать. Речь шла о драйвере для чипа от nVidia, который отдельно от чипсета в природе не существует.

А я говорил, что в данном конкретном случае паника была и без нвидиевской сетевухи.

Значит проблема не в сетевой - а в чипсете или самой материнской плате.

 

У меня на MCP55 (пара forcedeth) бордюр собран, молотит до 600 мбит/с, из замеченых минусов - сеть отваливается при минусовой температуре (было время стоял в неотапливаемом помещении, года 3-4 назад), и не совсем красиво на нем работает шейпер для приоритезации траффика (дабы при всплеске траффика до полки не было неудобств серферам/геймерам).

Именно из-за проблем с HPET не рекомендуется использовать чипы NVidia для шейпинга( т.е. зачем бороться с проблемой если можно просто использовать Intel ).

 

У меня на штатном ядреном драйвере марвелл 8052 на тестовом брасе (на котором обкатываю новые сборки дистра на стабильность) работает, хоть и ругается где-то раз в сутки что повешался ифейс - но это происходит незаметно для юзерленда на 2.6.35, и вызывает максимум секундный лаг. А при попытке в апреле собрать вендор-драйвер на 2.6.32 ядро - поимел краш, и отказался от этой затеи.

Хотя при той цене, что за них отдали в свое время - куда лучше было бы купить какие-то десктопные интелы...

Я использую 2.6.25.

Проблема с tx timeout может возникать раз в месяц, помогает только ребут, в нативных драйверах такой проблемы нет.

Вообще плата не самая худшая - Interrupt Moderation умеет, но у нас это историческое наследие, сейчас бы конечно выбрал Intel.

 

Живой пример: 400 мбит на бордюре - загрузка ядер в районе 20%; 500 мбит - в районе 40-50%; 600 мбит - 85-90%. Т.е. 650 мбит максимум - и полка. Вопрос: на сколько 15% разгон при такой тенденции увеличит полку?

Разгон поможет, но не кардинально.

Вообще-то производительность роутера меряется в pps - поэтому надо отталкиваться именно от этих цифр.

Судя по всему все упирается в процессор - то-ли его душат прерывания, то-ли он занят обработкой tc/iptables/routing.

 

[x86]

Озвучьте конфигурацию и стоимость решения для Mpps.

Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$.

Вот он и ответ автору топика :)

 

[make.kernel]

У меня нет серверного железа, вообще.

Respect :)

Озвучьте конфигурацию и стоимость решения для Mpps.

Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$.

ИМХО то бридж. Я думаю спрашивали про форвардинг с фулвью и фаерволом.

[jab]

ИМХО то бридж. Я думаю спрашивали про форвардинг с фулвью и фаерволом.

До того, как сделать из него бридж, я там гонял бенчмарки по простому форвардингу с фуллвью и ipfw на пару правил. Была отдельная тема тут на форуме... фиг найдешь теперь.

[x86]

Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$.

И еще пара вопросов.

Используется ли HT? Чего-то берут сомнения по поводу его востребованности на роутере.

Есть-ли какая-нибудь защита от перегрузки по pps? Или ее не возникает? А то ведь абоненты всякие бывают - я вот, к примеру, могу легко сгененрировать 90k ARP-флуда :)

 

[NiTr0]

Тю, это же Linux небось ?

Угу. Еще и с натом.

 

Может еще проблема и в блоках питания?

FSP однако. И с теми же БП после замены сетевухи на PCI-E все прекрасно заработало.

 

Именно из-за проблем с HPET не рекомендуется использовать чипы NVidia для шейпинга( т.е. зачем бороться с проблемой если можно просто использовать Intel ).

Шейпер на бордюре - вспомогательный, его задача - немного придушить "прочий" трафик, дав приоритет игровому/веб-траффику/ACK'ам, т.о. не дав торрентоводам забить весь канал при пике. Интел туда уже приехал, но пока на ревизию машину не останавливали.

 

Проблема с tx timeout может возникать раз в месяц, помогает только ребут, в нативных драйверах такой проблемы нет.

В более свежих ядрах драйвер сам ребутит сетевуху и работает дальше. А насчет нативных драйверов - код, отвечающий за ребут сетевухи, присутствует, но делает это молча. Добавьте туда printk - убедитесь, что проблема не в драйвере :)

 

Вообще плата не самая худшая - Interrupt Moderation умеет

а кто его не умеет? Вроде даже реалтек - и тот умеет...

 

Вообще-то производительность роутера меряется в pps - поэтому надо отталкиваться именно от этих цифр.

Но средний размер пакета остается примерно тем же...

 

Судя по всему все упирается в процессор - то-ли его душат прерывания, то-ли он занят обработкой tc/iptables/routing.

Еще занят обработкой ната (пока что нет возможности предоставить всем белые ип).

[jab]

Используется ли HT? Чего-то берут сомнения по поводу его востребованности на роутере.

Есть-ли какая-нибудь защита от перегрузки по pps? Или ее не возникает? А то ведь абоненты всякие бывают - я вот, к примеру, могу легко сгененрировать 90k ARP-флуда :)

От HT на форвардинге - ни жарко ни холодно, очереди все-равно прибиты к ядрам. Перегрузку по pps ни разу не встречал. Тем кто флудит - сразу отключаем порт на свиче.

Любителей рубить сук, на которых сидишь, очень немного.

[x86]

От HT на форвардинге - ни жарко ни холодно, очереди все-равно прибиты к ядрам. Перегрузку по pps ни разу не встречал. Тем кто флудит - сразу отключаем порт на свиче.

Любителей рубить сук, на которых сидишь, очень немного.

Не возникает-ли перекоса по нагрузке из-за того, что ядер 4-е, а карточек 6?

По поводу pps - вопрос не совсем праздный, ибо на этапе становления нашей сети подобные атаки наблюдались.

Решали сбросом скорости по порту, хотя отключение порта - это тоже сильное средство :)

[jab]

Не возникает-ли перекоса по нагрузке из-за того, что ядер 4-е, а карточек 6?

По поводу pps - вопрос не совсем праздный, ибо на этапе становления нашей сети подобные атаки наблюдались.

Решали сбросом скорости по порту, хотя отключение порта - это тоже сильное средство :)

Не возникает. Какое отношение атаки имеют к pps ? Ну будут валить не с 20 компов, а с 40...

[x86]

Может еще проблема и в блоках питания?

FSP однако. И с теми же БП после замены сетевухи на PCI-E все прекрасно заработало.

FSP тоже бывают разные - настоящие и поддельные.

И если с внешней карточкой все заработало нормально - то скорее всего проблема в драйвере forcedeth

 

В более свежих ядрах драйвер сам ребутит сетевуху и работает дальше. А насчет нативных драйверов - код, отвечающий за ребут сетевухи, присутствует, но делает это молча. Добавьте туда printk - убедитесь, что проблема не в драйвере :)

Посмотрел код - действительно сообщения при recovery не выводятся. Но тем не менее на бордере у нас этих проблем нет.

 

Вообще плата не самая худшая - Interrupt Moderation умеет

а кто его не умеет? Вроде даже реалтек - и тот умеет...

Может и умеет, но в драйвере риалтека это не используется. При правильном использовании NAPI это особо-то и не нужно, а иногда может приносить и вред - вот пока ны выключил этот moderation на attansic'e то больше 330Mbit c него получить не удавалось. Кстати карточки от Realtek весьма надежны в работе, проблем с ними нет. Даже 8169 по pps не уступает pci-express карточкам, единственное что по bps больше 850Mbit в одну сторону и 760 в две с нее выдавить не удалось.

 

Живой пример: 400 мбит на бордюре - загрузка ядер в районе 20%; 500 мбит - в районе 40-50%; 600 мбит - 85-90%. Т.е. 650 мбит максимум - и полка.

Очень похоже на то, что процессор душат прерывания - т.е. идет сплошное переключение контекста. Нужно включать moderation, можно попробовать увеличить буфера, может поменять сетевые. Сколько все-таки pps? И что oprofile говорит?

 

Не возникает-ли перекоса по нагрузке из-за того, что ядер 4-е, а карточек 6?

По поводу pps - вопрос не совсем праздный, ибо на этапе становления нашей сети подобные атаки наблюдались.

Решали сбросом скорости по порту, хотя отключение порта - это тоже сильное средство :)

Не возникает. Какое отношение атаки имеют к pps ? Ну будут валить не с 20 компов, а с 40...

Наиболее эффективная атака - пакетами минимальной длины и в большом количестве :)

Возрастает pps и соответственно софтовые роутеры плохо это переносят.

[Ivan_83]

Там не надо думать, там надо сделать и посмотреть. Сам fastforwarding ортогонален net.isr.direct и на современных SMP системах ведет к деградации.

Придётся собирать стенд. :(

 

 

Думаю что стоимость переписывания одного dummynet значительно дороже всего моего стада писюков и не факт что получатся те же 20%. Про драйвера сетевух и сетевую подсистему ядра я вообще молчу.

Если готовы поступится некоторыми вещами, то запросто можно поубирать проверки в ядре.

 

 

Я к примеру не слышал что-то о деградации полимерных кондеров... А вы?

Полимерные тоже не вечны.

Зато я видел подделки под полимерные - на самом деле это были электролиты.

[jab]

Наиболее эффективная атака - пакетами минимальной длины и в большом количестве :)

Возрастает pps и соответственно софтовые роутеры плохо это переносят.

И что с того ?

 

[NiTr0]

FSP тоже бывают разные - настоящие и поддельные.

И если с внешней карточкой все заработало нормально - то скорее всего проблема в драйвере forcedeth

При чем здесь forcedeth к ich7?

 

Посмотрел код - действительно сообщения при recovery не выводятся. Но тем не менее на бордере у нас этих проблем нет.

Вы уверены, что нет? Вы наблюдаете каждую секунду, как идут пакеты, и замечаете проблему с обменом пакетами на секунду раз в день/неделю/месяц?

 

Может и умеет, но в драйвере риалтека это не используется. При правильном использовании NAPI это особо-то и не нужно, а иногда может приносить и вред - вот пока ны выключил этот moderation на attansic'e то больше 330Mbit c него получить не удавалось. Кстати карточки от Realtek весьма надежны в работе, проблем с ними нет. Даже 8169 по pps не уступает pci-express карточкам, единственное что по bps больше 850Mbit в одну сторону и 760 в две с нее выдавить не удалось.

При чем pps сетевухи к шине, на которой она висит?

По поводу надежности - на одном сервере (сейчас там БД) стоит временно набортный рилтек 8101 вроде (сородич 8169), пинги на него - 10-20мс. + ко всему - это счастье виснет как только организовывается в сети кольцо.

О том, что 8169 часто перегревается - и говорить не буду...

 

Очень похоже на то, что процессор душат прерывания - т.е. идет сплошное переключение контекста. Нужно включать moderation, можно попробовать увеличить буфера, может поменять сетевые. Сколько все-таки pps? И что oprofile говорит?

При pps порядка 80кппс загрузка проца сейчас после некоторых оптимизаций в районе 50%. Буквально +10-20кппс - и загрузка под 100%. Прерываний не шибко много - около 20к в секунду (модерация не управляется).

 

[Ivan_83]

По поводу надежности - на одном сервере (сейчас там БД) стоит временно набортный рилтек 8101 вроде (сородич 8169), пинги на него - 10-20мс.

8111B штуки 3 дома, ни разу не глючили.

Пинги для локалки сказочные, флоуконтроль попробуйте отрубить или процессорного времени не хватает.

 

 

+ ко всему - это счастье виснет как только организовывается в сети кольцо.

А вы чего хотели?

 

 

О том, что 8169 часто перегревается - и говорить не буду...

Это от того, что некоторые производители экономят на радиаторах.

[kayot]

О том, что 8169 часто перегревается - и говорить не буду...

Это от того, что некоторые производители экономят на радиаторах.

..или горе-сборщики на корпусах. В жизни не видел перегревающихся или глючащих RTL(ну кроме совсем древних ревизий 8139).

У нас в одном из iptv-серверов стоит хорошая десктопная мать с бортовым rtl8111, работает несколько лет с приличной загрузкой без каких-либо намеков на глюки, пинги или зависания.

[NiTr0]

А вы чего хотели?

Т.е. тот факт, что при каждом кольце в сети (которые порой случаются) приходится ребутить сервер, ибо r8169 ушла в себя и не вернулась - для вас является нормальным поведением?

 

В жизни не видел перегревающихся или глючащих RTL

Угу, на 8169 при работе ее на гигабит яйца жарить можно. И виснет из-за перегрева периодически. А радиатора на большинстве карточек с оной нет - ибо сверхбюджетное ховно, где экономят на всем.

[kayot]

Угу, на 8169 при работе ее на гигабит яйца жарить можно. И виснет из-за перегрева периодически. А радиатора на большинстве карточек с оной нет - ибо сверхбюджетное ховно, где экономят на всем.

Преувеличиваете. Греются, но работают и не виснут ни от перегрева, ни от 'колец в сети'. Может стоит посмотреть другие элементы "сервера"? Например чипсет материнки, который реально может перегреваться.

[NiTr0]

Преувеличиваете. Греются, но работают и не виснут ни от перегрева, ни от 'колец в сети'.

Мы от них года 4 назад собссно и отказались везде - из-за того что висли из-за перегрева.

А rtl8110, которая сейчас пыхтит, однозначно виснет при шторме пакетов, с записью в логе вида

kernel: NETDEV WATCHDOG: eth0: transmit timed out

Может конечно на свежих ядерных дровах, а не вендорной кривописи, она и будет адекватно работать - но экспериментировать, обновляя ядро в центоси, желания нет, да и недолго тому серверу крутиться осталось.

 

Может стоит посмотреть другие элементы "сервера"? Например чипсет материнки, который реально может перегреваться.

А чего смотреть-то, если в то время эти сетевушки были проверены на разных роутерах, коих тогда был зоопарк, со стабильным подвисанием из-за перегрева?

[X-RaY™]

Сэнди бридж кто нибудь уже успел потестить на роутинге на фре ? А то в раздумях что брать i7 950 или i7 2600 .

[Lynx10]

8169 было их куча но работали корректно - одно что не устраивало - одно прерывание на карточку

проблемы были с МАрвелами - те зависали крепко!

Изменено 8 января, 2011 пользователем Lynx10

[kayot]

Марвелы страшная штука, все бортовые доставляют разнообразные неприятности.. А с реалтеками проблем не было никогда.