jab Опубликовано 5 января, 2011 · Жалоба Просто одно дело получить Mpps на серверном железе, и несколько другое - 600к на железе за 150$.И вообще мысль которую я хотел донести - современное железо( даже дешевое ) способно на многое, просто софт не всегда может выжать с него максимальную производительность. У меня нет серверного железа, вообще. Живой пример: 400 мбит на бордюре - загрузка ядер в районе 20%; 500 мбит - в районе 40-50%; 600 мбит - 85-90%. Т.е. 650 мбит максимум - и полка. Вопрос: на сколько 15% разгон при такой тенденции увеличит полку? Тю, это же Linux небось ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 5 января, 2011 · Жалоба Тю, это же Linux небось ? Людиии! Не читайте эту фразу :(. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
x86 Опубликовано 5 января, 2011 · Жалоба У меня нет серверного железа, вообще.Respect :)Озвучьте конфигурацию и стоимость решения для Mpps. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 5 января, 2011 · Жалоба У меня нет серверного железа, вообще.Respect :)Озвучьте конфигурацию и стоимость решения для Mpps. Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
x86 Опубликовано 5 января, 2011 · Жалоба По поводу перегрева ЮМ - марку материнской платы в студию. И по зависаниям - не забываем про параметры питания и охлаждения.Тысячи их, наблюдал и на биостарах, и на асусах, и на прочих - везде, где стоит небольшой рекомендованный интелом рабиатор в виде немного ребристой пластинки. Висы как в серверном применении, так и в десктопном (к прмиеру если на PCI стоит карта видеозахвата на несколько входов, дающая нагрузку на шину близкую к 100%). С подобным не сталкивался, хотя нагрузки встречались разные. Может еще проблема и в блоках питания?Но если-же ситуацию спасала установка кулера на южный мост - то это однозначно проблема производителя материнской платы. Не надо передергивать. Речь шла о драйвере для чипа от nVidia, который отдельно от чипсета в природе не существует.А я говорил, что в данном конкретном случае паника была и без нвидиевской сетевухи. Значит проблема не в сетевой - а в чипсете или самой материнской плате. У меня на MCP55 (пара forcedeth) бордюр собран, молотит до 600 мбит/с, из замеченых минусов - сеть отваливается при минусовой температуре (было время стоял в неотапливаемом помещении, года 3-4 назад), и не совсем красиво на нем работает шейпер для приоритезации траффика (дабы при всплеске траффика до полки не было неудобств серферам/геймерам).Именно из-за проблем с HPET не рекомендуется использовать чипы NVidia для шейпинга( т.е. зачем бороться с проблемой если можно просто использовать Intel ). У меня на штатном ядреном драйвере марвелл 8052 на тестовом брасе (на котором обкатываю новые сборки дистра на стабильность) работает, хоть и ругается где-то раз в сутки что повешался ифейс - но это происходит незаметно для юзерленда на 2.6.35, и вызывает максимум секундный лаг. А при попытке в апреле собрать вендор-драйвер на 2.6.32 ядро - поимел краш, и отказался от этой затеи.Хотя при той цене, что за них отдали в свое время - куда лучше было бы купить какие-то десктопные интелы... Я использую 2.6.25. Проблема с tx timeout может возникать раз в месяц, помогает только ребут, в нативных драйверах такой проблемы нет. Вообще плата не самая худшая - Interrupt Moderation умеет, но у нас это историческое наследие, сейчас бы конечно выбрал Intel. Живой пример: 400 мбит на бордюре - загрузка ядер в районе 20%; 500 мбит - в районе 40-50%; 600 мбит - 85-90%. Т.е. 650 мбит максимум - и полка. Вопрос: на сколько 15% разгон при такой тенденции увеличит полку?Разгон поможет, но не кардинально. Вообще-то производительность роутера меряется в pps - поэтому надо отталкиваться именно от этих цифр. Судя по всему все упирается в процессор - то-ли его душат прерывания, то-ли он занят обработкой tc/iptables/routing. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
x86 Опубликовано 5 января, 2011 · Жалоба Озвучьте конфигурацию и стоимость решения для Mpps. Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$. Вот он и ответ автору топика :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
make.kernel Опубликовано 5 января, 2011 · Жалоба У меня нет серверного железа, вообще.Respect :)Озвучьте конфигурацию и стоимость решения для Mpps. Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$. ИМХО то бридж. Я думаю спрашивали про форвардинг с фулвью и фаерволом. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 5 января, 2011 · Жалоба ИМХО то бридж. Я думаю спрашивали про форвардинг с фулвью и фаерволом. До того, как сделать из него бридж, я там гонял бенчмарки по простому форвардингу с фуллвью и ipfw на пару правил. Была отдельная тема тут на форуме... фиг найдешь теперь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
x86 Опубликовано 5 января, 2011 · Жалоба Да я тут писал уже и не раз... года полтора назад. DX58SO + Core i7 920 c тремя двухпортовыми сетевухами обошлась что-то около 1500$.И еще пара вопросов.Используется ли HT? Чего-то берут сомнения по поводу его востребованности на роутере. Есть-ли какая-нибудь защита от перегрузки по pps? Или ее не возникает? А то ведь абоненты всякие бывают - я вот, к примеру, могу легко сгененрировать 90k ARP-флуда :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 5 января, 2011 · Жалоба Тю, это же Linux небось ?Угу. Еще и с натом. Может еще проблема и в блоках питания?FSP однако. И с теми же БП после замены сетевухи на PCI-E все прекрасно заработало. Именно из-за проблем с HPET не рекомендуется использовать чипы NVidia для шейпинга( т.е. зачем бороться с проблемой если можно просто использовать Intel ).Шейпер на бордюре - вспомогательный, его задача - немного придушить "прочий" трафик, дав приоритет игровому/веб-траффику/ACK'ам, т.о. не дав торрентоводам забить весь канал при пике. Интел туда уже приехал, но пока на ревизию машину не останавливали. Проблема с tx timeout может возникать раз в месяц, помогает только ребут, в нативных драйверах такой проблемы нет.В более свежих ядрах драйвер сам ребутит сетевуху и работает дальше. А насчет нативных драйверов - код, отвечающий за ребут сетевухи, присутствует, но делает это молча. Добавьте туда printk - убедитесь, что проблема не в драйвере :) Вообще плата не самая худшая - Interrupt Moderation умеета кто его не умеет? Вроде даже реалтек - и тот умеет... Вообще-то производительность роутера меряется в pps - поэтому надо отталкиваться именно от этих цифр.Но средний размер пакета остается примерно тем же... Судя по всему все упирается в процессор - то-ли его душат прерывания, то-ли он занят обработкой tc/iptables/routing.Еще занят обработкой ната (пока что нет возможности предоставить всем белые ип). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 6 января, 2011 · Жалоба Используется ли HT? Чего-то берут сомнения по поводу его востребованности на роутере.Есть-ли какая-нибудь защита от перегрузки по pps? Или ее не возникает? А то ведь абоненты всякие бывают - я вот, к примеру, могу легко сгененрировать 90k ARP-флуда :) От HT на форвардинге - ни жарко ни холодно, очереди все-равно прибиты к ядрам. Перегрузку по pps ни разу не встречал. Тем кто флудит - сразу отключаем порт на свиче. Любителей рубить сук, на которых сидишь, очень немного. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
x86 Опубликовано 6 января, 2011 · Жалоба От HT на форвардинге - ни жарко ни холодно, очереди все-равно прибиты к ядрам. Перегрузку по pps ни разу не встречал. Тем кто флудит - сразу отключаем порт на свиче. Любителей рубить сук, на которых сидишь, очень немного. Не возникает-ли перекоса по нагрузке из-за того, что ядер 4-е, а карточек 6?По поводу pps - вопрос не совсем праздный, ибо на этапе становления нашей сети подобные атаки наблюдались. Решали сбросом скорости по порту, хотя отключение порта - это тоже сильное средство :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 6 января, 2011 · Жалоба Не возникает-ли перекоса по нагрузке из-за того, что ядер 4-е, а карточек 6?По поводу pps - вопрос не совсем праздный, ибо на этапе становления нашей сети подобные атаки наблюдались. Решали сбросом скорости по порту, хотя отключение порта - это тоже сильное средство :) Не возникает. Какое отношение атаки имеют к pps ? Ну будут валить не с 20 компов, а с 40... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
x86 Опубликовано 6 января, 2011 · Жалоба Может еще проблема и в блоках питания?FSP однако. И с теми же БП после замены сетевухи на PCI-E все прекрасно заработало. FSP тоже бывают разные - настоящие и поддельные. И если с внешней карточкой все заработало нормально - то скорее всего проблема в драйвере forcedeth В более свежих ядрах драйвер сам ребутит сетевуху и работает дальше. А насчет нативных драйверов - код, отвечающий за ребут сетевухи, присутствует, но делает это молча. Добавьте туда printk - убедитесь, что проблема не в драйвере :)Посмотрел код - действительно сообщения при recovery не выводятся. Но тем не менее на бордере у нас этих проблем нет. Вообще плата не самая худшая - Interrupt Moderation умеета кто его не умеет? Вроде даже реалтек - и тот умеет... Может и умеет, но в драйвере риалтека это не используется. При правильном использовании NAPI это особо-то и не нужно, а иногда может приносить и вред - вот пока ны выключил этот moderation на attansic'e то больше 330Mbit c него получить не удавалось. Кстати карточки от Realtek весьма надежны в работе, проблем с ними нет. Даже 8169 по pps не уступает pci-express карточкам, единственное что по bps больше 850Mbit в одну сторону и 760 в две с нее выдавить не удалось. Живой пример: 400 мбит на бордюре - загрузка ядер в районе 20%; 500 мбит - в районе 40-50%; 600 мбит - 85-90%. Т.е. 650 мбит максимум - и полка.Очень похоже на то, что процессор душат прерывания - т.е. идет сплошное переключение контекста. Нужно включать moderation, можно попробовать увеличить буфера, может поменять сетевые. Сколько все-таки pps? И что oprofile говорит? Не возникает-ли перекоса по нагрузке из-за того, что ядер 4-е, а карточек 6?По поводу pps - вопрос не совсем праздный, ибо на этапе становления нашей сети подобные атаки наблюдались. Решали сбросом скорости по порту, хотя отключение порта - это тоже сильное средство :) Не возникает. Какое отношение атаки имеют к pps ? Ну будут валить не с 20 компов, а с 40... Наиболее эффективная атака - пакетами минимальной длины и в большом количестве :)Возрастает pps и соответственно софтовые роутеры плохо это переносят. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 6 января, 2011 · Жалоба Там не надо думать, там надо сделать и посмотреть. Сам fastforwarding ортогонален net.isr.direct и на современных SMP системах ведет к деградации.Придётся собирать стенд. :( Думаю что стоимость переписывания одного dummynet значительно дороже всего моего стада писюков и не факт что получатся те же 20%. Про драйвера сетевух и сетевую подсистему ядра я вообще молчу.Если готовы поступится некоторыми вещами, то запросто можно поубирать проверки в ядре. Я к примеру не слышал что-то о деградации полимерных кондеров... А вы?Полимерные тоже не вечны.Зато я видел подделки под полимерные - на самом деле это были электролиты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jab Опубликовано 6 января, 2011 · Жалоба Наиболее эффективная атака - пакетами минимальной длины и в большом количестве :)Возрастает pps и соответственно софтовые роутеры плохо это переносят. И что с того ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 6 января, 2011 · Жалоба FSP тоже бывают разные - настоящие и поддельные.И если с внешней карточкой все заработало нормально - то скорее всего проблема в драйвере forcedeth При чем здесь forcedeth к ich7? Посмотрел код - действительно сообщения при recovery не выводятся. Но тем не менее на бордере у нас этих проблем нет.Вы уверены, что нет? Вы наблюдаете каждую секунду, как идут пакеты, и замечаете проблему с обменом пакетами на секунду раз в день/неделю/месяц? Может и умеет, но в драйвере риалтека это не используется. При правильном использовании NAPI это особо-то и не нужно, а иногда может приносить и вред - вот пока ны выключил этот moderation на attansic'e то больше 330Mbit c него получить не удавалось. Кстати карточки от Realtek весьма надежны в работе, проблем с ними нет. Даже 8169 по pps не уступает pci-express карточкам, единственное что по bps больше 850Mbit в одну сторону и 760 в две с нее выдавить не удалось.При чем pps сетевухи к шине, на которой она висит?По поводу надежности - на одном сервере (сейчас там БД) стоит временно набортный рилтек 8101 вроде (сородич 8169), пинги на него - 10-20мс. + ко всему - это счастье виснет как только организовывается в сети кольцо. О том, что 8169 часто перегревается - и говорить не буду... Очень похоже на то, что процессор душат прерывания - т.е. идет сплошное переключение контекста. Нужно включать moderation, можно попробовать увеличить буфера, может поменять сетевые. Сколько все-таки pps? И что oprofile говорит?При pps порядка 80кппс загрузка проца сейчас после некоторых оптимизаций в районе 50%. Буквально +10-20кппс - и загрузка под 100%. Прерываний не шибко много - около 20к в секунду (модерация не управляется). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 7 января, 2011 · Жалоба По поводу надежности - на одном сервере (сейчас там БД) стоит временно набортный рилтек 8101 вроде (сородич 8169), пинги на него - 10-20мс.8111B штуки 3 дома, ни разу не глючили.Пинги для локалки сказочные, флоуконтроль попробуйте отрубить или процессорного времени не хватает. + ко всему - это счастье виснет как только организовывается в сети кольцо.А вы чего хотели? О том, что 8169 часто перегревается - и говорить не буду...Это от того, что некоторые производители экономят на радиаторах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 7 января, 2011 · Жалоба О том, что 8169 часто перегревается - и говорить не буду...Это от того, что некоторые производители экономят на радиаторах. ..или горе-сборщики на корпусах. В жизни не видел перегревающихся или глючащих RTL(ну кроме совсем древних ревизий 8139). У нас в одном из iptv-серверов стоит хорошая десктопная мать с бортовым rtl8111, работает несколько лет с приличной загрузкой без каких-либо намеков на глюки, пинги или зависания. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 7 января, 2011 · Жалоба А вы чего хотели?Т.е. тот факт, что при каждом кольце в сети (которые порой случаются) приходится ребутить сервер, ибо r8169 ушла в себя и не вернулась - для вас является нормальным поведением? В жизни не видел перегревающихся или глючащих RTLУгу, на 8169 при работе ее на гигабит яйца жарить можно. И виснет из-за перегрева периодически. А радиатора на большинстве карточек с оной нет - ибо сверхбюджетное ховно, где экономят на всем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 7 января, 2011 · Жалоба Угу, на 8169 при работе ее на гигабит яйца жарить можно. И виснет из-за перегрева периодически. А радиатора на большинстве карточек с оной нет - ибо сверхбюджетное ховно, где экономят на всем. Преувеличиваете. Греются, но работают и не виснут ни от перегрева, ни от 'колец в сети'. Может стоит посмотреть другие элементы "сервера"? Например чипсет материнки, который реально может перегреваться. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 7 января, 2011 · Жалоба Преувеличиваете. Греются, но работают и не виснут ни от перегрева, ни от 'колец в сети'.Мы от них года 4 назад собссно и отказались везде - из-за того что висли из-за перегрева.А rtl8110, которая сейчас пыхтит, однозначно виснет при шторме пакетов, с записью в логе вида kernel: NETDEV WATCHDOG: eth0: transmit timed outМожет конечно на свежих ядерных дровах, а не вендорной кривописи, она и будет адекватно работать - но экспериментировать, обновляя ядро в центоси, желания нет, да и недолго тому серверу крутиться осталось. Может стоит посмотреть другие элементы "сервера"? Например чипсет материнки, который реально может перегреваться.А чего смотреть-то, если в то время эти сетевушки были проверены на разных роутерах, коих тогда был зоопарк, со стабильным подвисанием из-за перегрева? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
X-RaY™ Опубликовано 8 января, 2011 · Жалоба Сэнди бридж кто нибудь уже успел потестить на роутинге на фре ? А то в раздумях что брать i7 950 или i7 2600 . Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Lynx10 Опубликовано 8 января, 2011 (изменено) · Жалоба 8169 было их куча но работали корректно - одно что не устраивало - одно прерывание на карточку проблемы были с МАрвелами - те зависали крепко! Изменено 8 января, 2011 пользователем Lynx10 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 8 января, 2011 · Жалоба Марвелы страшная штука, все бортовые доставляют разнообразные неприятности.. А с реалтеками проблем не было никогда. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...