[x86]

Наиболее эффективная атака - пакетами минимальной длины и в большом количестве :)

Возрастает pps и соответственно софтовые роутеры плохо это переносят.

И что с того ?

Любой софтовый роутер может пропустить через себя ОГРАНИЧЕННОЕ число pps, если речь идет о физическом гигабите. Это ограничение проявляется в 100% загрузке процессорра и соответственно в неконтролируемом дропе пакетов. А теоретический предел не слабый - 1.448 Mpps на гигабит в одну сторону.

 

И если с внешней карточкой все заработало нормально - то скорее всего проблема в драйвере forcedeth

При чем здесь forcedeth к ich7?

Ну вы же сетевую меняли?

А вообще ich7 стоит на всех наших роутерах( кроме бордера ) и много где используются PCI сетевые( D-Link 520TX и Realtek 8169 ) и проблем с ними не было.

 

Посмотрел код - действительно сообщения при recovery не выводятся. Но тем не менее на бордере у нас этих проблем нет.

Вы уверены, что нет? Вы наблюдаете каждую секунду, как идут пакеты, и замечаете проблему с обменом пакетами на секунду раз в день/неделю/месяц?

Провалов в графике загрузки нет, статистика через ethtool аномалий тоже не показывает - значит проблемы нет :)

Используется чип 88E8053 rev 19.

 

При чем pps сетевухи к шине, на которой она висит?

По поводу надежности - на одном сервере (сейчас там БД) стоит временно набортный рилтек 8101 вроде (сородич 8169), пинги на него - 10-20мс. + ко всему - это счастье виснет как только организовывается в сети кольцо.

О том, что 8169 часто перегревается - и говорить не буду...

По поводу шины - PCI имеет ограниченную пропускную способность, мне было интересно, отражается ли это как-то на pps - оказалось не очень( 500к в связке с 8111 ).

О 8101 ничего сказать не могу, для 8169 от D-Link используется драйвер от вендора. И примите соболезнования по поводу STP, которые у вас разруливают карточки - это удел нормальных L2-свитчей.

 

При pps порядка 80кппс загрузка проца сейчас после некоторых оптимизаций в районе 50%. Буквально +10-20кппс - и загрузка под 100%. Прерываний не шибко много - около 20к в секунду (модерация не управляется).

20к - это много. Динамическая модерация на том-же марвеле позволяет ограничить это дело в 5к.

А если у вас модерация включена и не управляется( я так понимаю, появляются дропы? ), то нужно увеличивать буфера.

У меня во время тестов( это где 500-600к ), прерываний почти не было :) Т.е. NAPI был постоянно задействован.

[jab]

Наиболее эффективная атака - пакетами минимальной длины и в большом количестве :)

Возрастает pps и соответственно софтовые роутеры плохо это переносят.

И что с того ?

Любой софтовый роутер может пропустить через себя ОГРАНИЧЕННОЕ число pps, если речь идет о физическом гигабите. Это ограничение проявляется в 100% загрузке процессорра и соответственно в неконтролируемом дропе пакетов. А теоретический предел не слабый - 1.448 Mpps на гигабит в одну сторону.

И что с того ? Полтора mpps'а я сделаю... дальше что ?

[x86]

Любой софтовый роутер может пропустить через себя ОГРАНИЧЕННОЕ число pps, если речь идет о физическом гигабите. Это ограничение проявляется в 100% загрузке процессорра и соответственно в неконтролируемом дропе пакетов. А теоретический предел не слабый - 1.448 Mpps на гигабит в одну сторону.

И что с того ? Полтора mpps'а я сделаю... дальше что ?

При всем уважении - сделайте это на 2-х сетевых и одновременно в обе стороны, т.е это ~2.9 Mpps в сумме.

Но для подобных тестов понадобятся аппаратные генераторы траффика :)

[jab]

При всем уважении - сделайте это на 2-х сетевых и одновременно в обе стороны, т.е это ~2.9 Mpps в сумме.

Но для подобных тестов понадобятся аппаратные генераторы траффика :)

RTFM, никаких там 2.9Mpps в сумме не будет. Один сквозной гигабит. Потому как ни один свич вам больше 1480000 не пропустит, в любую сторону. Я уже не говорю про экспоненциальную деградацию pps

при прохождении нескольких хопов.

 

Если считать как Вы, то можно вот такое насчитать:

 

# netstat -w1

input (Total) output

packets errs bytes packets errs bytes colls

940641 0 711149377 939313 0 710364303 0

961327 0 723075198 958608 0 721263097 0

941965 0 712296901 939941 0 711433091 0

950518 0 722659360 948963 0 721154628 0

913840 0 687303003 911469 0 686053010 0

933250 0 703320797 930974 0 702305255 0

940294 0 707340718 937310 0 705499249 0

953871 0 715253092 952073 0 714128547 0

 

[x86]

RTFM, никаких там 2.9Mpps в сумме не будет. Один сквозной гигабит. Потому как ни один свич вам больше 1480000 не пропустит, в любую сторону. Я уже не говорю про экспоненциальную деградацию pps

при прохождении нескольких хопов.

Я-же говорю о трафике в ОБЕ стороны - поэтому 2.9 как раз и получается как сумма 1.448 на вход и столько-же на выход и это ОДНОВРЕМЕННО.

Свитч естественно больше 1.448 в одну сторону пропустить не может, но на прием и на передачу - эту цифру выдывать должен.

А вообще-то спор чисто теоретический :)

Главное, чтобы со стороны клиентов принимать 1.448 без 100% загрузки - а дальше уже принимать по оным клиентам меры :)

Кстати, сейчас у вас большой запас по CPU? И сколько прерываний_в_сек тянет система?

 

 

[x86]

Если считать как Вы, то можно вот такое насчитать:

 

# netstat -w1

input (Total) output

packets errs bytes packets errs bytes colls

940641 0 711149377 939313 0 710364303 0

961327 0 723075198 958608 0 721263097 0

941965 0 712296901 939941 0 711433091 0

950518 0 722659360 948963 0 721154628 0

913840 0 687303003 911469 0 686053010 0

933250 0 703320797 930974 0 702305255 0

940294 0 707340718 937310 0 705499249 0

953871 0 715253092 952073 0 714128547 0

Вообще, IMHO, нагрузку роутера правильно считать по Tx пакетам по всем интерфейсам - поэтому у вас действительно mpps и это вызывает уважение :)

 

[jab]

Кстати, сейчас у вас большой запас по CPU? И сколько прерываний_в_сек тянет система?

55%, хрен его знает сколько там прерываний... мелочь какая-то. Но это не роутер.

 

Вообще, IMHO, нагрузку роутера правильно считать по Tx пакетам по всем интерфейсам - поэтому у вас действительно mpps и это вызывает уважение :)

Нету там mpps, там половина, просто считается дважды. mpps будет вечером.

[NiTr0]

Ну вы же сетевую меняли?

А вообще ich7 стоит на всех наших роутерах( кроме бордера ) и много где используются PCI сетевые( D-Link 520TX и Realtek 8169 ) и проблем с ними не было.

Менял, только причем нфорс сетевые набортные к интеловой мамке?

 

Провалов в графике загрузки нет, статистика через ethtool аномалий тоже не показывает - значит проблемы нет :)

Используется чип 88E8053 rev 19.

88Е8052 (ревизия кстати - не в чипе а в еепром зашита, от того ничего не говорит), на тестовом брасе, где-то раз в сутки ребутит интерфейс, абсолютно незаметно для пользователей, и на мониторинге это нигде не отображается.

 

И примите соболезнования по поводу STP, которые у вас разруливают карточки - это удел нормальных L2-свитчей.

А кто сказал что STP у нас разруливают карточки?

 

20к - это много. Динамическая модерация на том-же марвеле позволяет ограничить это дело в 5к.

А если у вас модерация включена и не управляется( я так понимаю, появляются дропы? ), то нужно увеличивать буфера.

Дропов не появляется. От самих сетевух прерываний порядка 5к/с на каждую, суммарно же в sar - гораздо больше.

[Ivan_83]

По поводу шины - PCI имеет ограниченную пропускную способность, мне было интересно, отражается ли это как-то на pps - оказалось не очень( 500к в связке с 8111 ).

8111 - PCI-E

[voron]

По поводу шины - PCI имеет ограниченную пропускную способность, мне было интересно, отражается ли это как-то на pps - оказалось не очень( 500к в связке с 8111 ).

Тестили как-то 82540EM - ЕМНИП 600kpps переваривала с rx buf 4k, остальное - дропала. На 82572 в том же сервере дропов или почти или совсем не было, генерировали с двух портов 82571 pktgen'ом и в бондинг на свиче потом.

Но для подобных тестов понадобятся аппаратные генераторы траффика :)

82571 с двух портов точно выдавала 1.4Mpps, возможно и с 1 порта тоже, уже не помню.

[x86]

88Е8052 (ревизия кстати - не в чипе а в еепром зашита, от того ничего не говорит), на тестовом брасе, где-то раз в сутки ребутит интерфейс, абсолютно незаметно для пользователей, и на мониторинге это нигде не отображается.

В чем проявляется ребут интерфейса? Падение линка?

 

 

 

 

По поводу шины - PCI имеет ограниченную пропускную способность, мне было интересно, отражается ли это как-то на pps - оказалось не очень( 500к в связке с 8111 ).

8111 - PCI-E

Для тестирования роутера требуется 2 карточки: одна была искомая 8169, а вторая - набортная 8111, естественно на PCI-Express.

2-е PCI использовать смысла не было ибо шина одна на весь компьютер.

 

Но для подобных тестов понадобятся аппаратные генераторы траффика :)

82571 с двух портов точно выдавала 1.4Mpps, возможно и с 1 порта тоже, уже не помню.

С 2-х портов - это хорошая идея :)

Но как показали тесты, все упирается в процессор. Что у вас использовалось для генерации 1.4 Mpps с одного компьютера?

[Ivan_83]

Но как показали тесты, все упирается в процессор. Что у вас использовалось для генерации 1.4 Mpps с одного компьютера?

Развести по разным ядрам.

Есть нетграфовая нода специально для извращений с траффиком при отладке, она и генерировать умеет.

[voron]

Но для подобных тестов понадобятся аппаратные генераторы траффика :)

82571 с двух портов точно выдавала 1.4Mpps, возможно и с 1 порта тоже, уже не помню.

С 2-х портов - это хорошая идея :)

Но как показали тесты, все упирается в процессор. Что у вас использовалось для генерации 1.4 Mpps с одного компьютера?

AMD Athlon 64 X2 Dual Core Processor 4400+ и 82571, на разных ядрах прерывания от двух голов, линуксовый ядерный pktgen в двух экземплярах с delay 0 и размером пакета 56 , вроде бы через perf выявили проблемы с текущим clocksource и заменили на clocksource=tsc. Раньше с pktgen была проблема - паника при использовании на vlan-интерфейсах(eg eth0.10), не знаю осталась ли она сейчас. Возможно выдавалось и больше pps с 2-х портов, 1.4Мpps было на входе порта назначения по статсам свича.

Изменено 11 января, 2011 пользователем voron

[sirmax]

Свитч был ЕМНИП DES-3028 вроде бы. clocksource=tsс - точно, и это вызвало кучу проблем в дальнейшем

[NiTr0]

В чем проявляется ребут интерфейса? Падение линка?

Именно. Пропадание линка на секунду-две. Вы - не замечаете, у юзеров - лаги в играх/VoIP/прочем реал-тайм траффике. Хотя у нас интерфейсы ребутятся в основном когда небольшая нагрузка (меньше 100 МБит), но все же.

Включите printk в драйвер в соответствующую ф-ю, убедитесь сами.

[X-RaY™]

Ни кому еще не довелось на i7 2600 роутер перфоманс проверить ? =) А то уже в наличии, думаю собирать новые на нем или на i7 950 .

[bulgar]

JAB И NUCLEARCAT - подскажите плз вы какими средствами делаете балансирование нагрузки между двумя одинаковыми серверами и делаете ли вообще?

Это если вылетит один, то второй просто возьмет на себя нагрузку, а в нормальном режиме - оба половинят..

В контексте след задач: BGP, Nat, PPPoe

[jab]

JAB И NUCLEARCAT - подскажите плз вы какими средствами делаете балансирование нагрузки между двумя одинаковыми серверами и делаете ли вообще?

Это если вылетит один, то второй просто возьмет на себя нагрузку, а в нормальном режиме - оба половинят..

В контексте след задач: BGP, Nat, PPPoe

Грм... И BGP и PPPoE имеют встроенные средства балансировки и резервирования, чего Вам еще не хватает ? Ну OSPF пустите между ними...

[X-RaY™]

Решили собрать шейпер, на sandy bridge взял i7 2600k. Под даммнет посоветовали Freebsd 7.4 amd 64 , и em сетевые с яндекс драйверами, так как вроде даминет не очень хорошо себя ведет под 8кой и igb . Есть какие мыли, советы ?

[X-RaY™]

Совет для тех кто собирает на десктопных матерях, не берите асус p8p67 это жесть.

[azhur]

не берите асус p8p67 это жесть

А в чем именно жесть?

[jab]

не берите асус p8p67 это жесть

А в чем именно жесть?

EFI BIOS ? :-)))))

[kapa]

Решили собрать шейпер, на sandy bridge взял i7 2600k. Под даммнет посоветовали Freebsd 7.4 amd 64 , и em сетевые с яндекс драйверами, так как вроде даминет не очень хорошо себя ведет под 8кой и igb . Есть какие мыли, советы ?

а в чём именно нехорошесть? пока не замечали

[Abram]

EFI BIOS ? :-)))))

EFI - не BIOS.

Но вот что в матери не так - самому интересно.

Изменено 20 января, 2011 пользователем Abram

[X-RaY™]

То что казуал биос не работает на pci видюхах моих это ладно, но то что материнка не бутается нормально и может зависнуть перед постом или бутнутся раза с 20 (старт-стоп и так до посинения), менял все биосы что есть, на всех лажа , в инете описаны её проблемы.