[zlolotus]

Доброго времени суток.

 

Вот такая вот проблемка.

 

12 root -92 - 0K 480K CPU9 9 31:21 32.67% intr{irq258: bce1}

12 root -92 - 0K 480K WAIT 8 14:47 10.69% intr{irq257: bce0}

root@vpn-03:~ # netstat -h 1

input (Total) output

packets errs idrops bytes packets errs bytes colls

19k 0 0 10M 21k 0 17M 0

21k 0 0 11M 23k 0 20M 0

20k 0 0 9.5M 21k 0 15M 0

 

kern.ipc.nmbclusters=400000

kern.ipc.maxsockbuf=83886080

net.inet.tcp.blackhole=2

net.inet.udp.blackhole=1

net.inet.icmp.drop_redirect=1

net.inet.icmp.maskrepl=0

net.inet.icmp.icmplim=100

kern.ipc.maxsockets=204800

 

 

Нат pf. Что-то слишком большая нагрузка для такого трафика. Если какие нибудь крутилки у bce?

[GrandPr1de]

А проц какой? Может для вашего проца - это нормально.

Попробуйте перенесите прерывания на net.isr - если bce всё таки сами не способны справится с нагрузкой, может помочь.

[vlad11]

1) Прошивка сетевых должна быть самая последняя

2) Покажите настройки сетевых из rc.conf ( первые две группы цифр реальников замените на XXX)

3) Покажите sysctl kern.timecounter

4) Укажите тип шейпера

5) Будьте готовы выключить гипертрейдинг.

Edited July 3, 2014 by vlad11

[zlolotus]

1) Прошивка сетевых должна быть самая последняя

2) Покажите настройки сетевых из rc.conf ( первые две группы цифр реальников замените на XXX)

3) Покажите sysctl kern.timecounter

4) Укажите тип шейпера

5) Будьте готовы выключить гипертрейдинг.

 

2

ifconfig_bce0="inet x.x.x.1 netmask 255.255.252.0"

ifconfig_bce1="inet x.x.x.251 netmask 255.255.255.248"

defaultrouter="x.x.x.249"

 

 

 

pf_enable="YES"

pf_rules="/etc/pf.conf"

pf_flags=""

pflog_enable="YES"

pflog_logfile="/var/log/pflog"

mpd_enable="YES"

gateway_enable="YES"

 

3

 

sysctl kern.timecounter

kern.timecounter.fast_gettime: 1

kern.timecounter.tick: 1

kern.timecounter.choice: TSC-low(1000) ACPI-fast(900) HPET(950) i8254(0) dummy(-1000000)

kern.timecounter.hardware: TSC-low

kern.timecounter.stepwarnings: 0

kern.timecounter.tc.i8254.mask: 65535

kern.timecounter.tc.i8254.counter: 53678

kern.timecounter.tc.i8254.frequency: 1193182

kern.timecounter.tc.i8254.quality: 0

kern.timecounter.tc.HPET.mask: 4294967295

kern.timecounter.tc.HPET.counter: 1284537219

kern.timecounter.tc.HPET.frequency: 14318180

kern.timecounter.tc.HPET.quality: 950

kern.timecounter.tc.ACPI-fast.mask: 16777215

kern.timecounter.tc.ACPI-fast.counter: 15107662

kern.timecounter.tc.ACPI-fast.frequency: 3579545

kern.timecounter.tc.ACPI-fast.quality: 900

kern.timecounter.tc.TSC-low.mask: 4294967295

kern.timecounter.tc.TSC-low.counter: 3483584783

kern.timecounter.tc.TSC-low.frequency: 1133398889

kern.timecounter.tc.TSC-low.quality: 1000

kern.timecounter.tsc_shift: 1

kern.timecounter.smp_tsc_adjust: 0

kern.timecounter.smp_tsc: 1

kern.timecounter.invariant_tsc: 1

 

4

ngcar

 

5

выключил, тоже самое почти

[vlad11]

1) Прошивка сетевых должна быть самая последняя

2) Покажите настройки сетевых из rc.conf ( первые две группы цифр реальников замените на XXX)

3) Покажите sysctl kern.timecounter

4) Укажите тип шейпера

5) Будьте готовы выключить гипертрейдинг.

 

2

ifconfig_bce0="inet x.x.x.1 netmask 255.255.252.0"

ifconfig_bce1="inet x.x.x.251 netmask 255.255.255.248"

defaultrouter="x.x.x.249"

 

 

Используйте так:

ifconfig bce1 -rxcsum -txcsum -tso

 

Подробности тут.

[GrandPr1de]

Так это вроде либалиас не дружит с железными считалками. На pf такого вроде бы не надо.

В Mpd включен нетфлоу? Если да - настоятельно рекомендую выключить и создать ноду для сбора нетфлоу руками(скриптом).

[YuryD]

Доброго времени суток.

 

Вот такая вот проблемка.

 

12 root -92 - 0K 480K CPU9 9 31:21 32.67% intr{irq258: bce1}

12 root -92 - 0K 480K WAIT 8 14:47 10.69% intr{irq257: bce0}

 

Проблема есть, поэтому и пришлось убрать комп с bce (ibm xseries с двумя процами). При ддосе - машина вставала колом c CPU от irq в 100%. Тюнинг не помогал, в т.ч. -tso -lro

[vlad11]

Проблема есть, поэтому и пришлось убрать комп с bce (ibm xseries с двумя процами). При ддосе - машина вставала колом c CPU от irq в 100%. Тюнинг не помогал, в т.ч. -tso -lro

 

Тюнинг тюнингу рознь. Если вы не сумели решить проблему тюнингом - ваши проблемы.

[zlolotus]

Проблема есть, поэтому и пришлось убрать комп с bce (ibm xseries с двумя процами). При ддосе - машина вставала колом c CPU от irq в 100%. Тюнинг не помогал, в т.ч. -tso -lro

 

Тюнинг тюнингу рознь. Если вы не сумели решить проблему тюнингом - ваши проблемы.

 

Убирал на внеш сетевой, не помогло.

[vlad11]

Тюнинг тюнингу рознь. Если вы не сумели решить проблему тюнингом - ваши проблемы.

 

Убирал на внеш сетевой, не помогло.

 

А кто вам сказал, что надо применять только на внешней? :)

Применяйте к обоим сетевым.

Проверьте чтоб прерывания в БИОСе были разнесены.

 

Потом обновляйте прошивку драйвера.

 

Странно, что у вас ACPI без LAPIC...

 

Потом режьте или лимитируйте торренты изнутри на 6881 порт.

 

Потом смотрите опции для синк-кукис

net.inet.tcp.syncookies
net.inet.tcp.syncookies_only
net.inet.tcp.syncache.bucketlimit
net.inet.tcp.syncache.cachelimit
net.inet.tcp.syncache.count
net.inet.tcp.syncache.hashsize
net.inet.tcp.syncache.rexmtlimit
net.inet.tcp.syncache.rst_on_sock_fail

Edited July 4, 2014 by vlad11

[YuryD]

 

Тюнинг тюнингу рознь. Если вы не сумели решить проблему тюнингом - ваши проблемы.

 

От DDOS никакой тюнинг не спасёт. Это был пограничник с bgp на двух магистралов и одна карта - внутрь, никаких натов-шейпов, немного правил ipfw. ddos-или машинку внутри.

[vlad11]

 

Тюнинг тюнингу рознь. Если вы не сумели решить проблему тюнингом - ваши проблемы.

 

От DDOS никакой тюнинг не спасёт. Это был пограничник с bgp на двух магистралов и одна карта - внутрь, никаких натов-шейпов, немного правил ipfw. ddos-или машинку внутри.

 

Вы смешали теплое с мягким.

Машинки с двумя bce спокойно обслуживают траффик до 2 Гбит/s.

Да, они не предназначены для 200kpps и выше.

Для среднего ддоса и крупнее помогает только blackhole community.

Но для этого, нужно выявить ip цели.

Вот тут тюнинг и пригодится, чтоб выдержать пару минут и сообщить вовнутрь об атаке на конкретный IP.

[YuryD]

Машинки с двумя bce спокойно обслуживают траффик до 2 Гбит/s.

 

По iperf tcp я из макс выжимал 800Мбит, что в общем-то для карты 1Г считаю нормальным, при нормальном трафике

 

Да, они не предназначены для 200kpps и выше.

Для среднего ддоса и крупнее помогает только blackhole community.

Но для этого, нужно выявить ip цели.

Вот тут тюнинг и пригодится, чтоб выдержать пару минут и сообщить вовнутрь об атаке на конкретный IP.

В те времена добиться community от верхов было почти нереально, а просьба заблэкхолить мой ip требовала кучи звонков-факсов-писем с печатями, и то в рабочее время. Блочить ddos на пограничнике - занятие почти бесполезное, трафик уже прошел через сетевую карту, и напряг пограничник. Мишени будет легче, но в целом - ddos достигла своей цели.