Перейти к содержимому
Калькуляторы

У кого linux softrouter 10Гбит/с, во время (D)DOS, как живется?

Для бордера на 1Гбит/с этот вопрос не актуален, атака выше скорости интерфейса тупо забивает аплинк.

 

А как поживают бордеры на 10Гбит/с ? Сколько полосы или pps атаки выдерживает бордер? Понятно что если атака забивает свободную полосу (и выше) нагруженного 10гбит/с линка, то от бордера уже ничего не зависит. А если скажем загрузка аплинка 5 Гбит/с, а DDOS 3-4 гигабита т.е. суммарный траф пролезает в 10Г и pps??? (не знаю сколько написать и это интересный вопрос). Как себя чувствует сервер?

 

 

Средство спасения я так понимаю одно - это быстро вычислить атакуемый IP и заблекхолить его через анонсы BGP (или позвонить вышестоящему прову) если бордер полностью не сложился. Или еще как то?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Зависит от версии ядра. Если pre 3.6, то будет очень тяжело, так как скорее всего routing cache будет переполняться быстрее, чем GC будет успевать его чистить. Если post 3.6 то зависит от других обстоятельств, например от количество правил в iptables, или включен ли nf_conntrack. Лучше потестить на стенде.

 

В любом случае, если вероятность DDoS-ов велика, то использовать ядра ниже 3.6 крайне не желательно. Слишком непредсказуемо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Далеко не последнюю роль будет играть - CPU

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Далеко не последнюю роль будет играть - CPU

Что именно? или какой именно лучше CPU подходит для жевания атаки?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

из личного опыта:

атаки которые ложили софт роутер - udp flood, соответственно чем больше pps атаки, тем сильнее грузит CPU обработка пакетов, для обработки большего кол-ва пакетов - нужны процы с более высокой частотой.

Если проблема в объеме трафика, а не кол-ве pps, то и большей нагрузки на cpu не будет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

из личного опыта:

атаки которые ложили софт роутер - udp flood, соответственно чем больше pps атаки, тем сильнее грузит CPU обработка пакетов, для обработки большего кол-ва пакетов - нужны процы с более высокой частотой.

Если проблема в объеме трафика, а не кол-ве pps, то и большей нагрузки на cpu не будет.

большее число ядер лучше жует атаку - pps?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да, если обработка очередей карты (RSS, interrupt affinity) разбросана по разным ядрам CPU.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да, если обработка очередей карты (RSS, interrupt affinity) разбросана по разным ядрам CPU.

Очередей то много как и ядер, но поиск лучшего маршрута все равно по оперативке идет - а она одна для всех ядер CPU.

 

Или когда атака идет (допустим на один IP) то лучший маршрут,на атакуемый IP, 100% будет сидеть в кэше каждого ядра (в ОЗУ не лезем)? И поэтому будет легче ее жевать?

Изменено пользователем QWE

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

но поиск лучшего маршрута все равно по оперативке идет - а она одна.

http://vger.kernel.org/netconf2009_slides/LinuxCon2009_JesperDangaardBrouer_final.pdf

Слайд 9 из 36.

 

... и в совсем свежих ядрах очень многое сделано, чтобы минимизировать количество cache-miss и cpu cycles на каждый packet tx и rx.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

но поиск лучшего маршрута все равно по оперативке идет - а она одна.

http://vger.kernel.org/netconf2009_slides/LinuxCon2009_JesperDangaardBrouer_final.pdf

Слайд 9 из 36.

 

... и в совсем свежих ядрах очень многое сделано, чтобы минимизировать количество cache-miss и cpu cycles на каждый packet tx и rx.

 

какой дистр лучше для 10Гбит/с?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, про route-caching то сказали конечно все правильно.

Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть.

 

По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G

Если есть conntrack - крутите таймеры, и задирайте лимиты соединений.

 

Для борьбы кроме как blackhole особо ничего и не придумать, для нахождения blackhole мы используем sampled-netflow с бордеров, но учитывая что у вас речь и так о бордере - посмотрите на fastnetmon

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, про route-caching то сказали конечно все правильно.

Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть.

 

По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G

Если есть conntrack - крутите таймеры, и задирайте лимиты соединений.

 

Для борьбы кроме как blackhole особо ничего и не придумать, для нахождения blackhole мы используем sampled-netflow с бордеров, но учитывая что у вас речь и так о бордере - посмотрите на fastnetmon

 

т.е. 3.6 и выше ядро не нужно получается для жевания DDOS? Главное проц?

мнения разошлись...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

какой дистр лучше для 10Гбит/с?

Любой, с ядром посвежее.

 

Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть.

Не так. Больше полей. Посмотрите здесь, как выглядит запись в кеше: http://lxr.free-electrons.com/source/include/net/route.h?v=3.3

Уникально идентифицирует ее как минимум еще src IP.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G

 

3000000*(52+64)*8/1024/1024/1024=2,6Гбит/с

52 - заголовки фрейма и IP

64 - минимальный размер payload

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вы читайте что вам пишут.

на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G

Как правило, средний размер пакета в этих ваших интернетах ~500 байт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как правило, средний размер пакета в этих ваших интернетах ~500 байт.

при ддосе могут и 64байт пакетов насыпать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

какой дистр лучше для 10Гбит/с?

Любой, с ядром посвежее.

 

Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть.

Не так. Больше полей. Посмотрите здесь, как выглядит запись в кеше: http://lxr.free-electrons.com/source/include/net/route.h?v=3.3

Уникально идентифицирует ее как минимум еще src IP.

Да, действтиельно SRC ip так же кешируется, в любом случае отключенный route-cacche - не единственное преимущество новых ядер.

 

Как правило, средний размер пакета в этих ваших интернетах ~500 байт.

при ддосе могут и 64байт пакетов насыпать...

Могут, могут и 150Gb/s флуда налить и положить аплинка по полосе, но по нашему опыту, что 64 байтный флуд, что дикий DDOS по полосе - бывает крайне редко, если конечно - ваши клиенты не мега энтерпрайз где DDOS - борьба с конкурентами.

Если же мы говорим про физ лиц, и один юный хакер, решил заDDOSить другого юного хакера за то, что тот читерил в CS, то цифры как правило другие:

1. последнее что было - 2-3Gb/s полосы, dns/ntp amp, PPS уже не помню, в районе 300k, под таким мы просто стоим. если у абонента был бинат, ему тупо зальется 100 мегабитный порт. если внешника нет - уже хуже, в ноль забивается conntrack ( у нас на 10G натах стоит 4млн), в худшем случае приходится nullрутить.

2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит.

 

64 байтный флуд, за последние два года не прилетал ни разу

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит.

 

15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака?

Я на свой последний в 6 гбпс смотрел (больше не лезет): порядка 8000 уникальных адресов со всего шарика, нормальная такая амплификация.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит.

 

15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака?

Да, по всем.

Особо не анализировали, но при беглом анализе по горячим следам значительная часть была из Китая.

Да и какая разница то особо, гораздо интереснее что DDoSили зачем то TeamSpeak сервер одного из абонентов, зачем?...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да и какая разница то особо, гораздо интереснее что DDoSили зачем то TeamSpeak сервер одного из абонентов, зачем?...

Интересно откуда растут ноги всех этих атак, т.к. в последнее время вопрос стал очень злободневным. Стабильно за неделю пролетает 3-4 атаки мощностью более миллиона pps, что для тазиков с conntrack'ом было смертельно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Стабильно за неделю пролетает 3-4 атаки мощностью более миллиона pps, что для тазиков с conntrack'ом было смертельно.

 

фильтруйте прямо в raw-табличке. это не самая хорошая практика, но она работает.

самое злобное - на самой сетевой карточке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

С фильтрацией разобрались, благо на тазообразных бордерах - коннтрека нет, поэтому он справляется с нагрузками. Интересно откуда ноги растут, т.к. организовать ddos таких масштабов - дело не простое, на мой взгляд.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мы связываем это с популяризацией оплачиваемых онлайн турниров, например по dota2 или cs:go.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Откуда геймеры узнают IP-адреса других геймеров?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.