QWE Posted November 12, 2015 Для бордера на 1Гбит/с этот вопрос не актуален, атака выше скорости интерфейса тупо забивает аплинк. А как поживают бордеры на 10Гбит/с ? Сколько полосы или pps атаки выдерживает бордер? Понятно что если атака забивает свободную полосу (и выше) нагруженного 10гбит/с линка, то от бордера уже ничего не зависит. А если скажем загрузка аплинка 5 Гбит/с, а DDOS 3-4 гигабита т.е. суммарный траф пролезает в 10Г и pps??? (не знаю сколько написать и это интересный вопрос). Как себя чувствует сервер? Средство спасения я так понимаю одно - это быстро вычислить атакуемый IP и заблекхолить его через анонсы BGP (или позвонить вышестоящему прову) если бордер полностью не сложился. Или еще как то? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Умник Posted November 12, 2015 Зависит от версии ядра. Если pre 3.6, то будет очень тяжело, так как скорее всего routing cache будет переполняться быстрее, чем GC будет успевать его чистить. Если post 3.6 то зависит от других обстоятельств, например от количество правил в iptables, или включен ли nf_conntrack. Лучше потестить на стенде. В любом случае, если вероятность DDoS-ов велика, то использовать ядра ниже 3.6 крайне не желательно. Слишком непредсказуемо. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
silence.it Posted November 13, 2015 Далеко не последнюю роль будет играть - CPU Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 13, 2015 Далеко не последнюю роль будет играть - CPU Что именно? или какой именно лучше CPU подходит для жевания атаки? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
silence.it Posted November 13, 2015 из личного опыта: атаки которые ложили софт роутер - udp flood, соответственно чем больше pps атаки, тем сильнее грузит CPU обработка пакетов, для обработки большего кол-ва пакетов - нужны процы с более высокой частотой. Если проблема в объеме трафика, а не кол-ве pps, то и большей нагрузки на cpu не будет. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 14, 2015 из личного опыта: атаки которые ложили софт роутер - udp flood, соответственно чем больше pps атаки, тем сильнее грузит CPU обработка пакетов, для обработки большего кол-ва пакетов - нужны процы с более высокой частотой. Если проблема в объеме трафика, а не кол-ве pps, то и большей нагрузки на cpu не будет. большее число ядер лучше жует атаку - pps? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Умник Posted November 14, 2015 Да, если обработка очередей карты (RSS, interrupt affinity) разбросана по разным ядрам CPU. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 14, 2015 (edited) Да, если обработка очередей карты (RSS, interrupt affinity) разбросана по разным ядрам CPU. Очередей то много как и ядер, но поиск лучшего маршрута все равно по оперативке идет - а она одна для всех ядер CPU. Или когда атака идет (допустим на один IP) то лучший маршрут,на атакуемый IP, 100% будет сидеть в кэше каждого ядра (в ОЗУ не лезем)? И поэтому будет легче ее жевать? Edited November 14, 2015 by QWE Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Умник Posted November 14, 2015 но поиск лучшего маршрута все равно по оперативке идет - а она одна. http://vger.kernel.org/netconf2009_slides/LinuxCon2009_JesperDangaardBrouer_final.pdf Слайд 9 из 36. ... и в совсем свежих ядрах очень многое сделано, чтобы минимизировать количество cache-miss и cpu cycles на каждый packet tx и rx. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 14, 2015 но поиск лучшего маршрута все равно по оперативке идет - а она одна. http://vger.kernel.org/netconf2009_slides/LinuxCon2009_JesperDangaardBrouer_final.pdf Слайд 9 из 36. ... и в совсем свежих ядрах очень многое сделано, чтобы минимизировать количество cache-miss и cpu cycles на каждый packet tx и rx. какой дистр лучше для 10Гбит/с? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dazgluk Posted November 14, 2015 Коллеги, про route-caching то сказали конечно все правильно. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G Если есть conntrack - крутите таймеры, и задирайте лимиты соединений. Для борьбы кроме как blackhole особо ничего и не придумать, для нахождения blackhole мы используем sampled-netflow с бордеров, но учитывая что у вас речь и так о бордере - посмотрите на fastnetmon Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 14, 2015 Коллеги, про route-caching то сказали конечно все правильно. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G Если есть conntrack - крутите таймеры, и задирайте лимиты соединений. Для борьбы кроме как blackhole особо ничего и не придумать, для нахождения blackhole мы используем sampled-netflow с бордеров, но учитывая что у вас речь и так о бордере - посмотрите на fastnetmon т.е. 3.6 и выше ядро не нужно получается для жевания DDOS? Главное проц? мнения разошлись... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Умник Posted November 14, 2015 какой дистр лучше для 10Гбит/с? Любой, с ядром посвежее. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. Не так. Больше полей. Посмотрите здесь, как выглядит запись в кеше: http://lxr.free-electrons.com/source/include/net/route.h?v=3.3 Уникально идентифицирует ее как минимум еще src IP. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 14, 2015 По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G 3000000*(52+64)*8/1024/1024/1024=2,6Гбит/с 52 - заголовки фрейма и IP 64 - минимальный размер payload Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
pppoetest Posted November 14, 2015 Вы читайте что вам пишут. на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G Как правило, средний размер пакета в этих ваших интернетах ~500 байт. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted November 15, 2015 Как правило, средний размер пакета в этих ваших интернетах ~500 байт. при ддосе могут и 64байт пакетов насыпать... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dazgluk Posted November 15, 2015 какой дистр лучше для 10Гбит/с? Любой, с ядром посвежее. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. Не так. Больше полей. Посмотрите здесь, как выглядит запись в кеше: http://lxr.free-electrons.com/source/include/net/route.h?v=3.3 Уникально идентифицирует ее как минимум еще src IP. Да, действтиельно SRC ip так же кешируется, в любом случае отключенный route-cacche - не единственное преимущество новых ядер. Как правило, средний размер пакета в этих ваших интернетах ~500 байт. при ддосе могут и 64байт пакетов насыпать... Могут, могут и 150Gb/s флуда налить и положить аплинка по полосе, но по нашему опыту, что 64 байтный флуд, что дикий DDOS по полосе - бывает крайне редко, если конечно - ваши клиенты не мега энтерпрайз где DDOS - борьба с конкурентами. Если же мы говорим про физ лиц, и один юный хакер, решил заDDOSить другого юного хакера за то, что тот читерил в CS, то цифры как правило другие: 1. последнее что было - 2-3Gb/s полосы, dns/ntp amp, PPS уже не помню, в районе 300k, под таким мы просто стоим. если у абонента был бинат, ему тупо зальется 100 мегабитный порт. если внешника нет - уже хуже, в ноль забивается conntrack ( у нас на 10G натах стоит 4млн), в худшем случае приходится nullрутить. 2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит. 64 байтный флуд, за последние два года не прилетал ни разу Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
QWE Posted November 15, 2015 2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит. 15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
snvoronkov Posted November 15, 2015 15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака? Я на свой последний в 6 гбпс смотрел (больше не лезет): порядка 8000 уникальных адресов со всего шарика, нормальная такая амплификация. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dazgluk Posted November 15, 2015 2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит. 15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака? Да, по всем. Особо не анализировали, но при беглом анализе по горячим следам значительная часть была из Китая. Да и какая разница то особо, гораздо интереснее что DDoSили зачем то TeamSpeak сервер одного из абонентов, зачем?... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
silence.it Posted November 16, 2015 Да и какая разница то особо, гораздо интереснее что DDoSили зачем то TeamSpeak сервер одного из абонентов, зачем?... Интересно откуда растут ноги всех этих атак, т.к. в последнее время вопрос стал очень злободневным. Стабильно за неделю пролетает 3-4 атаки мощностью более миллиона pps, что для тазиков с conntrack'ом было смертельно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
^rage^ Posted November 16, 2015 Стабильно за неделю пролетает 3-4 атаки мощностью более миллиона pps, что для тазиков с conntrack'ом было смертельно. фильтруйте прямо в raw-табличке. это не самая хорошая практика, но она работает. самое злобное - на самой сетевой карточке. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
silence.it Posted November 17, 2015 С фильтрацией разобрались, благо на тазообразных бордерах - коннтрека нет, поэтому он справляется с нагрузками. Интересно откуда ноги растут, т.к. организовать ddos таких масштабов - дело не простое, на мой взгляд. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
dazgluk Posted November 17, 2015 Мы связываем это с популяризацией оплачиваемых онлайн турниров, например по dota2 или cs:go. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Умник Posted November 17, 2015 Откуда геймеры узнают IP-адреса других геймеров? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
