QWE Опубликовано 12 ноября, 2015 · Жалоба Для бордера на 1Гбит/с этот вопрос не актуален, атака выше скорости интерфейса тупо забивает аплинк. А как поживают бордеры на 10Гбит/с ? Сколько полосы или pps атаки выдерживает бордер? Понятно что если атака забивает свободную полосу (и выше) нагруженного 10гбит/с линка, то от бордера уже ничего не зависит. А если скажем загрузка аплинка 5 Гбит/с, а DDOS 3-4 гигабита т.е. суммарный траф пролезает в 10Г и pps??? (не знаю сколько написать и это интересный вопрос). Как себя чувствует сервер? Средство спасения я так понимаю одно - это быстро вычислить атакуемый IP и заблекхолить его через анонсы BGP (или позвонить вышестоящему прову) если бордер полностью не сложился. Или еще как то? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Умник Опубликовано 12 ноября, 2015 · Жалоба Зависит от версии ядра. Если pre 3.6, то будет очень тяжело, так как скорее всего routing cache будет переполняться быстрее, чем GC будет успевать его чистить. Если post 3.6 то зависит от других обстоятельств, например от количество правил в iptables, или включен ли nf_conntrack. Лучше потестить на стенде. В любом случае, если вероятность DDoS-ов велика, то использовать ядра ниже 3.6 крайне не желательно. Слишком непредсказуемо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
silence.it Опубликовано 13 ноября, 2015 · Жалоба Далеко не последнюю роль будет играть - CPU Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 13 ноября, 2015 · Жалоба Далеко не последнюю роль будет играть - CPU Что именно? или какой именно лучше CPU подходит для жевания атаки? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
silence.it Опубликовано 13 ноября, 2015 · Жалоба из личного опыта: атаки которые ложили софт роутер - udp flood, соответственно чем больше pps атаки, тем сильнее грузит CPU обработка пакетов, для обработки большего кол-ва пакетов - нужны процы с более высокой частотой. Если проблема в объеме трафика, а не кол-ве pps, то и большей нагрузки на cpu не будет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 14 ноября, 2015 · Жалоба из личного опыта: атаки которые ложили софт роутер - udp flood, соответственно чем больше pps атаки, тем сильнее грузит CPU обработка пакетов, для обработки большего кол-ва пакетов - нужны процы с более высокой частотой. Если проблема в объеме трафика, а не кол-ве pps, то и большей нагрузки на cpu не будет. большее число ядер лучше жует атаку - pps? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Умник Опубликовано 14 ноября, 2015 · Жалоба Да, если обработка очередей карты (RSS, interrupt affinity) разбросана по разным ядрам CPU. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 14 ноября, 2015 (изменено) · Жалоба Да, если обработка очередей карты (RSS, interrupt affinity) разбросана по разным ядрам CPU. Очередей то много как и ядер, но поиск лучшего маршрута все равно по оперативке идет - а она одна для всех ядер CPU. Или когда атака идет (допустим на один IP) то лучший маршрут,на атакуемый IP, 100% будет сидеть в кэше каждого ядра (в ОЗУ не лезем)? И поэтому будет легче ее жевать? Изменено 14 ноября, 2015 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Умник Опубликовано 14 ноября, 2015 · Жалоба но поиск лучшего маршрута все равно по оперативке идет - а она одна. http://vger.kernel.org/netconf2009_slides/LinuxCon2009_JesperDangaardBrouer_final.pdf Слайд 9 из 36. ... и в совсем свежих ядрах очень многое сделано, чтобы минимизировать количество cache-miss и cpu cycles на каждый packet tx и rx. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 14 ноября, 2015 · Жалоба но поиск лучшего маршрута все равно по оперативке идет - а она одна. http://vger.kernel.org/netconf2009_slides/LinuxCon2009_JesperDangaardBrouer_final.pdf Слайд 9 из 36. ... и в совсем свежих ядрах очень многое сделано, чтобы минимизировать количество cache-miss и cpu cycles на каждый packet tx и rx. какой дистр лучше для 10Гбит/с? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dazgluk Опубликовано 14 ноября, 2015 · Жалоба Коллеги, про route-caching то сказали конечно все правильно. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G Если есть conntrack - крутите таймеры, и задирайте лимиты соединений. Для борьбы кроме как blackhole особо ничего и не придумать, для нахождения blackhole мы используем sampled-netflow с бордеров, но учитывая что у вас речь и так о бордере - посмотрите на fastnetmon Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 14 ноября, 2015 · Жалоба Коллеги, про route-caching то сказали конечно все правильно. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G Если есть conntrack - крутите таймеры, и задирайте лимиты соединений. Для борьбы кроме как blackhole особо ничего и не придумать, для нахождения blackhole мы используем sampled-netflow с бордеров, но учитывая что у вас речь и так о бордере - посмотрите на fastnetmon т.е. 3.6 и выше ядро не нужно получается для жевания DDOS? Главное проц? мнения разошлись... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Умник Опубликовано 14 ноября, 2015 · Жалоба какой дистр лучше для 10Гбит/с? Любой, с ядром посвежее. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. Не так. Больше полей. Посмотрите здесь, как выглядит запись в кеше: http://lxr.free-electrons.com/source/include/net/route.h?v=3.3 Уникально идентифицирует ее как минимум еще src IP. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 14 ноября, 2015 · Жалоба По факту - умирает conntrack если он есть, если без коннтрака, то на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G 3000000*(52+64)*8/1024/1024/1024=2,6Гбит/с 52 - заголовки фрейма и IP 64 - минимальный размер payload Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 14 ноября, 2015 · Жалоба Вы читайте что вам пишут. на любом современном процессоре можно простоять 2-3Mpps, это как правило больше чем 10G Как правило, средний размер пакета в этих ваших интернетах ~500 байт. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 15 ноября, 2015 · Жалоба Как правило, средний размер пакета в этих ваших интернетах ~500 байт. при ддосе могут и 64байт пакетов насыпать... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dazgluk Опубликовано 15 ноября, 2015 · Жалоба какой дистр лучше для 10Гбит/с? Любой, с ядром посвежее. Вот только когда тебя DDoSят, DST как правило кешировать не надо, он же абонент из твоей сети, давно в кеше есть. Не так. Больше полей. Посмотрите здесь, как выглядит запись в кеше: http://lxr.free-electrons.com/source/include/net/route.h?v=3.3 Уникально идентифицирует ее как минимум еще src IP. Да, действтиельно SRC ip так же кешируется, в любом случае отключенный route-cacche - не единственное преимущество новых ядер. Как правило, средний размер пакета в этих ваших интернетах ~500 байт. при ддосе могут и 64байт пакетов насыпать... Могут, могут и 150Gb/s флуда налить и положить аплинка по полосе, но по нашему опыту, что 64 байтный флуд, что дикий DDOS по полосе - бывает крайне редко, если конечно - ваши клиенты не мега энтерпрайз где DDOS - борьба с конкурентами. Если же мы говорим про физ лиц, и один юный хакер, решил заDDOSить другого юного хакера за то, что тот читерил в CS, то цифры как правило другие: 1. последнее что было - 2-3Gb/s полосы, dns/ntp amp, PPS уже не помню, в районе 300k, под таким мы просто стоим. если у абонента был бинат, ему тупо зальется 100 мегабитный порт. если внешника нет - уже хуже, в ноль забивается conntrack ( у нас на 10G натах стоит 4млн), в худшем случае приходится nullрутить. 2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит. 64 байтный флуд, за последние два года не прилетал ни разу Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 15 ноября, 2015 · Жалоба 2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит. 15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 15 ноября, 2015 · Жалоба 15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака? Я на свой последний в 6 гбпс смотрел (больше не лезет): порядка 8000 уникальных адресов со всего шарика, нормальная такая амплификация. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dazgluk Опубликовано 15 ноября, 2015 · Жалоба 2. Иногда прилетает по хлеще. 2-3Mpps, 10-15Gb/s, такое уже только nullрутить, ибо забиваются даже десятки до магистралов, но такое бывает не часто, все же денег стоит. 15Gb/s, это я так понимаю по всем аплинкам? Не анализировали с какого числа IP, с какого числа провайдеров (или route object) прилетает такая атака? Да, по всем. Особо не анализировали, но при беглом анализе по горячим следам значительная часть была из Китая. Да и какая разница то особо, гораздо интереснее что DDoSили зачем то TeamSpeak сервер одного из абонентов, зачем?... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
silence.it Опубликовано 16 ноября, 2015 · Жалоба Да и какая разница то особо, гораздо интереснее что DDoSили зачем то TeamSpeak сервер одного из абонентов, зачем?... Интересно откуда растут ноги всех этих атак, т.к. в последнее время вопрос стал очень злободневным. Стабильно за неделю пролетает 3-4 атаки мощностью более миллиона pps, что для тазиков с conntrack'ом было смертельно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
^rage^ Опубликовано 16 ноября, 2015 · Жалоба Стабильно за неделю пролетает 3-4 атаки мощностью более миллиона pps, что для тазиков с conntrack'ом было смертельно. фильтруйте прямо в raw-табличке. это не самая хорошая практика, но она работает. самое злобное - на самой сетевой карточке. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
silence.it Опубликовано 17 ноября, 2015 · Жалоба С фильтрацией разобрались, благо на тазообразных бордерах - коннтрека нет, поэтому он справляется с нагрузками. Интересно откуда ноги растут, т.к. организовать ddos таких масштабов - дело не простое, на мой взгляд. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dazgluk Опубликовано 17 ноября, 2015 · Жалоба Мы связываем это с популяризацией оплачиваемых онлайн турниров, например по dota2 или cs:go. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Умник Опубликовано 17 ноября, 2015 · Жалоба Откуда геймеры узнают IP-адреса других геймеров? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...