[Megas]

Понимаю сейчас закидают помидорами, но хотелось бы понять что произошло.

В один прекрасный вечер на одного клиента начали лить небольшой флуд:

 

2016-04-11 22:07:49.247926 18.130.60.236:49980 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 22:07:49.247950 166.184.79.130:63220 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 22:07:49.247960 175.92.175.135:63153 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 22:07:49.247988 *.*.*.*:80 > 84.197.3.246:47685 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248017 *.*.*.*:80 > 167.108.187.130:38199 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248033 104.244.209.106:47334 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 22:07:49.248044 1.35.153.2:58862 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 22:07:49.248054 *.*.*.*:80 > 202.224.240.116:2082 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248065 *.*.*.*:80 > 171.245.171.109:17675 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248090 *.*.*.*:80 > 49.172.67.114:19329 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248110 *.*.*.*:80 > 117.80.78.229:51624 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248148 92.15.233.35:2832 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 22:07:49.248189 32.18.162.33:40429 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 22:07:49.248200 131.212.189.59:20669 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 22:07:49.248211 *.*.*.*:80 > 82.156.230.46:20443 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248221 *.*.*.*:80 > 76.101.24.252:45931 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248232 *.*.*.*:80 > 203.187.149.165:57215 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248243 *.*.*.*:80 > 15.212.92.248:3338 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248254 *.*.*.*:80 > 216.134.85.195:21563 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248264 113.167.56.253:24624 > *.*.*.*:80 protocol: tcp flags: rst frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 22:07:49.248275 244.61.58.12:7358 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 22:07:49.248291 *.*.*.*:80 > 85.42.190.216:28081 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248308 *.*.*.*:80 > 195.158.42.156:25623 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248319 *.*.*.*:80 > 136.148.138.113:40637 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248329 *.*.*.*:80 > 125.196.40.11:49052 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248340 *.*.*.*:80 > 138.195.220.160:23985 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248351 *.*.*.*:80 > 148.2.58.166:42894 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248377 *.*.*.*:80 > 208.68.202.129:50132 protocol: tcp flags: syn,ack frag: 0  packets: 1 size: 62 bytes sample ratio: 1
2016-04-11 22:07:49.248392 73.16.255.195:51533 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 22:07:49.248406 193.45.191.30:13713 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 22:07:49.248419 38.247.145.228:37254 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1

Трафик был смешной, около 30к пакетов и порядка 40мегабит, ок, выключил виртуалку клиенту, отправили уведомление и лег спать дальше, через 30 минут будет ТП, ссесии падают на аплинки, при чем из 10 сессий, уваливались 7 с внешними каналами и IX, в шоке, думал повреждение кабеля, так как на входящих каналах трафика так и не было, даже пакет рейт почти не поднялся, думал оптика лагает или где-то серьезно у кого-то упало на вышестоящих магистралях. Но спасибо pavel.odintsov за его продукт вижу тот же трафик:

2016-04-11 23:52:30.922482 35.101.210.147:34922 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922544 82.8.130.238:49856 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922571 229.155.110.52:14036 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 23:52:30.922583 40.94.236.68:44544 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922593 232.96.71.41:34678 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 23:52:30.922603 2.99.63.75:38556 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922613 90.217.55.25:45417 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922641 242.203.253.36:3654 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 23:52:30.922652 56.85.240.73:14007 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 23:52:30.922713 76.116.169.249:58495 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922728 208.177.2.125:55178 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 23:52:30.922764 121.117.205.173:25636 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922787 168.63.117.77:45726 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922799 201.225.22.54:28647 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 60 bytes sample ratio: 1
2016-04-11 23:52:30.922830 168.29.138.146:17904 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1
2016-04-11 23:52:30.922871 141.228.100.24:55396 > *.*.*.*:80 protocol: tcp flags: syn frag: 0  packets: 1 size: 64 bytes sample ratio: 1

 

Пакеты получается как летели на клиента так и летят, ок, отправляем в blackhole и все, роутер спустя 10 минут начинает жить нормальной жизнью. В качестве роутера стоит простой juniper mx 80, вот теперь чешится репа, оказывается просто вырубить конечного клиента уже не достаточно, надо весь трафик направлять в null, странная конечно ситуация и совсем не понятно почему умерла re на роутере.

[zlolotus]

 

Пакеты получается как летели на клиента так и летят, ок, отправляем в blackhole и все, роутер спустя 10 минут начинает жить нормальной жизнью. В качестве роутера стоит простой juniper mx 80, вот теперь чешится репа, оказывается просто вырубить конечного клиента уже не достаточно, надо весь трафик направлять в null, странная конечно ситуация и совсем не понятно почему умерла re на роутере.

 

А re защищен?

[Megas]

к сожалению не был, но не совсем понятно как на него попадали пакеты если атака велась на хост в сети

[zlolotus]

к сожалению не был, но не совсем понятно как на него попадали пакеты если атака велась на хост в сети

 

получается, у вас рвались сессий по бгп с магистралами?

 

Re был в полке?

[Megas]

да, совершенно верно, re ушел в полку и вернулся от туда только после blackhole ипа клиента.

[tartila]

к сожалению не был, но не совсем понятно как на него попадали пакеты если атака велась на хост в сети

 

Нулль роут, не?

[s.lobanov]

к сожалению не был, но не совсем понятно как на него попадали пакеты если атака велась на хост в сети

 

Если хост терминируется на нём же, то начали генериться всякие arp-запросы

[Megas]

роутер не терминирует, это обычный роутер не более, только белые ip машрутизируются.

[s.lobanov]

роутер не терминирует, это обычный роутер не более, только белые ip машрутизируются.

 

а кто является точкой терминирования клиента? Если другой роутер, то как выглядит маршрут на том, где повис RE - статика или динамика. Если статика, то просто возникла L3-петля

[Megas]

мы не провайдер) хостер.

 

по этой причине не терменируем, на роутере шлюз для клиентов внутреней сети и bgp на аплинков, схема безумно простая без изврата.

просто флуд осел на роутере и положил его начинку, вот это очень сильно смутило, так как уже много было ddos и прочего, но такого чтобы при этом умирали ссесии никогда.

[s.lobanov]

на роутере шлюз для клиентов

 

это и называется терминирование. т.е. в вашем случае, когда приходил трафик на dst_ip вашего клиента, а его не было в ARP и сеть где он был была в RT, генерировался arp в огромных объёмах, ну или icmp с ответом, что типа нет такого хоста. вообщем крутите политики защиты RE

[st_re]

Или арп ещё был. а уже небыло мака в fib первого же коммутатора, и трафик лился бродкастом всем ?

[Megas]

Да, похоже на то, mx по дефолту арп держит 20 минут кажется, от сюда наверное такая ситуация и возникла.