[roma33rus]

Всем привет. Нужна срочная помощь. Три дня уже боремся. Есть карточка Intel X520-DA2 и Фря 9.3. В один прекрасный момент у нас возрос трафик (в полку). График приложу. Сначала думали, что это дос на днс. Службу днс отрубал и закрывал ее для внешних сетей. Не помогло. В момент проблемы смотрю tcpdump с этого интерфейса и вижу картину, что трафик не ходит просто напросто, так изредка 2-3 днс запроса бывали какие-то. Хотя по графику видно, что загрузка полная. При ддос я думаю в tcpdump была бы другая картина. Кто что может посоветовать? Что и как мне посмотреть. Ничего понять не могу.

Edited January 2, 2016 by roma33rus

[pppoetest]

В момент полочки смотрите tcpdump'ом кто больше всего получает трафика. Скорее всего ддосят какой-то конкретный ip, причем это необязательно dns.

[roma33rus]

В момент полочки смотрите tcpdump'ом кто больше всего получает трафика. Скорее всего ддосят какой-то конкретный ip, причем это необязательно dns.

В том то и дело, когда смотрю tcpdump, то на порту трафика вообще нет. Эта машинка пограничный маршрутизатор, поэтому весь трафик идет через него. По графикам я понял, что трафик в 1.3 гигабита, дальше этой машинки не идет.

[No_name]

Какую роль выполняет этот сервер и какие рабочие пакеты в нем установлены?

[roma33rus]

Какую роль выполняет этот сервер и какие рабочие пакеты в нем установлены?

 

Это пограничный маршрутизатор. На нем quagga, фулвью, dhcp сервер, bind стоит. Шейпер dummynet. Одновременно кстати была атака и на другой наш днс сервер.

 

Сейчас временно запустил все через нат. Поставил wireshark. Сейчас обратно все включу, дождусь атаки и сниму дамп.

Edited January 2, 2016 by roma33rus

[Megas]

Дыкс, разве так сложно отмирорить порт на другую железку и посмотреть что там чтобы не прерывать работу основного канала?

[vlad11]

1) нарисуйте схему, в какое оборудование этот сервер подключен.

2) поднимайте netflow/зеркало на внешних (сетевых) портах и изучайте пакеты.

 

Вангую за мультикаст из соседнего порта на коммутаторе или мусор от аплинка.

 

Дыкс, разве так сложно отмирорить порт на другую железку и посмотреть что там чтобы не прерывать работу основного канала?

 

Я думаю, аплинк заходит напрямую в сетевую карту, без промежуточного граничного коммутатора.

[roma33rus]

1) нарисуйте схему, в какое оборудование этот сервер подключен.

2) поднимайте netflow/зеркало на внешних (сетевых) портах и изучайте пакеты.

 

Вангую за мультикаст из соседнего порта на коммутаторе или мусор от аплинка.

 

Дыкс, разве так сложно отмирорить порт на другую железку и посмотреть что там чтобы не прерывать работу основного канала?

 

Я думаю, аплинк заходит напрямую в сетевую карту, без промежуточного граничного коммутатора.

В простом изображении схема такая. Аплинк сначала в коммутатор заходит. Зеркалирование буду настраивать скоро

Edited January 2, 2016 by roma33rus

[snvoronkov]

В простом изображении схема такая. Аплинк сначала в коммутатор заходит. Зеркалирование буду настраивать скоро

На коммутаторе пакеты смотрите - броадкаст с аплинка, малтикаст. Ещё можно SFlow снять с коммутатора или зеркало.

[orlik]

Может просто петля ? График с порта свича рисуете или сервера ?

[roma33rus]

Может просто петля ? График с порта свича рисуете или сервера ?

 

Это точно не петля. Мы сейчас всех за нат посадили. Всплесков таких нету. Графики и с сервера рисую и с коммутатор. Ситуация везде одинаковая

[zlolotus]

Может просто петля ? График с порта свича рисуете или сервера ?

 

Это точно не петля. Мы сейчас всех за нат посадили. Всплесков таких нету. Графики и с сервера рисую и с коммутатор. Ситуация везде одинаковая

 

 

1) запустить trafshow с консоли на внешнем интерфейсе, и посмотреть что там льется.

 

2)netstat -h 1

top -SPH

в момент данной проблемы

 

3) Один из вариантов, оптика может затухать... посмотрите ошибки netstat -h 1

 

Попросите аплинка, предоставить график с его стороны

 

4) У вас отсутствует график по pps

 

5) В Момент проблемы, отключите внутр интефейс. И смотрите что осталось на внешнем, через trafshow или tcpdump

[roma33rus]

Может просто петля ? График с порта свича рисуете или сервера ?

 

Это точно не петля. Мы сейчас всех за нат посадили. Всплесков таких нету. Графики и с сервера рисую и с коммутатор. Ситуация везде одинаковая

 

 

1) запустить trafshow с консоли на внешнем интерфейсе, и посмотреть что там льется.

 

2)netstat -h 1

top -SPH

в момент данной проблемы

 

3) Один из вариантов, оптика может затухать... посмотрите ошибки netstat -h 1

 

Попросите аплинка, предоставить график с его стороны

 

4) У вас отсутствует график по pps

 

5) В Момент проблемы, отключите внутр интефейс. И смотрите что осталось на внешнем, через trafshow или tcpdump

 

Это однозначно атака. Происки конкурентов. Сейчас отпустило))) Количество pps в момент проблемы тоже увеличивалось на приличное количество. Аплинк подтверждал, что канал у нас в "полку" был. Зеркалирование настроил. Если еще раз атака будет, то буду дамп вайршарком снимать. И еще посоветовали сурикат поставить. А вообще будем сетку переделывать. Граничный маршрутизатор переносить на отдельную железяку и шейпер на другую.

[vlad11]

Граничный маршрутизатор переносить на отдельную железяку и шейпер на другую.

 

Я рекомендую впереди два граничных коммутатора (резервирование N+1) и втыкать в него несколько BRAS'ов (шейперов). На BRAS'ах держать BGP.

Да, аплинки могут в позу стать, жалко им интерфейсных IP. Но резервирование помогает проводить плановое ТО без даунтайма.

[zlolotus]

Граничный маршрутизатор переносить на отдельную железяку и шейпер на другую.

 

Я рекомендую впереди два граничных коммутатора (резервирование N+1) и втыкать в него несколько BRAS'ов (шейперов). На BRAS'ах держать BGP.

Да, аплинки могут в позу стать, жалко им интерфейсных IP. Но резервирование помогает проводить плановое ТО без даунтайма.

 

 

можете более детально рассказать об этой схеме?

[roma33rus]

Граничный маршрутизатор переносить на отдельную железяку и шейпер на другую.

 

Я рекомендую впереди два граничных коммутатора (резервирование N+1) и втыкать в него несколько BRAS'ов (шейперов). На BRAS'ах держать BGP.

Да, аплинки могут в позу стать, жалко им интерфейсных IP. Но резервирование помогает проводить плановое ТО без даунтайма.

 

Впринципе что-то такое я и хотел делать, в идеале. Только как вы верно заметили, аплинки не всегда на встречу пойдут :-(

[vlad11]

Впринципе что-то такое я и хотел делать, в идеале. Только как вы верно заметили, аплинки не всегда на встречу пойдут :-(

 

Тогда придется использовать IP unnumbered, CARP или VRRP.

И кое-где статические маршруты на аплинков.

[roma33rus]

Впринципе что-то такое я и хотел делать, в идеале. Только как вы верно заметили, аплинки не всегда на встречу пойдут :-(

 

 

Тогда придется использовать IP unnumbered, CARP или VRRP.

И кое-где статические маршруты на аплинков.

 

 

Да да. Так и думали делать.

[Wingman]

Всем привет. Нужна срочная помощь. Три дня уже боремся. Есть карточка Intel X520-DA2 и Фря 9.3. В один прекрасный момент у нас возрос трафик (в полку). График приложу. Сначала думали, что это дос на днс. Службу днс отрубал и закрывал ее для внешних сетей. Не помогло. В момент проблемы смотрю tcpdump с этого интерфейса и вижу картину, что трафик не ходит просто напросто, так изредка 2-3 днс запроса бывали какие-то. Хотя по графику видно, что загрузка полная. При ддос я думаю в tcpdump была бы другая картина. Кто что может посоветовать? Что и как мне посмотреть. Ничего понять не могу.

А прерывания сетевухи у вас к процам не прибиты?

Мы на линуксах прибиваем; в случае ддоса на/от одного юзера за брасом в полку по softirq уходит всего лишь одно ядро из 24 (на брасах у нас по 2 12ядерных проца), большая часть юзеров на брасе вообще ничего не замечает, и есть время и воможность без проблем помониторить трафик

[roma33rus]

Всем привет. Нужна срочная помощь. Три дня уже боремся. Есть карточка Intel X520-DA2 и Фря 9.3. В один прекрасный момент у нас возрос трафик (в полку). График приложу. Сначала думали, что это дос на днс. Службу днс отрубал и закрывал ее для внешних сетей. Не помогло. В момент проблемы смотрю tcpdump с этого интерфейса и вижу картину, что трафик не ходит просто напросто, так изредка 2-3 днс запроса бывали какие-то. Хотя по графику видно, что загрузка полная. При ддос я думаю в tcpdump была бы другая картина. Кто что может посоветовать? Что и как мне посмотреть. Ничего понять не могу.

А прерывания сетевухи у вас к процам не прибиты?

Мы на линуксах прибиваем; в случае ддоса на/от одного юзера за брасом в полку по softirq уходит всего лишь одно ядро из 24 (на брасах у нас по 2 12ядерных проца), большая часть юзеров на брасе вообще ничего не замечает, и есть время и воможность без проблем помониторить трафик

Прибиты. Только атака у нас идет на наш сервер, а не на пользователя. Так то да, если атака на пользователя, то я думаю проблем было много меньше.

[Wingman]

Какую роль выполняет этот сервер и какие рабочие пакеты в нем установлены?

 

Это пограничный маршрутизатор. На нем quagga, фулвью, dhcp сервер, bind стоит. Шейпер dummynet. Одновременно кстати была атака и на другой наш днс сервер.

 

Сейчас временно запустил все через нат. Поставил wireshark. Сейчас обратно все включу, дождусь атаки и сниму дамп.

 

Прибиты. Только атака у нас идет на наш сервер, а не на пользователя. Так то да, если атака на пользователя, то я думаю проблем было много меньше.

Гм. А не лучше ли вынести все сторонние сервисы, которым нужен внешний ип (навроде dns), на другую машину, а на маршрутизаторе - закрыть наглухо доступ извне ото всех кроме аплинков для bgp-взаимодействия?

Можно вообще на коммутаторе между сервером и аплинком ацлями зарезать всё, что не от аплинка, где dst=ип_маршрутизатора

 

Тогда и ддосить нечего будет

[roma33rus]

Какую роль выполняет этот сервер и какие рабочие пакеты в нем установлены?

 

Это пограничный маршрутизатор. На нем quagga, фулвью, dhcp сервер, bind стоит. Шейпер dummynet. Одновременно кстати была атака и на другой наш днс сервер.

 

Сейчас временно запустил все через нат. Поставил wireshark. Сейчас обратно все включу, дождусь атаки и сниму дамп.

 

Прибиты. Только атака у нас идет на наш сервер, а не на пользователя. Так то да, если атака на пользователя, то я думаю проблем было много меньше.

Гм. А не лучше ли вынести все сторонние сервисы, которым нужен внешний ип (навроде dns), на другую машину, а на маршрутизаторе - закрыть наглухо доступ извне ото всех кроме аплинков для bgp-взаимодействия?

Можно вообще на коммутаторе между сервером и аплинком ацлями зарезать всё, что не от аплинка, где dst=ип_маршрутизатора

 

Тогда и ддосить нечего будет

 

Да, уже и о переносе ДНСа на другую машинку тоже подумал. А если резать на коммутаторе ацлем, думаете он не захлебнется?

[Wingman]

Коммутатор? У нормальных свитчей ацли в железе (ну за редкими и специфичными исключениями), а трафик - вайрспид

[roma33rus]

Коммутатор? У нормальных свитчей ацли в железе (ну за редкими и специфичными исключениями), а трафик - вайрспид

 

У нас головной свитч DGS-3420-28SC. Можно впринципе попробовать. Интересно, что из этого получится.

Edited January 14, 2016 by roma33rus

[kayot]

roma33rus

Резать L2 трафик acl'ом? А чего его пробовать, будет работать. И 10g пропустит с 0 загрузкой.