pavel.odintsov

За прошедшие два месяца мы значительно улучшили функционал хранилища трафика - https://fastnetmon.com/fastnetmon-advanced-traffic-persistency/ Теперь установка подсистемы traffic visibility намного проще. Для Community версии было добавлено целых два новых плагина, один для Juniper https://github.com/pavel-odintsov/fastnetmon/tree/master/src/juniper_plugin, другой для улучшенной интеграции с Mikrotik https://github.com/DollyTeam/Dolly-Fastnetmon

А также трафик можно писать модулем traffic persistency от FastNetMon (Clickhouse backed): https://fastnetmon.com/fastnetmon-advanced-traffic-persistency/

Отлично! Спасибо! :) Подготовили review.

Добрый день! К сожалению, с QnQ не все так просто - для его кодирования разные вендоры используют разные ethertype. Например, https://forums.juniper.net/t5/Ethernet-Switching/Q-in-Q-0x8100-or-0x9100/td-p/105870 И чтобы это сделать красиво - нужно делать парсер конфигурируемым, а это довольно сложно. Чтобы не потерялось, лучше всего завести тикет https://github.com/pavel-odintsov/fastnetmon/issues и приаттачить pcap дамп с указанием модели и вендора, с которого он собран, чтобы было на что опираться при модификации парсера.

Свичи на Линуксе. Это либо сильно круто (Cumulus + Whitelabel) либо слишком страшно :)

Добрый день! Через оптический делитель работать должно без проблем, PF_RING/Netmap/AF_PACKET прожуют в районе 2-4 гигабит без проблем. В Advanced версии много оптимизаций и без проблем до 10/40G отрабатывает на хорошем железе.

Рад, что разобрались! Эти функции представляют собой возможность блокировать именно паразитный трафик силами BGP Flow spec, если он поддерживается роутерами. В этом режиме вместо BGP Blackhole (блокирующего весь трафик) используется BGP Flowspec, который блокирует именно трафик атаки и сам узел продолжает работать.

Добрый вечер! Разумеется, обе (community / advanced) версии могут фиксировать такие атаки.

Рад что пригодилось :)

Могу рекомендовать свою же статью https://habr.com/post/261161/ :)

FastNetMon Advanced умеет экспорт в Clickhouse (хранить - хоть за год) и разметку автономок даже если роутер её не передает сам. Единственное, только в платной версии: https://fastnetmon.com/fastnetmon-advanced-traffic-persistency/

А между тем FastNetMon доступен искаропки на Ubuntu 18.04 LTS :) Pavel Odintsov, [27.04.18 18:42] root@ubuntu1804:~# cat /etc/issue Ubuntu 18.04 LTS \n \l root@ubuntu1804:~# apt-get install -y fastnetmon Reading package lists... Done Building dependency tree Reading state information... Done The following packages were automatically installed and are no longer required: dconf-gsettings-backend dconf-service gir1.2-goa-1.0 gir1.2-secret-1 gir1.2-snapd-1 glib-networking glib-networking-common glib-networking-services gsettings-desktop-schemas libdconf1 libgoa-1.0-0b libgoa-1.0-common libjson-glib-1.0-0 libjson-glib-1.0-common libproxy1v5 libsecret-1-0 libsecret-common libsnapd-glib1 libsoup2.4-1 Use 'apt autoremove' to remove them. The following additional packages will be installed: libboost-program-options1.65.1 libboost-regex1.65.1 libboost-system1.65.1 libboost-thread1.65.1 libbson-1.0-0 libhiredis0.13 liblog4cpp5v5 libluajit-5.1-2 libluajit-5.1-common libmongoc-1.0-0 libndpi5 libsnappy1v5 The following NEW packages will be installed: fastnetmon libboost-program-options1.65.1 libboost-regex1.65.1 libboost-system1.65.1 libboost-thread1.65.1 libbson-1.0-0 libhiredis0.13 liblog4cpp5v5 libluajit-5.1-2 libluajit-5.1-common libmongoc-1.0-0 libndpi5 libsnappy1v5 0 upgraded, 13 newly installed, 0 to remove and 20 not upgraded. Need to get 1,466 kB of archives. After this operation, 5,193 kB of additional disk space will be used. Get:1 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/main amd64 libboost-program-options1.65.1 amd64 1.65.1+dfsg-0ubuntu5 [137 kB] Get:2 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 libboost-regex1.65.1 amd64 1.65.1+dfsg-0ubuntu5 [259 kB] Get:3 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/main amd64 libboost-system1.65.1 amd64 1.65.1+dfsg-0ubuntu5 [10.5 kB] Get:4 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/main amd64 libboost-thread1.65.1 amd64 1.65.1+dfsg-0ubuntu5 [43.2 kB] Get:5 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 libbson-1.0-0 amd64 1.9.2-1 [68.6 kB] Get:6 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 libhiredis0.13 amd64 0.13.3-2.2 [25.3 kB] Get:7 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 liblog4cpp5v5 amd64 1.1.1-3 [76.5 kB] Get:8 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 libluajit-5.1-common all 2.1.0~beta3+dfsg-5.1 [44.3 kB] Get:9 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 libluajit-5.1-2 amd64 2.1.0~beta3+dfsg-5.1 [227 kB] Get:10 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/main amd64 libsnappy1v5 amd64 1.1.7-1 [16.0 kB] Get:11 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 libmongoc-1.0-0 amd64 1.9.2+dfsg-1build1 [165 kB] Get:12 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 libndpi5 amd64 2.2-1 [127 kB] Get:13 http://nova.clouds.archive.ubuntu.com/ubuntu bionic/universe amd64 fastnetmon amd64 1.1.3+dfsg-6build1 [267 kB] Fetched 1,466 kB in 0s (13.3 MB/s) Selecting previously unselected package libboost-program-options1.65.1:amd64. (Reading database ... 68465 files and directories currently installed.) Preparing to unpack .../00-libboost-program-options1.65.1_1.65.1+dfsg-0ubuntu5_amd64.deb ... Unpacking libboost-program-options1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Selecting previously unselected package libboost-regex1.65.1:amd64. Preparing to unpack .../01-libboost-regex1.65.1_1.65.1+dfsg-0ubuntu5_amd64.deb ... Unpacking libboost-regex1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Selecting previously unselected package libboost-system1.65.1:amd64. Preparing to unpack .../02-libboost-system1.65.1_1.65.1+dfsg-0ubuntu5_amd64.deb ... Unpacking libboost-system1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Selecting previously unselected package libboost-thread1.65.1:amd64. Preparing to unpack .../03-libboost-thread1.65.1_1.65.1+dfsg-0ubuntu5_amd64.deb ... Unpacking libboost-thread1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Selecting previously unselected package libbson-1.0-0. Preparing to unpack .../04-libbson-1.0-0_1.9.2-1_amd64.deb ... Unpacking libbson-1.0-0 (1.9.2-1) ... Selecting previously unselected package libhiredis0.13:amd64. Preparing to unpack .../05-libhiredis0.13_0.13.3-2.2_amd64.deb ... Unpacking libhiredis0.13:amd64 (0.13.3-2.2) ... Selecting previously unselected package liblog4cpp5v5. Preparing to unpack .../06-liblog4cpp5v5_1.1.1-3_amd64.deb ... Unpacking liblog4cpp5v5 (1.1.1-3) ... Selecting previously unselected package libluajit-5.1-common. Preparing to unpack .../07-libluajit-5.1-common_2.1.0~beta3+dfsg-5.1_all.deb ... Unpacking libluajit-5.1-common (2.1.0~beta3+dfsg-5.1) ... Selecting previously unselected package libluajit-5.1-2:amd64. Preparing to unpack .../08-libluajit-5.1-2_2.1.0~beta3+dfsg-5.1_amd64.deb ... Unpacking libluajit-5.1-2:amd64 (2.1.0~beta3+dfsg-5.1) ... Selecting previously unselected package libsnappy1v5:amd64. Preparing to unpack .../09-libsnappy1v5_1.1.7-1_amd64.deb ... Unpacking libsnappy1v5:amd64 (1.1.7-1) ... Selecting previously unselected package libmongoc-1.0-0. Preparing to unpack .../10-libmongoc-1.0-0_1.9.2+dfsg-1build1_amd64.deb ... Unpacking libmongoc-1.0-0 (1.9.2+dfsg-1build1) ... Selecting previously unselected package libndpi5:amd64. Preparing to unpack .../11-libndpi5_2.2-1_amd64.deb ... Unpacking libndpi5:amd64 (2.2-1) ... Selecting previously unselected package fastnetmon. Preparing to unpack .../12-fastnetmon_1.1.3+dfsg-6build1_amd64.deb ... Unpacking fastnetmon (1.1.3+dfsg-6build1) ... dpkg: warning: unable to delete old directory '/etc/init': Directory not empty dpkg: warning: unable to delete old directory '/opt/fastnetmon/app': Directory not empty dpkg: warning: unable to delete old directory '/opt/fastnetmon': Directory not empty dpkg: warning: unable to delete old directory '/opt': Directory not empty Setting up libhiredis0.13:amd64 (0.13.3-2.2) ... Setting up libluajit-5.1-common (2.1.0~beta3+dfsg-5.1) ... Processing triggers for ureadahead (0.100.0-20) ... Setting up libbson-1.0-0 (1.9.2-1) ... Setting up liblog4cpp5v5 (1.1.1-3) ... Setting up libboost-system1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Processing triggers for libc-bin (2.27-3ubuntu1) ... Setting up libboost-thread1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Setting up libsnappy1v5:amd64 (1.1.7-1) ... Processing triggers for systemd (237-3ubuntu7) ... Setting up libluajit-5.1-2:amd64 (2.1.0~beta3+dfsg-5.1) ... Processing triggers for man-db (2.8.3-2) ... Setting up libndpi5:amd64 (2.2-1) ... Setting up libmongoc-1.0-0 (1.9.2+dfsg-1build1) ... Setting up libboost-program-options1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Setting up libboost-regex1.65.1:amd64 (1.65.1+dfsg-0ubuntu5) ... Setting up fastnetmon (1.1.3+dfsg-6build1) ... Processing triggers for libc-bin (2.27-3ubuntu1) ... Processing triggers for ureadahead (0.100.0-20) ... Processing triggers for systemd (237-3ubuntu7) ... root@ubuntu1804:~# ps aux|grep fastnetmon root 6724 0.0 0.8 553700 8940 ? Sl 18:35 0:00 /usr/sbin/fastnetmon —daemonize root 6879 0.0 0.1 13144 1116 pts/0 S+ 18:35 0:00 grep —color=auto fastnetmon

Скорее всего устройство задержало трафик на более долгий чем 60 секунд промежуток времени. Рекомендую попробовать отладить эту проблему используя статью: https://fastnetmon.com/2017/01/20/netflow-flows-duration/

Нет ли других ошибок в логах на тему "Calculated speed on more than 1 second" ? Если процессор сильно загружен, то будет задержка вычисления скорости и несколько секунд будут посчитаны как одна секунда и показания будут завышены. Также возможен сбой со стороны PF_RING, он себя под нагрузкой ведет не особо хорошо. Рекомендую попробовать mirror_af_packet.

Добавили нэтивную поддержку BGP анонсов с IPv6 :) На очереди - работа поверх IPv6 пиринг сессии.