Jump to content
Калькуляторы

DPI СКАТ поделитесь опытом

У СКАТ-а мажорные релизы обычно не задаются.

Я подожду хотя бы первого минорного апдейта.

Share this post


Link to post
Share on other sites
6 минут назад, alibek сказал:

У СКАТ-а мажорные релизы обычно не задаются.

Ой, да ладно! На фоне текущего трэшака даже если пропуски и будут, то все равно никто не заметит. ;-)

Share this post


Link to post
Share on other sites

Обновился до восьмой версии, плюс поставил скрипт для блокировки подсетей.

Пока все нормально.

Но скрипт ужасный.

 

Сделал свой вариант.

Скрытый текст

#!/bin/bash

#----------------
# Blackhole subnets
#----------------
# Add this line
# */1 * * * * root blacksubnets.sh
# to a file /etc/cron.d/blacksubnets
#----------------

PATH=/sbin:/bin:/usr/sbin:/usr/bin

NAME="Blackhole Network Helper"
VER="1.0-20180428"
ASN="64500"
BASE="/etc/dpi"
LOG="$BASE/bnh_run.log"


function bnh_log {
echo "$*"
if [ -n "$LOG" ]; then
  if [ -z "$*" ]; then
    echo >> $LOG
  else
    echo "`date "+%Y-%m-%d %H:%M:%S"` [pid $$]: $*" >> $LOG
  fi
fi
}

function bnh_reload {
service fastdpi reload
}

function bnh_enable {
bnh_log "$NAME: enable processing"
BNH_STATE=1
BNH_DATE=`date "+%Y-%m-%d %H:%M:%S"`
rm -f "$BASE/bnh_network.txt"
}

function bnh_disable {
bnh_log "$NAME: disable processing"
BNH_STATE=0
BNH_DATE=`date "+%Y-%m-%d %H:%M:%S"`
if [ -s "$BASE/aslocal.bin" ]; then
  bin2as "$BASE/aslocal.bin" | grep -v " $ASN$" > "$BASE/aslocal.txt"
fi
if [ -s "$BASE/aslocal.txt" ]; then
  cat "$BASE/aslocal.txt" | as2bin "$BASE/aslocal.bin"
else
  echo "198.51.100.0/24 $ASN" | as2bin "$BASE/aslocal.bin"
fi
rm -f "$BASE/aslocal.txt" "$BASE/asnum.txt"
bnh_reload
}

function bnh_status() {
bnh_log "$NAME, version $VER"
case "${BNH_STATE}" in
    "")   bnh_log "Status: working";;
    "1")  bnh_log "Status: enabled from ${BNH_DATE}";;
    "0")  bnh_log "Status: disabled from ${BNH_DATE}";;
    *)    bnh_log "Status: unknown";;
esac
}

function bnh_reset() {
bnh_log "$NAME: reset operating state"
rm -f $BASE/bnh_*
BNH_STATE=
BNH_DATE=
}

function bnh_usage() {
echo "Usage: ${0##*/} [start|enable|stop|disable|status|help]"
}

function bnh_save() {
echo "#Status"                           >"$BASE/bnh_status"
echo "BNH_STATE=${BNH_STATE}"           >>"$BASE/bnh_status"
echo "BNH_DATE=\"${BNH_DATE}\""         >>"$BASE/bnh_status"
}


[ -e "$BASE/bnh_status" ] && source "$BASE/bnh_status"

case "$1" in
  "")
    ;;
  "start"|"enable")
    bnh_enable
    bnh_save
    ;;
  "stop"|"disable")
    bnh_disable
    bnh_save
    exit 0
    ;;
  "reset")
    bnh_reset
    exit 0
    ;;
  "status")
    bnh_status
    exit 0
    ;;
  "help")
    bnh_usage
    exit 2
    ;;
  *)
    echo "Invalid argument"
    bnh_usage
    exit 1
    ;;
esac

[ "${BNH_STATE:-1}" -eq 0 ] && exit 0
curl --user-agent "FastDPI/0.0 - blacksubnets" --insecure --connect-timeout 10 --retry 3 --silent --output "$BASE/bnh_network.tmp" http://www.vasexperts.ru/data/blacksubnets.lst
if [ ! -s "$BASE/bnh_network.tmp" ]; then
  bnh_log "$NAME: fail on retrieve networks"
  rm -f "$BASE/bnh_network.tmp"
  exit 1
fi
sort -Vu "$BASE/bnh_network.tmp" > "$BASE/bnh_network.new"
rm -f "$BASE/bnh_network.tmp"
diff --unified=0 --new-file "$BASE/bnh_network.txt" "$BASE/bnh_network.new" | grep -E "^(\+|\-)[0-9]" > "$BASE/bnh_network.diff"
if [ -s "$BASE/bnh_network.diff" ]; then
  LST=`grep "+" "$BASE/bnh_network.diff" | cut -c2- | tr '\n' ' '`
  [ -n "$LST" ] && bnh_log "ADD: $LST"
  LST=`grep "-" "$BASE/bnh_network.diff" | cut -c2- | tr '\n' ' '`
  [ -n "$LST" ] && bnh_log "DEL: $LST"
  LST=`stat --printf="%s" "$BASE/bnh_network.diff"`
  rm -f "$BASE/bnh_network.txt"
  mv -f "$BASE/bnh_network.new" "$BASE/bnh_network.txt"
fi
rm -f "$BASE/bnh_network.new" "$BASE/bnh_network.diff"
[ "${LST:-0}" -eq 0 ] && exit 0

echo -n > "$BASE/aslocal.txt"
[ -s "$BASE/aslocal.bin" ] && bin2as "$BASE/aslocal.bin" | grep -v " $ASN$" >> "$BASE/aslocal.txt"
cat "$BASE/bnh_network.txt" | sed "s/$/ $ASN/" >> "$BASE/aslocal.txt"
cat "$BASE/aslocal.txt" | as2bin "$BASE/aslocal.bin"
rm -f "$BASE/aslocal.txt"

echo -n > "$BASE/asnum.txt"
[ -s "$BASE/asnum.dscp" ] && dscp2as "$BASE/asnum.dscp" | grep -v "^$ASN " >> "$BASE/asnum.txt"
echo "$ASN drop" >> "$BASE/asnum.txt"
cat "$BASE/asnum.txt" | as2dscp "$BASE/asnum.dscp"
rm -f "$BASE/asnum.txt"

bnh_reload

 

Если нигде не ошибся, то предлагаю в репозиторий положить именно его.

Он и быстрее будет (особенно если в http://www.vasexperts.ru/data/blacksubnets.lst список будут сортировать), и мусорит меньше, и дебаг у него более внятный. Да и сам скрипт более читабельный.

Share this post


Link to post
Share on other sites

Если в параметре black_list_redirect в конце указать знак вопроса, то на страницу переадресации передается URL, который пытался открыть пользователь.

Хочу параметр, при установке которого на страницу переадресации передается не URL, а ID записи в реестре.

Это возможно?

Share this post


Link to post
Share on other sites
Цитата

Это возможно?

Зачем - по последнему регламенту страница должна быть статическая, но в то же время с идентификатором выгрузки. DimaM, Вам так и не ответили по этому вопросу из Роскомнадзора?

Share this post


Link to post
Share on other sites
1 час назад, saaremaa сказал:

Зачем - по последнему регламенту страница должна быть статическая, но в то же время с идентификатором выгрузки.

Ну наличие id никак не помешает сделать страницу статичной.

Зато упростит траблшутинг.

А то с /8 в блоках уже не всегда понятно, когда и что должно блокироваться.

Share this post


Link to post
Share on other sites
Цитата

Ну наличие id никак не помешает сделать страницу статичной.

От того что регулятор и представители операторов как мне кажется понимают по разному определение "статическая страница" и есть недопонимание приложение №2 п.2 ПРИКАЗА от 14 декабря 2017 г. N 249

Цитата

2. Информация, указанная в пункте 1 настоящих требований, должна размещаться на созданной в информационно-телекоммуникационной сети, в том числе в сети "Интернет", странице оператора связи или оператора связи, к которому осуществлено присоединение сети связи, или лица, предоставляющего оператору связи программы для электронно-вычислительных машин и (или) программно-аппаратные комплексы, позволяющие осуществлять анализ и фильтрацию трафика в сетях связи операторов связи (далее - статическая страница), в формате HTML, без алгоритмов динамического формирования кода страницы, размером не более 10 Кб.

На статической странице должен размещаться уникальный код (идентификатор), присваиваемый в соответствии с пунктом 8 требований к способам (методам) ограничения доступа к информационным ресурсам, утвержденных настоящим приказом.

 

Цитата

8. При выгрузке операторам связи присваивается уникальный код (идентификатор), который необходим для подтверждения ограничения операторами связи доступа к информационным ресурсам.

а если дельта? А если дельта от СКАТА? А если и дельта и реестр?

Share this post


Link to post
Share on other sites

 

16 часов назад, zhenya` сказал:

Карбон получает отчеты и систему переводит в режим maintance блокируя ип ревизора если пропуски есть.

Вопрос представителям СКАТа - когда СКАТ такое научится делать?

Share this post


Link to post
Share on other sites
15 минут назад, nemo_lynx сказал:

систему переводит в режим maintance блокируя ип ревизора если пропуски есть.

Ревизор фиксирует только неправильную работу самого ревизора :) - "пропуски" уже удаленных из реестра записей.

 

 

Share this post


Link to post
Share on other sites
17 часов назад, DimaM сказал:

Ревизор фиксирует только неправильную работу самого ревизора :) - "пропуски" уже удаленных из реестра записей.

 

 

Согласен. После перехода на дельты начали сыпаться пропуски ресурсов, которые были удалены. РЧН объясняет это тем, что ревизор грузит файл только один раз в день. Короч он теперь погоду показывает

Share this post


Link to post
Share on other sites

А подскажите что сие означет?
 

[COMMON  ][2018/05/21-10:47:36:000020][0x7fd09e909820] brg_init_tm : Estimated CPU freq: 2593950852 Hz, calibr=24
[COMMON  ][2018/05/21-10:47:36:000098][0x7fd09e909820] Loading configuration from '/etc/dpi/fastdpi.conf'....
[COMMON  ][2018/05/21-10:47:36:000350][0x7fd09e909820] Result load configuration from '/etc/dpi/fastdpi.conf' : rc=0 OK
[CRITICAL][2018/05/21-10:47:36:002369][0x7fd09e909820] Error pfring_open dev='dna1' err_code=1 : Operation not permitted
[CRITICAL][2018/05/21-10:47:36:002398][0x7fd09e909820] Cluster #1 : Can't count RX channels the device dna1 supports
[CRITICAL][2018/05/21-10:47:36:002402][0x7fd09e909820] Can't start : error 'init_cluster_funcs'
[COMMON  ][2018/05/21-10:47:49:000021][0x7f8f24ead820] brg_init_tm : Estimated CPU freq: 2593950764 Hz, calibr=24
[COMMON  ][2018/05/21-10:47:49:000094][0x7f8f24ead820] Loading configuration from '/etc/dpi/fastdpi.conf'....
[COMMON  ][2018/05/21-10:47:49:000346][0x7f8f24ead820] Result load configuration from '/etc/dpi/fastdpi.conf' : rc=0 OK
[CRITICAL][2018/05/21-10:47:49:002363][0x7f8f24ead820] Error pfring_open dev='dna1' err_code=1 : Operation not permitted
[CRITICAL][2018/05/21-10:47:49:002391][0x7f8f24ead820] Cluster #1 : Can't count RX channels the device dna1 supports
[CRITICAL][2018/05/21-10:47:49:002395][0x7f8f24ead820] Can't start : error 'init_cluster_funcs'
[COMMON  ][2018/05/21-10:48:06:000020][0x7ff40ac69820] brg_init_tm : Estimated CPU freq: 2593950772 Hz, calibr=24
[COMMON  ][2018/05/21-10:48:06:000092][0x7ff40ac69820] Loading configuration from '/etc/dpi/fastdpi.conf'....
[COMMON  ][2018/05/21-10:48:06:000343][0x7ff40ac69820] Result load configuration from '/etc/dpi/fastdpi.conf' : rc=0 OK
[CRITICAL][2018/05/21-10:48:06:002340][0x7ff40ac69820] Error pfring_open dev='dna1' err_code=1 : Operation not permitted
[CRITICAL][2018/05/21-10:48:06:002368][0x7ff40ac69820] Cluster #1 : Can't count RX channels the device dna1 supports
[CRITICAL][2018/05/21-10:48:06:002372][0x7ff40ac69820] Can't start : error 'init_cluster_funcs'

Лицензии pf_ring на месте, интерфейсы dna0/1 подняты
Сетевая SNR-E2P10GS 2x10G SPF+ на интел 599

Edited by micol

Share this post


Link to post
Share on other sites

Когда уже наконец дождёмся интерфейса для анализа Clicksteam и прочих bigdata с DPI?

Вон конкуренты уже представили своё решение. :)

Share this post


Link to post
Share on other sites
В 15.05.2018 в 06:29, VolanD666 сказал:

Согласен. После перехода на дельты начали сыпаться пропуски ресурсов, которые были удалены. РЧН объясняет это тем, что ревизор грузит файл только один раз в день. Короч он теперь погоду показывает

 

На КРОСе как раз прозвучало, что Ревизор не выгружает файл с реестром, а ходит на свои сервера за порциями данных.

Share this post


Link to post
Share on other sites
Цитата
  • Какие файлы рекомендуете архивировать ?

cp /etc/pf_ring/ /BACKUPDIR/pf_ring 
cp /etc/dpi /BACKUPDIR/etc/
mdb_copy /var/db/dpi /BACKUPDIR/db/

mdb_copy: opening environment failed, error -30794 (MDB_VERSION_MISMATCH: Database environment version mismatch)

лечится как то?

Share this post


Link to post
Share on other sites

С обновлениями всё нормально?

Я мониторю дату /var/lib/dpi/blcache.bin и он с 8:56 не обновлялся

 

 

Цитата

[INFO    ][2018/05/30-16:12:15:651119][0x7fc190408700] bl_updater_thread : downloading black list ...
[INFO    ][2018/05/30-16:12:15:710413][0x7fc190408700] bl_updater_thread : cloud url black list update with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:710430][0x7fc190408700] bl_updater_thread : URL black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:765658][0x7fc190408700] bl_updater_thread : cloud cname black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:823558][0x7fc190408700] bl_updater_thread : cloud sni black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:823579][0x7fc190408700] bl_updater_thread : downloading black list IP ...
[INFO    ][2018/05/30-16:12:15:878136][0x7fc190408700] bl_updater_thread : cloud IP black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:878153][0x7fc190408700] bl_updater_thread : Custom IP black list download with result, rc=1001 : Success: no change.

 

Share this post


Link to post
Share on other sites

так же, в логах последняя запись о загрузке

[INFO    ][2018/05/30-08:57:00:174164][0x7fcf76794700] bl_updater_thread : URL black list download with result, rc=0 : Success: loaded.

уже пошли пропуски, 10 шт. пока

Share this post


Link to post
Share on other sites

Есть такая проблема, тикет в servicedesk открыли?

Share this post


Link to post
Share on other sites

Я сделал тикет, пока ничего не ответили сказали что была ошибка в скрипте

 

сейчас вижу что дата новая - 17:33

 

-rw-r--r--. 1 root root 56005824 Май 30 08:56 /var/lib/dpi/blcache.bin

-rw-r--r--. 1 root root 56012960 Май 30 17:33 /var/lib/dpi/blcache.bin

Edited by Urs_ak

Share this post


Link to post
Share on other sites

Вышло новое, замечательно обновление. Классно падает в корку. Признаков работы не обнаружено:

 

Цитата

Oct 29 08:37:05 skat kernel: fastdpi_ctl[8029]: segfault at c ip 00000000005d9964 sp 00007fa3abffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:37:13 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:37:17 skat kernel: fastdpi_ctl[8210]: segfault at c ip 00000000005d9964 sp 00007f6500acea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:37:30 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:37:34 skat kernel: fastdpi_ctl[8378]: segfault at c ip 00000000005d9964 sp 00007f6eb3ffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:37:47 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:38:21 skat kernel: fastdpi_ctl[8576]: segfault at c ip 00000000005d9964 sp 00007f1576bfca20 error 4 in fastdpi[400000+34e000]
Oct 29 08:38:34 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:38:39 skat kernel: fastdpi_ctl[8741]: segfault at c ip 00000000005d9964 sp 00007fc7ad96ca20 error 4 in fastdpi[400000+34e000]
Oct 29 08:38:51 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:38:55 skat kernel: fastdpi_ctl[8907]: segfault at c ip 00000000005d9964 sp 00007fb9c60a0a20 error 4 in fastdpi[400000+34e000]
Oct 29 08:39:08 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:39:43 skat kernel: fastdpi_ctl[9083]: segfault at c ip 00000000005d9964 sp 00007ff0b3ffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:39:55 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:39:59 skat kernel: fastdpi_ctl[9247]: segfault at c ip 00000000005d9964 sp 00007f79c9c9ba20 error 4 in fastdpi[400000+34e000]
Oct 29 08:40:12 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:40:16 skat kernel: fastdpi_ctl[9411]: segfault at c ip 00000000005d9964 sp 00007f113ebfca20 error 4 in fastdpi[400000+34e000]
Oct 29 08:40:29 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:41:01 skat kernel: fastdpi_ctl[9583]: segfault at c ip 00000000005d9964 sp 00007f36e3ffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:41:16 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:41:20 skat kernel: fastdpi_ctl[9750]: segfault at c ip 00000000005d9964 sp 00007f81efffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:41:33 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
 

 

Share this post


Link to post
Share on other sites
3 часа назад, snvoronkov сказал:

Вышло новое, замечательно обновление. Классно падает в корку. Признаков работы не обнаружено:

 

 

Это 8.1? Спасибо что поделились с общественностью. А Тикет завели? Проблема признаётся?

Share this post


Link to post
Share on other sites

у нас 8.1, работает нормально.

Share this post


Link to post
Share on other sites
38 минут назад, StSphinx сказал:

Это 8.1? Спасибо что поделились с общественностью. А Тикет завели? Проблема признаётся?

Завел, естественно. Опять, скорее всего, компилятор виноват. Проц: E5-1650 v2. Бандл на базе Supermicro куплен непосредственно у производителя.

 

Как еще один вариант: желает что-то видеть в конфиге, только забывает сказать ЧТО.

Share this post


Link to post
Share on other sites
1 час назад, snvoronkov сказал:

Завел, естественно. Опять, скорее всего, компилятор виноват. Проц: E5-1650 v2. Бандл на базе Supermicro куплен непосредственно у производителя.

 

Как еще один вариант: желает что-то видеть в конфиге, только забывает сказать ЧТО.

Держите в курсе чем закончится история. Собирался обновиться на днях. Теперь подожду.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now