[alibek]

У СКАТ-а мажорные релизы обычно не задаются.

Я подожду хотя бы первого минорного апдейта.

[snvoronkov]

6 минут назад, alibek сказал:

У СКАТ-а мажорные релизы обычно не задаются.

Ой, да ладно! На фоне текущего трэшака даже если пропуски и будут, то все равно никто не заметит. ;-)

[snvoronkov]

Ежели кому интересно: Отчет о пропусках чист.

[alibek]

Обновился до восьмой версии, плюс поставил скрипт для блокировки подсетей.

Пока все нормально.

Но скрипт ужасный.

 

Сделал свой вариант.

Скрытый текст

#!/bin/bash

#----------------
# Blackhole subnets
#----------------
# Add this line
# */1 * * * * root blacksubnets.sh
# to a file /etc/cron.d/blacksubnets
#----------------

PATH=/sbin:/bin:/usr/sbin:/usr/bin

NAME="Blackhole Network Helper"
VER="1.0-20180428"
ASN="64500"
BASE="/etc/dpi"
LOG="$BASE/bnh_run.log"


function bnh_log {
echo "$*"
if [ -n "$LOG" ]; then
  if [ -z "$*" ]; then
    echo >> $LOG
  else
    echo "`date "+%Y-%m-%d %H:%M:%S"` [pid $$]: $*" >> $LOG
  fi
fi
}

function bnh_reload {
service fastdpi reload
}

function bnh_enable {
bnh_log "$NAME: enable processing"
BNH_STATE=1
BNH_DATE=`date "+%Y-%m-%d %H:%M:%S"`
rm -f "$BASE/bnh_network.txt"
}

function bnh_disable {
bnh_log "$NAME: disable processing"
BNH_STATE=0
BNH_DATE=`date "+%Y-%m-%d %H:%M:%S"`
if [ -s "$BASE/aslocal.bin" ]; then
  bin2as "$BASE/aslocal.bin" | grep -v " $ASN$" > "$BASE/aslocal.txt"
fi
if [ -s "$BASE/aslocal.txt" ]; then
  cat "$BASE/aslocal.txt" | as2bin "$BASE/aslocal.bin"
else
  echo "198.51.100.0/24 $ASN" | as2bin "$BASE/aslocal.bin"
fi
rm -f "$BASE/aslocal.txt" "$BASE/asnum.txt"
bnh_reload
}

function bnh_status() {
bnh_log "$NAME, version $VER"
case "${BNH_STATE}" in
    "")   bnh_log "Status: working";;
    "1")  bnh_log "Status: enabled from ${BNH_DATE}";;
    "0")  bnh_log "Status: disabled from ${BNH_DATE}";;
    *)    bnh_log "Status: unknown";;
esac
}

function bnh_reset() {
bnh_log "$NAME: reset operating state"
rm -f $BASE/bnh_*
BNH_STATE=
BNH_DATE=
}

function bnh_usage() {
echo "Usage: ${0##*/} [start|enable|stop|disable|status|help]"
}

function bnh_save() {
echo "#Status"                           >"$BASE/bnh_status"
echo "BNH_STATE=${BNH_STATE}"           >>"$BASE/bnh_status"
echo "BNH_DATE=\"${BNH_DATE}\""         >>"$BASE/bnh_status"
}


[ -e "$BASE/bnh_status" ] && source "$BASE/bnh_status"

case "$1" in
  "")
    ;;
  "start"|"enable")
    bnh_enable
    bnh_save
    ;;
  "stop"|"disable")
    bnh_disable
    bnh_save
    exit 0
    ;;
  "reset")
    bnh_reset
    exit 0
    ;;
  "status")
    bnh_status
    exit 0
    ;;
  "help")
    bnh_usage
    exit 2
    ;;
  *)
    echo "Invalid argument"
    bnh_usage
    exit 1
    ;;
esac

[ "${BNH_STATE:-1}" -eq 0 ] && exit 0
curl --user-agent "FastDPI/0.0 - blacksubnets" --insecure --connect-timeout 10 --retry 3 --silent --output "$BASE/bnh_network.tmp" http://www.vasexperts.ru/data/blacksubnets.lst
if [ ! -s "$BASE/bnh_network.tmp" ]; then
  bnh_log "$NAME: fail on retrieve networks"
  rm -f "$BASE/bnh_network.tmp"
  exit 1
fi
sort -Vu "$BASE/bnh_network.tmp" > "$BASE/bnh_network.new"
rm -f "$BASE/bnh_network.tmp"
diff --unified=0 --new-file "$BASE/bnh_network.txt" "$BASE/bnh_network.new" | grep -E "^(\+|\-)[0-9]" > "$BASE/bnh_network.diff"
if [ -s "$BASE/bnh_network.diff" ]; then
  LST=`grep "+" "$BASE/bnh_network.diff" | cut -c2- | tr '\n' ' '`
  [ -n "$LST" ] && bnh_log "ADD: $LST"
  LST=`grep "-" "$BASE/bnh_network.diff" | cut -c2- | tr '\n' ' '`
  [ -n "$LST" ] && bnh_log "DEL: $LST"
  LST=`stat --printf="%s" "$BASE/bnh_network.diff"`
  rm -f "$BASE/bnh_network.txt"
  mv -f "$BASE/bnh_network.new" "$BASE/bnh_network.txt"
fi
rm -f "$BASE/bnh_network.new" "$BASE/bnh_network.diff"
[ "${LST:-0}" -eq 0 ] && exit 0

echo -n > "$BASE/aslocal.txt"
[ -s "$BASE/aslocal.bin" ] && bin2as "$BASE/aslocal.bin" | grep -v " $ASN$" >> "$BASE/aslocal.txt"
cat "$BASE/bnh_network.txt" | sed "s/$/ $ASN/" >> "$BASE/aslocal.txt"
cat "$BASE/aslocal.txt" | as2bin "$BASE/aslocal.bin"
rm -f "$BASE/aslocal.txt"

echo -n > "$BASE/asnum.txt"
[ -s "$BASE/asnum.dscp" ] && dscp2as "$BASE/asnum.dscp" | grep -v "^$ASN " >> "$BASE/asnum.txt"
echo "$ASN drop" >> "$BASE/asnum.txt"
cat "$BASE/asnum.txt" | as2dscp "$BASE/asnum.dscp"
rm -f "$BASE/asnum.txt"

bnh_reload

 

Если нигде не ошибся, то предлагаю в репозиторий положить именно его.

Он и быстрее будет (особенно если в http://www.vasexperts.ru/data/blacksubnets.lst список будут сортировать), и мусорит меньше, и дебаг у него более внятный. Да и сам скрипт более читабельный.

[alibek]

Если в параметре black_list_redirect в конце указать знак вопроса, то на страницу переадресации передается URL, который пытался открыть пользователь.

Хочу параметр, при установке которого на страницу переадресации передается не URL, а ID записи в реестре.

Это возможно?

[saaremaa]

Цитата

Это возможно?

Зачем - по последнему регламенту страница должна быть статическая, но в то же время с идентификатором выгрузки. DimaM, Вам так и не ответили по этому вопросу из Роскомнадзора?

[alibek]

1 час назад, saaremaa сказал:

Зачем - по последнему регламенту страница должна быть статическая, но в то же время с идентификатором выгрузки.

Ну наличие id никак не помешает сделать страницу статичной.

Зато упростит траблшутинг.

А то с /8 в блоках уже не всегда понятно, когда и что должно блокироваться.

[saaremaa]

Цитата

Ну наличие id никак не помешает сделать страницу статичной.

От того что регулятор и представители операторов как мне кажется понимают по разному определение "статическая страница" и есть недопонимание приложение №2 п.2 ПРИКАЗА от 14 декабря 2017 г. N 249

Цитата

2. Информация, указанная в пункте 1 настоящих требований, должна размещаться на созданной в информационно-телекоммуникационной сети, в том числе в сети "Интернет", странице оператора связи или оператора связи, к которому осуществлено присоединение сети связи, или лица, предоставляющего оператору связи программы для электронно-вычислительных машин и (или) программно-аппаратные комплексы, позволяющие осуществлять анализ и фильтрацию трафика в сетях связи операторов связи (далее - статическая страница), в формате HTML, без алгоритмов динамического формирования кода страницы, размером не более 10 Кб.

На статической странице должен размещаться уникальный код (идентификатор), присваиваемый в соответствии с пунктом 8 требований к способам (методам) ограничения доступа к информационным ресурсам, утвержденных настоящим приказом.

 

Цитата

8. При выгрузке операторам связи присваивается уникальный код (идентификатор), который необходим для подтверждения ограничения операторами связи доступа к информационным ресурсам.

а если дельта? А если дельта от СКАТА? А если и дельта и реестр?

[nemo_lynx]

 

16 часов назад, zhenya` сказал:

Карбон получает отчеты и систему переводит в режим maintance блокируя ип ревизора если пропуски есть.

Вопрос представителям СКАТа - когда СКАТ такое научится делать?

[DimaM]

15 минут назад, nemo_lynx сказал:

систему переводит в режим maintance блокируя ип ревизора если пропуски есть.

Ревизор фиксирует только неправильную работу самого ревизора :) - "пропуски" уже удаленных из реестра записей.

 

 

[VolanD666]

17 часов назад, DimaM сказал:

Ревизор фиксирует только неправильную работу самого ревизора :) - "пропуски" уже удаленных из реестра записей.

 

 

Согласен. После перехода на дельты начали сыпаться пропуски ресурсов, которые были удалены. РЧН объясняет это тем, что ревизор грузит файл только один раз в день. Короч он теперь погоду показывает

[micol]

А подскажите что сие означет?
 

[COMMON  ][2018/05/21-10:47:36:000020][0x7fd09e909820] brg_init_tm : Estimated CPU freq: 2593950852 Hz, calibr=24
[COMMON  ][2018/05/21-10:47:36:000098][0x7fd09e909820] Loading configuration from '/etc/dpi/fastdpi.conf'....
[COMMON  ][2018/05/21-10:47:36:000350][0x7fd09e909820] Result load configuration from '/etc/dpi/fastdpi.conf' : rc=0 OK
[CRITICAL][2018/05/21-10:47:36:002369][0x7fd09e909820] Error pfring_open dev='dna1' err_code=1 : Operation not permitted
[CRITICAL][2018/05/21-10:47:36:002398][0x7fd09e909820] Cluster #1 : Can't count RX channels the device dna1 supports
[CRITICAL][2018/05/21-10:47:36:002402][0x7fd09e909820] Can't start : error 'init_cluster_funcs'
[COMMON  ][2018/05/21-10:47:49:000021][0x7f8f24ead820] brg_init_tm : Estimated CPU freq: 2593950764 Hz, calibr=24
[COMMON  ][2018/05/21-10:47:49:000094][0x7f8f24ead820] Loading configuration from '/etc/dpi/fastdpi.conf'....
[COMMON  ][2018/05/21-10:47:49:000346][0x7f8f24ead820] Result load configuration from '/etc/dpi/fastdpi.conf' : rc=0 OK
[CRITICAL][2018/05/21-10:47:49:002363][0x7f8f24ead820] Error pfring_open dev='dna1' err_code=1 : Operation not permitted
[CRITICAL][2018/05/21-10:47:49:002391][0x7f8f24ead820] Cluster #1 : Can't count RX channels the device dna1 supports
[CRITICAL][2018/05/21-10:47:49:002395][0x7f8f24ead820] Can't start : error 'init_cluster_funcs'
[COMMON  ][2018/05/21-10:48:06:000020][0x7ff40ac69820] brg_init_tm : Estimated CPU freq: 2593950772 Hz, calibr=24
[COMMON  ][2018/05/21-10:48:06:000092][0x7ff40ac69820] Loading configuration from '/etc/dpi/fastdpi.conf'....
[COMMON  ][2018/05/21-10:48:06:000343][0x7ff40ac69820] Result load configuration from '/etc/dpi/fastdpi.conf' : rc=0 OK
[CRITICAL][2018/05/21-10:48:06:002340][0x7ff40ac69820] Error pfring_open dev='dna1' err_code=1 : Operation not permitted
[CRITICAL][2018/05/21-10:48:06:002368][0x7ff40ac69820] Cluster #1 : Can't count RX channels the device dna1 supports
[CRITICAL][2018/05/21-10:48:06:002372][0x7ff40ac69820] Can't start : error 'init_cluster_funcs'

Лицензии pf_ring на месте, интерфейсы dna0/1 подняты
Сетевая SNR-E2P10GS 2x10G SPF+ на интел 599

Edited May 21, 2018 by micol

[snvoronkov]

Попробую побыть Вангой: ядро обновили?

[Alex_P89]

Когда уже наконец дождёмся интерфейса для анализа Clicksteam и прочих bigdata с DPI?

Вон конкуренты уже представили своё решение. :)

[StSphinx]

В 15.05.2018 в 06:29, VolanD666 сказал:

Согласен. После перехода на дельты начали сыпаться пропуски ресурсов, которые были удалены. РЧН объясняет это тем, что ревизор грузит файл только один раз в день. Короч он теперь погоду показывает

 

На КРОСе как раз прозвучало, что Ревизор не выгружает файл с реестром, а ходит на свои сервера за порциями данных.

[MrNv]

Цитата

• Какие файлы рекомендуете архивировать ?

cp /etc/pf_ring/ /BACKUPDIR/pf_ring 
cp /etc/dpi /BACKUPDIR/etc/
mdb_copy /var/db/dpi /BACKUPDIR/db/

mdb_copy: opening environment failed, error -30794 (MDB_VERSION_MISMATCH: Database environment version mismatch)

лечится как то?

[Urs_ak]

С обновлениями всё нормально?

Я мониторю дату /var/lib/dpi/blcache.bin и он с 8:56 не обновлялся

 

 

Цитата

[INFO    ][2018/05/30-16:12:15:651119][0x7fc190408700] bl_updater_thread : downloading black list ...
[INFO    ][2018/05/30-16:12:15:710413][0x7fc190408700] bl_updater_thread : cloud url black list update with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:710430][0x7fc190408700] bl_updater_thread : URL black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:765658][0x7fc190408700] bl_updater_thread : cloud cname black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:823558][0x7fc190408700] bl_updater_thread : cloud sni black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:823579][0x7fc190408700] bl_updater_thread : downloading black list IP ...
[INFO    ][2018/05/30-16:12:15:878136][0x7fc190408700] bl_updater_thread : cloud IP black list download with result, rc=1001 : Success: no change.
[INFO    ][2018/05/30-16:12:15:878153][0x7fc190408700] bl_updater_thread : Custom IP black list download with result, rc=1001 : Success: no change.

 

[MrNv]

так же, в логах последняя запись о загрузке

[INFO    ][2018/05/30-08:57:00:174164][0x7fcf76794700] bl_updater_thread : URL black list download with result, rc=0 : Success: loaded.

уже пошли пропуски, 10 шт. пока

[bike]

Есть такая проблема, тикет в servicedesk открыли?

[Urs_ak]

Я сделал тикет, пока ничего не ответили сказали что была ошибка в скрипте

 

сейчас вижу что дата новая - 17:33

 

-rw-r--r--. 1 root root 56005824 Май 30 08:56 /var/lib/dpi/blcache.bin

-rw-r--r--. 1 root root 56012960 Май 30 17:33 /var/lib/dpi/blcache.bin

Edited May 31, 2018 by Urs_ak

[snvoronkov]

Вышло новое, замечательно обновление. Классно падает в корку. Признаков работы не обнаружено:

 

Цитата

Oct 29 08:37:05 skat kernel: fastdpi_ctl[8029]: segfault at c ip 00000000005d9964 sp 00007fa3abffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:37:13 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:37:17 skat kernel: fastdpi_ctl[8210]: segfault at c ip 00000000005d9964 sp 00007f6500acea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:37:30 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:37:34 skat kernel: fastdpi_ctl[8378]: segfault at c ip 00000000005d9964 sp 00007f6eb3ffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:37:47 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:38:21 skat kernel: fastdpi_ctl[8576]: segfault at c ip 00000000005d9964 sp 00007f1576bfca20 error 4 in fastdpi[400000+34e000]
Oct 29 08:38:34 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:38:39 skat kernel: fastdpi_ctl[8741]: segfault at c ip 00000000005d9964 sp 00007fc7ad96ca20 error 4 in fastdpi[400000+34e000]
Oct 29 08:38:51 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:38:55 skat kernel: fastdpi_ctl[8907]: segfault at c ip 00000000005d9964 sp 00007fb9c60a0a20 error 4 in fastdpi[400000+34e000]
Oct 29 08:39:08 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:39:43 skat kernel: fastdpi_ctl[9083]: segfault at c ip 00000000005d9964 sp 00007ff0b3ffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:39:55 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:39:59 skat kernel: fastdpi_ctl[9247]: segfault at c ip 00000000005d9964 sp 00007f79c9c9ba20 error 4 in fastdpi[400000+34e000]
Oct 29 08:40:12 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:40:16 skat kernel: fastdpi_ctl[9411]: segfault at c ip 00000000005d9964 sp 00007f113ebfca20 error 4 in fastdpi[400000+34e000]
Oct 29 08:40:29 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:41:01 skat kernel: fastdpi_ctl[9583]: segfault at c ip 00000000005d9964 sp 00007f36e3ffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:41:16 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
Oct 29 08:41:20 skat kernel: fastdpi_ctl[9750]: segfault at c ip 00000000005d9964 sp 00007f81efffea20 error 4 in fastdpi[400000+34e000]
Oct 29 08:41:33 skat watchdog[1849]: test binary /etc/watchdog.d/wd_fastdpi.sh returned 1
 

 

[StSphinx]

3 часа назад, snvoronkov сказал:

Вышло новое, замечательно обновление. Классно падает в корку. Признаков работы не обнаружено:

 

 

Это 8.1? Спасибо что поделились с общественностью. А Тикет завели? Проблема признаётся?

[MrNv]

у нас 8.1, работает нормально.

[snvoronkov]

38 минут назад, StSphinx сказал:

Это 8.1? Спасибо что поделились с общественностью. А Тикет завели? Проблема признаётся?

Завел, естественно. Опять, скорее всего, компилятор виноват. Проц: E5-1650 v2. Бандл на базе Supermicro куплен непосредственно у производителя.

 

Как еще один вариант: желает что-то видеть в конфиге, только забывает сказать ЧТО.

[StSphinx]

1 час назад, snvoronkov сказал:

Завел, естественно. Опять, скорее всего, компилятор виноват. Проц: E5-1650 v2. Бандл на базе Supermicro куплен непосредственно у производителя.

 

Как еще один вариант: желает что-то видеть в конфиге, только забывает сказать ЧТО.

Держите в курсе чем закончится история. Собирался обновиться на днях. Теперь подожду.