Массовые пропуски 14-04-2018

[ioann]

Добрый день!

 

Кто-нибудь зафиксировал массовые пропуски запрещенных ресурсов 14-04-2018 примерно с 14:00 до 17:00 МСК?

[_Wolf_]

Да, то же самое в то же время. При этом по логу самого СКАТа обращения к "облаку" за списком проходили успешно, но с отсутствием изменений для загрузки. Похоже на то, что они там прозевали обновления.

[ioann]

25 минут назад, _Wolf_ сказал:

Да, то же самое в то же время. При этом по логу самого СКАТа обращения к "облаку" за списком проходили успешно, но с отсутствием изменений для загрузки. Похоже на то, что они там прозевали обновления.

Не прозевали, там пропущены давние записи из реестра, и все прокурорские... 7%!

Что-то именно с этими записями похоже накосячили.

[_Wolf_]

13 minutes ago, ioann said:

Не прозевали, там пропущены давние записи из реестра, и все прокурорские... 7%!

Что-то именно с этими записями похоже накосячили.

Совершенно не важно, что они "давние записи". К "давним записям" добавляются новые IP при этом номер записи и дата внесения в реестр остаются старыми. Так всегда.

[ioann]

Ну факт в том, что косяк имеет место быть, и неважно как именно он был реализован.

[snvoronkov]

39 пропусков. Ни о каких 7% речи и быть не может.

[ioann]

52 минуты назад, snvoronkov сказал:

39 пропусков. Ни о каких 7% речи и быть не может.

Вам мало?

У меня в отчете Ревизора зафиксировано именно 7%.

[_Wolf_]

2 hours ago, snvoronkov said:

39 пропусков. Ни о каких 7% речи и быть не может.

Все зависит, видимо, от конкретного Ревизора - когда он обновил свой список и в какое время выполнял проверку. У меня по трём цифры "пропусков" совершенно разные, но они есть. И еще - "скатовцы" когда-то проводили исследование - на "ревизоры" часто обновления загружаются раньше, чем становятся доступны для операторов. Иногда разница несколько часов. Пруф ищите в их ВиКи.

Edited April 16, 2018 by _Wolf_

[ioann]

1 час назад, _Wolf_ сказал:

У меня по трём цифры "пропусков" совершенно разные, но они есть.

Можете сказать какие цифры получились?

[sendernew]

Как-то вот так получилось:

Генпрокуратура 2704 18%
ФНС 16 < 1%
суд 2 < 1%
Минкомсвязь 1 < 1%
Всего 2723

[ioann]

1 час назад, sendernew сказал:

Как-то вот так получилось:

Генпрокуратура 2704 18%

Офигеть!

 

У меня так:

Генпрокуратура	1102	7%
Всего	1102	-

[sendernew]

Я хотел было им в поддержку написать, нашел у себя доступ к it-grad, но что-то там даже упоминания нет про vasexperts, только статьи про виртуальные машины.

Кто-нибудь в курсе, это оно вообще?

[snvoronkov]

11 минут назад, sendernew сказал:

Я хотел было им в поддержку написать, нашел у себя доступ к it-grad, но что-то там даже упоминания нет про vasexperts, только статьи про виртуальные машины.

Пишите-пишите. Это оно. Только я ответа по проблеме пропусков в Full NetFlow вот уже неделю жду. :-)

 

NBD, блин. Уже NBW. Прослойка it-grad устойчива к внешним воздействиям и вот уже второй год успешно обороняет vasexperts от проблем пользователей.

[ioann]

14 минут назад, sendernew сказал:

Кто-нибудь в курсе, это оно вообще?

Да, это оно.

 

2 минуты назад, snvoronkov сказал:

Пишите-пишите. Это оно. Только я ответа по проблеме пропусков в Full NetFlow вот уже неделю жду. :-)

Угу, у меня уже 3 кейса по пропускам открыто, и еще 1 про netflow. 

[_Wolf_]

Пишите, пишите... у меня уже 3-й месяц весит кейс по подобным же массовым пропускам с ими же поставленным приоритетом " 2 - High " который они вообще проигнорировали - даже не ответили ни слова после постановки заявки в работу и назначения приоритета. Третий месяц пошел! А вы про NBD!

[ioann]

О чудо - мне ответили на вчерашний кейс! Таки NBD.

Но сам ответ - предложили включить кликстрим :(

[ioann]

Друзья, судя по ответу ТП проблему скатовцы не признают.

Открывайте свои кейсы, ссылайтесь на мой INC085139!

Пишите здесь у кого еще были множественные пропуски 14-04-2018 примерно с 14:00 до 17:00 МСК!

[snvoronkov]

У них, походу, сегодня звезда в сеть пришла:

 

Цитата

$ mtr -r -c 5 vasexperts.ru
Start: Tue Apr 17 14:57:28 2018
HOST: sv                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|--                                             0.0%     5  135.2  27.8   0.4 135.2  60.1
  2.|--                                            0.0%     5    0.5   0.7   0.5   1.2   0.0
  3.|-- tmn06.tmn29.transtelecom.  0.0%     5    1.4   1.4   1.0   2.0   0.0
  4.|-- spb06.spb30.transtelecom.  0.0%     5   43.8  43.9  43.8  44.0   0.0
  5.|-- Prometey-gw.transtelecom.  0.0%     5   40.8  41.8  40.8  45.4   1.9
  6.|-- MX480-MM11.p2p.MX240-B57.  0.0%     5   40.7  40.8  40.7  41.0   0.0
  7.|-- IT-GRAD-AS.AS48096.ptspb.  0.0%     5   41.3  45.2  41.3  60.2   8.4
  8.|-- fw-5-200-46-110.it-grad.r  0.0%     5  128.1 157.3 116.2 268.4  62.9
  9.|-- vasexperts.ru             40.0%     5  109.4 135.4 109.4 154.9  23.4

 

 

[snvoronkov]

vasexperts.ru таскается со вчерашнего вечера. Заглавная страничка wget-ом грузится примерно 2 минуты.

[Bigmazy]

4 часа назад, snvoronkov сказал:

vasexperts.ru таскается со вчерашнего вечера. Заглавная страничка wget-ом грузится примерно 2 минуты.

разрешилось с vasexperts.ru

[Bigmazy]

6 часов назад, ioann сказал:

Друзья, судя по ответу ТП проблему скатовцы не признают.

Открывайте свои кейсы, ссылайтесь на мой INC085139!

Пишите здесь у кого еще были множественные пропуски 14-04-2018 примерно с 14:00 до 17:00 МСК!

Могу так сказать по 14 и 15, есть например клиент с ревизором (верхний уровень) и прикрепленные к нему с ревизорами.
у Клиента отчет - 0%, у некоторых прикреленных не у всех от 1% до 3% не у всех. Все идет через DPI вопрос угадайте что не так ?
Если говорить о DPI то при закачке контролируются контрольные суммы, т.е. список не может придти укороченный или битый, его не загрузит DPI.
Далее если в алерт логе все хорошо и в стат логе нет перегруза в это время, т.е. нет ошибок. Надо искать в чем проблема в сети. 

 

Для того что бы еще точнее сказать в DPI или нет и не гадать предлагаю настроить логирование кликстрима.

Копирую из этого SD, будет полезно для всех, снятие кликстрим: 
http://vasexperts.ru/wiki/doku.php?id=dpi:dpi_options:base_functionality:opt_li:li_ipfix:start 
http://vasexperts.ru/wiki/doku.php?id=dpi:dpi_components:utilities:ipfixreceiver 

пример файла конфигурации для ipfixreceiver: 
cat /etc/dpiui/ipfixreceiver.conf 
[loggers] 
keys=root 

[handlers] 
keys=ipfixreceiverlogger 

[formatters] 
keys=ipfixreceiverlogger 

[logger_root] 
level=DEBUG 
handlers=ipfixreceiverlogger 

[handler_ipfixreceiverlogger] 
#class=StreamHandler 
level=DEBUG 
formatter=ipfixreceiverlogger 
#args=(sys.stdout,) 
class=FileHandler 
args=('/var/log/dpiuiurl.log', 'a+') 

[formatter_ipfixreceiverlogger] 
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s 
datefmt= 

[connect] 
protocol=udp 
host=176.74.8.107 
port=1500 

[dump] 
rotate_minutes=10 
processcmd=gzip %%s 
dumpfiledir=/var/dump/dpiui/ipfixurl/ 
buffer_size=25000 

[InfoModel] 
InfoElements = timestamp, 43823, 1001, SECONDS, True 
login, 43823, 1002, STRING 
source_ip4, 43823, 1003, IP4ADDR, True 
destination_ip4, 43823, 1004, IP4ADDR, True 
host, 43823, 1005, STRING 
path, 43823, 1006, STRING 
referal, 43823, 1007, STRING 
user_agent, 43823, 1008, STRING 
cookie, 43823, 1009, STRING 
session_id, 43823, 2000, INT64, True 
LOCKED, 43823, 1010, INT64, True 

[ExportModel] 
Mode = File 

[ExportModelFile] 
Delimiter = \t 
ExportElements = timestamp, seconds, %%d/%%m/%%Y-%%H:%%M:%%S 
login 
source_ip4, decodeipv4 
destination_ip4, decodeipv4 
host, decodehost 
path, decodepath 
referal, decodereferer 
session_id 
LOCKED

 

LOCKED <> 0 означает ресурс заблокирован.
Надеюсь так проще будет разобраться при пропусках.

По этому файлу легко посмотреть был ли запрос, заблокировал ли его DPI.

Если не нашли см. нет ли альтернативных путей в сети.

 

[ioann]

13 часов назад, Bigmazy сказал:

Для того что бы еще точнее сказать в DPI или нет и не гадать предлагаю настроить логирование кликстрима.

Все ясно и без гадания и без кликстрима - проблемный трафик зафиксирован netflow, снятым со Ската.

[bike]

20 минут назад, ioann сказал:

проблемный трафик зафиксирован netflow, снятым со Ската.

А можно подробней?

П.С. За 14 число пропусков нет.

[ioann]

20 минут назад, bike сказал:

А можно подробней?

П.С. За 14 число пропусков нет.

Берем запись о нарушении из отчета Ревизора, находим соответствующий flow в дампе трафика Ревизора (по времени, ip, URL), видим, что контент действительно выдался и редиректа на заглушку не было, находим соответствующий flow в netflow, снятом со Ската (на nfsen).

Наличие там такого flow однозначно свидетельствует о том, что трафик прошел через Скат, а не мимо, как нам пытаются доказать.

 

Скажите - у Вас настроена ежеминутная проверка обновлений из облака?

[bike]

16 минут назад, ioann сказал:

Скажите - у Вас настроена ежеминутная проверка обновлений из облака?

timeout_check_new_bl=1

 

16 минут назад, ioann сказал:

Берем запись о нарушении из отчета Ревизора, находим соответствующий flow в дампе трафика Ревизора (по времени, ip, URL), видим, что контент действительно выдался и редиректа на заглушку не было, находим соответствующий flow в netflow, снятом со Ската (на nfsen).

Наличие там такого flow однозначно свидетельствует о том, что трафик прошел через Скат, а не мимо, как нам пытаются доказать.

Спасибо, понятно.