ioann Опубликовано 16 апреля, 2018 · Жалоба Добрый день! Кто-нибудь зафиксировал массовые пропуски запрещенных ресурсов 14-04-2018 примерно с 14:00 до 17:00 МСК? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
_Wolf_ Опубликовано 16 апреля, 2018 · Жалоба Да, то же самое в то же время. При этом по логу самого СКАТа обращения к "облаку" за списком проходили успешно, но с отсутствием изменений для загрузки. Похоже на то, что они там прозевали обновления. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 16 апреля, 2018 · Жалоба 25 минут назад, _Wolf_ сказал: Да, то же самое в то же время. При этом по логу самого СКАТа обращения к "облаку" за списком проходили успешно, но с отсутствием изменений для загрузки. Похоже на то, что они там прозевали обновления. Не прозевали, там пропущены давние записи из реестра, и все прокурорские... 7%! Что-то именно с этими записями похоже накосячили. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
_Wolf_ Опубликовано 16 апреля, 2018 · Жалоба 13 minutes ago, ioann said: Не прозевали, там пропущены давние записи из реестра, и все прокурорские... 7%! Что-то именно с этими записями похоже накосячили. Совершенно не важно, что они "давние записи". К "давним записям" добавляются новые IP при этом номер записи и дата внесения в реестр остаются старыми. Так всегда. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 16 апреля, 2018 · Жалоба Ну факт в том, что косяк имеет место быть, и неважно как именно он был реализован. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 16 апреля, 2018 · Жалоба 39 пропусков. Ни о каких 7% речи и быть не может. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 16 апреля, 2018 · Жалоба 52 минуты назад, snvoronkov сказал: 39 пропусков. Ни о каких 7% речи и быть не может. Вам мало? У меня в отчете Ревизора зафиксировано именно 7%. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
_Wolf_ Опубликовано 16 апреля, 2018 (изменено) · Жалоба 2 hours ago, snvoronkov said: 39 пропусков. Ни о каких 7% речи и быть не может. Все зависит, видимо, от конкретного Ревизора - когда он обновил свой список и в какое время выполнял проверку. У меня по трём цифры "пропусков" совершенно разные, но они есть. И еще - "скатовцы" когда-то проводили исследование - на "ревизоры" часто обновления загружаются раньше, чем становятся доступны для операторов. Иногда разница несколько часов. Пруф ищите в их ВиКи. Изменено 16 апреля, 2018 пользователем _Wolf_ Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 16 апреля, 2018 · Жалоба 1 час назад, _Wolf_ сказал: У меня по трём цифры "пропусков" совершенно разные, но они есть. Можете сказать какие цифры получились? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sendernew Опубликовано 17 апреля, 2018 · Жалоба Как-то вот так получилось: Генпрокуратура 2704 18% ФНС 16 < 1% суд 2 < 1% Минкомсвязь 1 < 1% Всего 2723 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 17 апреля, 2018 · Жалоба 1 час назад, sendernew сказал: Как-то вот так получилось: Генпрокуратура 2704 18% Офигеть! У меня так: Генпрокуратура 1102 7% Всего 1102 - Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sendernew Опубликовано 17 апреля, 2018 · Жалоба Я хотел было им в поддержку написать, нашел у себя доступ к it-grad, но что-то там даже упоминания нет про vasexperts, только статьи про виртуальные машины. Кто-нибудь в курсе, это оно вообще? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 17 апреля, 2018 · Жалоба 11 минут назад, sendernew сказал: Я хотел было им в поддержку написать, нашел у себя доступ к it-grad, но что-то там даже упоминания нет про vasexperts, только статьи про виртуальные машины. Пишите-пишите. Это оно. Только я ответа по проблеме пропусков в Full NetFlow вот уже неделю жду. :-) NBD, блин. Уже NBW. Прослойка it-grad устойчива к внешним воздействиям и вот уже второй год успешно обороняет vasexperts от проблем пользователей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 17 апреля, 2018 · Жалоба 14 минут назад, sendernew сказал: Кто-нибудь в курсе, это оно вообще? Да, это оно. 2 минуты назад, snvoronkov сказал: Пишите-пишите. Это оно. Только я ответа по проблеме пропусков в Full NetFlow вот уже неделю жду. :-) Угу, у меня уже 3 кейса по пропускам открыто, и еще 1 про netflow. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
_Wolf_ Опубликовано 17 апреля, 2018 · Жалоба Пишите, пишите... у меня уже 3-й месяц весит кейс по подобным же массовым пропускам с ими же поставленным приоритетом " 2 - High " который они вообще проигнорировали - даже не ответили ни слова после постановки заявки в работу и назначения приоритета. Третий месяц пошел! А вы про NBD! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 17 апреля, 2018 · Жалоба О чудо - мне ответили на вчерашний кейс! Таки NBD. Но сам ответ - предложили включить кликстрим :( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 17 апреля, 2018 · Жалоба Друзья, судя по ответу ТП проблему скатовцы не признают. Открывайте свои кейсы, ссылайтесь на мой INC085139! Пишите здесь у кого еще были множественные пропуски 14-04-2018 примерно с 14:00 до 17:00 МСК! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 17 апреля, 2018 · Жалоба У них, походу, сегодня звезда в сеть пришла: Цитата $ mtr -r -c 5 vasexperts.ru Start: Tue Apr 17 14:57:28 2018 HOST: sv Loss% Snt Last Avg Best Wrst StDev 1.|-- 0.0% 5 135.2 27.8 0.4 135.2 60.1 2.|-- 0.0% 5 0.5 0.7 0.5 1.2 0.0 3.|-- tmn06.tmn29.transtelecom. 0.0% 5 1.4 1.4 1.0 2.0 0.0 4.|-- spb06.spb30.transtelecom. 0.0% 5 43.8 43.9 43.8 44.0 0.0 5.|-- Prometey-gw.transtelecom. 0.0% 5 40.8 41.8 40.8 45.4 1.9 6.|-- MX480-MM11.p2p.MX240-B57. 0.0% 5 40.7 40.8 40.7 41.0 0.0 7.|-- IT-GRAD-AS.AS48096.ptspb. 0.0% 5 41.3 45.2 41.3 60.2 8.4 8.|-- fw-5-200-46-110.it-grad.r 0.0% 5 128.1 157.3 116.2 268.4 62.9 9.|-- vasexperts.ru 40.0% 5 109.4 135.4 109.4 154.9 23.4 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
snvoronkov Опубликовано 17 апреля, 2018 · Жалоба vasexperts.ru таскается со вчерашнего вечера. Заглавная страничка wget-ом грузится примерно 2 минуты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bigmazy Опубликовано 17 апреля, 2018 · Жалоба 4 часа назад, snvoronkov сказал: vasexperts.ru таскается со вчерашнего вечера. Заглавная страничка wget-ом грузится примерно 2 минуты. разрешилось с vasexperts.ru Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Bigmazy Опубликовано 17 апреля, 2018 · Жалоба 6 часов назад, ioann сказал: Друзья, судя по ответу ТП проблему скатовцы не признают. Открывайте свои кейсы, ссылайтесь на мой INC085139! Пишите здесь у кого еще были множественные пропуски 14-04-2018 примерно с 14:00 до 17:00 МСК! Могу так сказать по 14 и 15, есть например клиент с ревизором (верхний уровень) и прикрепленные к нему с ревизорами. у Клиента отчет - 0%, у некоторых прикреленных не у всех от 1% до 3% не у всех. Все идет через DPI вопрос угадайте что не так ? Если говорить о DPI то при закачке контролируются контрольные суммы, т.е. список не может придти укороченный или битый, его не загрузит DPI. Далее если в алерт логе все хорошо и в стат логе нет перегруза в это время, т.е. нет ошибок. Надо искать в чем проблема в сети. Для того что бы еще точнее сказать в DPI или нет и не гадать предлагаю настроить логирование кликстрима. Копирую из этого SD, будет полезно для всех, снятие кликстрим: http://vasexperts.ru/wiki/doku.php?id=dpi:dpi_options:base_functionality:opt_li:li_ipfix:start http://vasexperts.ru/wiki/doku.php?id=dpi:dpi_components:utilities:ipfixreceiver пример файла конфигурации для ipfixreceiver: cat /etc/dpiui/ipfixreceiver.conf [loggers] keys=root [handlers] keys=ipfixreceiverlogger [formatters] keys=ipfixreceiverlogger [logger_root] level=DEBUG handlers=ipfixreceiverlogger [handler_ipfixreceiverlogger] #class=StreamHandler level=DEBUG formatter=ipfixreceiverlogger #args=(sys.stdout,) class=FileHandler args=('/var/log/dpiuiurl.log', 'a+') [formatter_ipfixreceiverlogger] format=%(asctime)s - %(name)s - %(levelname)s - %(message)s datefmt= [connect] protocol=udp host=176.74.8.107 port=1500 [dump] rotate_minutes=10 processcmd=gzip %%s dumpfiledir=/var/dump/dpiui/ipfixurl/ buffer_size=25000 [InfoModel] InfoElements = timestamp, 43823, 1001, SECONDS, True login, 43823, 1002, STRING source_ip4, 43823, 1003, IP4ADDR, True destination_ip4, 43823, 1004, IP4ADDR, True host, 43823, 1005, STRING path, 43823, 1006, STRING referal, 43823, 1007, STRING user_agent, 43823, 1008, STRING cookie, 43823, 1009, STRING session_id, 43823, 2000, INT64, True LOCKED, 43823, 1010, INT64, True [ExportModel] Mode = File [ExportModelFile] Delimiter = \t ExportElements = timestamp, seconds, %%d/%%m/%%Y-%%H:%%M:%%S login source_ip4, decodeipv4 destination_ip4, decodeipv4 host, decodehost path, decodepath referal, decodereferer session_id LOCKED LOCKED <> 0 означает ресурс заблокирован. Надеюсь так проще будет разобраться при пропусках. По этому файлу легко посмотреть был ли запрос, заблокировал ли его DPI. Если не нашли см. нет ли альтернативных путей в сети. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 18 апреля, 2018 · Жалоба 13 часов назад, Bigmazy сказал: Для того что бы еще точнее сказать в DPI или нет и не гадать предлагаю настроить логирование кликстрима. Все ясно и без гадания и без кликстрима - проблемный трафик зафиксирован netflow, снятым со Ската. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bike Опубликовано 18 апреля, 2018 · Жалоба 20 минут назад, ioann сказал: проблемный трафик зафиксирован netflow, снятым со Ската. А можно подробней? П.С. За 14 число пропусков нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ioann Опубликовано 18 апреля, 2018 · Жалоба 20 минут назад, bike сказал: А можно подробней? П.С. За 14 число пропусков нет. Берем запись о нарушении из отчета Ревизора, находим соответствующий flow в дампе трафика Ревизора (по времени, ip, URL), видим, что контент действительно выдался и редиректа на заглушку не было, находим соответствующий flow в netflow, снятом со Ската (на nfsen). Наличие там такого flow однозначно свидетельствует о том, что трафик прошел через Скат, а не мимо, как нам пытаются доказать. Скажите - у Вас настроена ежеминутная проверка обновлений из облака? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bike Опубликовано 18 апреля, 2018 · Жалоба 16 минут назад, ioann сказал: Скажите - у Вас настроена ежеминутная проверка обновлений из облака? timeout_check_new_bl=1 16 минут назад, ioann сказал: Берем запись о нарушении из отчета Ревизора, находим соответствующий flow в дампе трафика Ревизора (по времени, ip, URL), видим, что контент действительно выдался и редиректа на заглушку не было, находим соответствующий flow в netflow, снятом со Ската (на nfsen). Наличие там такого flow однозначно свидетельствует о том, что трафик прошел через Скат, а не мимо, как нам пытаются доказать. Спасибо, понятно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...