alibek Опубликовано 21 сентября, 2016 · Жалоба я сразу ввожу ссылку хттп и получаю открывающийся хттпс Я же дал ссылку на HSTS. Если сайт отдает HSTS-заголовки и хоть раз открывался в браузере, то браузер всегда будет открывать HTTPS-версию, даже если в строке адреса указано HTTP. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GDCTester Опубликовано 21 сентября, 2016 · Жалоба Значит есть вариант заставить его (браузер) делать наоборот через подмену сертификата? И как всё-таки это делает, например, мега? Ведь можно, получается, именно url в https блокировать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 21 сентября, 2016 · Жалоба И как всё-таки это делает, например, мега? Никак она не делает, видимо мобильный браузер не обрабатывает HSTS, поэтому в сеть уходит http-запрос, а уже сервер может сделать переадресацию на https. В браузерах, где обрабатывается HSTS, в сеть уходит уже HTTPS, из него адрес извлечь нельзя. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 21 сентября, 2016 · Жалоба 016-09-21 14:30:24.699 [23288] Debug PktAnalyzer 2 - Not http protocol. Protocol is 0/2 from x.y.z.150:36787 to 185.79.118.172:110 Ну так если посмотреть в исходники nDPI, то 2 это NDPI_PROTOCOL_MAIL_POP, никак не http. Никакой ошибки нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
GDCTester Опубликовано 22 сентября, 2016 · Жалоба Да, и порт 110. Спасибо за разъяснение. https блокируется вроде сквидом 3.5.10+ с ssl-ctrd. Буду пробовать отдельный список YT с https в url-abuse, отпишусь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 22 сентября, 2016 · Жалоба Да, и порт 110. Спасибо за разъяснение. https блокируется вроде сквидом 3.5.10+ с ssl-ctrd. Буду пробовать отдельный список YT с https в url-abuse, отпишусь. https://habrahabr.ru/post/252933/ такая тема с подменом сертификата Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 22 сентября, 2016 · Жалоба Только с YT это не сработает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 22 сентября, 2016 (изменено) · Жалоба max1976, а может ли extFilter перестать блокировать если он еще интерфейс которым в сеть смотрит мониторит? или если трафик дублируется? Около 15 минут работает и перестает блокировать и весь трафик в один порт направил. На стенде вроде норм было а тут 15 минут и все. Изменено 22 сентября, 2016 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 22 сентября, 2016 · Жалоба max1976, а может ли extFilter перестать блокировать если он еще интерфейс которым в сеть смотрит мониторит? или если трафик дублируется? Около 15 минут работает и перестает блокировать и весь трафик в один порт направил. На стенде вроде норм было а тут 15 минут и все. Программа завершается? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 22 сентября, 2016 (изменено) · Жалоба max1976, а может ли extFilter перестать блокировать если он еще интерфейс которым в сеть смотрит мониторит? или если трафик дублируется? Около 15 минут работает и перестает блокировать и весь трафик в один порт направил. На стенде вроде норм было а тут 15 минут и все. Программа завершается? Нет. Работает логи в дебаге. Статистику прописывает. Такое чувство что либо dpdk или nDPI загинается Иногда при перезапуске 2016-09-23 07:42:38.973 [4613] Debug Application - Starting worker threads... 2016-09-23 07:42:38.973 [4613] Debug SenderTask - Starting SenderTask... и виснет на этом пока еще раз не перезапустишь Изменено 23 сентября, 2016 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 сентября, 2016 · Жалоба Нет. Работает логи в дебаге. Статистику прописывает. Такое чувство что либо dpdk или nDPI загинается Иногда при перезапуске 2016-09-23 07:42:38.973 [4613] Debug Application - Starting worker threads... 2016-09-23 07:42:38.973 [4613] Debug SenderTask - Starting SenderTask... и виснет на этом пока еще раз не перезапустишь Честно говоря такого у себя не видел. Есть ли нагрузка на процессор, когда перестает работать extFilter? Что за ОС? Что за карта? Есть ли записи в syslog'е о каких-то ошибках в процессе extFilter? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 23 сентября, 2016 (изменено) · Жалоба 1. Нагрузка на процессор есть (но если посмотреть по температуре то она понижается при зависании, но нагрузка есть). 2. Перестает работать по разному то 20 минут протянет то 10. 3. Debian 8.6 3.16.0-4-amd64 4. Intel E1G44HT (I340-T4) 5. Только что запуск или перезапуск был Sep 23 08:48:51 proxy systemd[1]: Stopping extFilter is a daemon for filtering traffic using DPDK... Sep 23 08:50:31 proxy systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... Sep 23 08:50:31 proxy systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. Sep 23 08:51:49 proxy systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... Sep 23 08:51:49 proxy systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. Sep 23 09:00:01 proxy systemd[1]: Stopping extFilter is a daemon for filtering traffic using DPDK... Sep 23 09:00:02 proxy systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... Sep 23 09:00:02 proxy systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. Sep 23 09:10:01 proxy systemd[1]: Stopping extFilter is a daemon for filtering traffic using DPDK... Sep 23 09:10:01 proxy systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... Sep 23 09:10:01 proxy systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. Sep 23 10:04:53 proxy systemd[1]: Stopping extFilter is a daemon for filtering traffic using DPDK... Sep 23 10:04:53 proxy systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... Sep 23 10:04:53 proxy systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. Sep 23 10:43:21 proxy systemd[1]: Stopping extFilter is a daemon for filtering traffic using DPDK... Sep 23 10:43:22 proxy systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... Sep 23 10:43:22 proxy systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. Изменено 23 сентября, 2016 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 сентября, 2016 · Жалоба А когда программа не фильтрует, в логах выводится статистика? Если да, до количество проверенных пакетов увеличивается? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 23 сентября, 2016 (изменено) · Жалоба А когда программа не фильтрует, в логах выводится статистика? Если да, до количество проверенных пакетов увеличивается? Да выводиться, колличество не меняется останавливается на последнем значении. Пока накатал скрипт которые проверяет если доступен запр сайт то ребутит extFilter Изменено 23 сентября, 2016 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 сентября, 2016 · Жалоба А когда программа не фильтрует, в логах выводится статистика? Если да, до количество проверенных пакетов увеличивается? Да выводиться, колличество не меняется останавливается на последнем значении. Пока накатал скрипт которые проверяет если доступен запр сайт то ребутит extFilter Смотрите в сторону некорректной версии драйверов (не совместимых с dpdk) под сетевую карту, возможно в них проблема. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 23 сентября, 2016 · Жалоба Смотрите в сторону некорректной версии драйверов (не совместимых с dpdk) под сетевую карту, возможно в них проблема. А не можете список дать совместимых драйверов? Не могу найти. Как я понимаю у вас центос стоит. Какие там версии? Такие по умочанию. 0 порт в него зеркалируется трафик *-network:0 description: Ethernet controller product: 82580 Gigabit Network Connection vendor: Intel Corporation physical id: 0 bus info: pci@0000:07:00.0 version: 01 width: 32 bits clock: 33MHz capabilities: pm msi msix pciexpress bus_master cap_list rom configuration: driver=uio_pci_generic latency=0 resources: irq:24 memory:fbc80000-fbcfffff memory:fbe70000-fbe73fff memory:fbc00000-fbc7ffff *-network:1 description: Ethernet interface product: 82580 Gigabit Network Connection vendor: Intel Corporation physical id: 0.1 bus info: pci@0000:07:00.1 logical name: eth1 version: 01 serial: 90:e2:ba:49:1c:9d size: 1Gbit/s capacity: 1Gbit/s width: 32 bits clock: 33MHz capabilities: pm msi msix pciexpress bus_master cap_list ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation configuration: autonegotiation=on broadcast=yes driver=igb driverversion=5.0.5-k duplex=full firmware=3.29, 0x8000027d latency=0 link=yes multicast=yes port=twisted pair speed=1Gbit/s resources: irq:34 memory:fbd00000-fbd7ffff memory:fbe74000-fbe77fff *-network:2 description: Ethernet interface product: 82580 Gigabit Network Connection vendor: Intel Corporation physical id: 0.2 bus info: pci@0000:07:00.2 logical name: eth2 version: 01 serial: 90:e2:ba:49:1c:9e capacity: 1Gbit/s width: 32 bits clock: 33MHz capabilities: pm msi msix pciexpress bus_master cap_list ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation configuration: autonegotiation=on broadcast=yes driver=igb driverversion=5.0.5-k firmware=3.29, 0x8000027d latency=0 link=no multicast=yes port=twisted pair resources: irq:35 memory:fbd80000-fbdfffff memory:fbe78000-fbe7bfff *-network:3 description: Ethernet interface product: 82580 Gigabit Network Connection vendor: Intel Corporation physical id: 0.3 bus info: pci@0000:07:00.3 logical name: eth3 version: 01 serial: 90:e2:ba:49:1c:9f capacity: 1Gbit/s width: 32 bits clock: 33MHz capabilities: pm msi msix pciexpress bus_master cap_list ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation configuration: autonegotiation=on broadcast=yes driver=igb driverversion=5.0.5-k firmware=3.29, 0x8000027d latency=0 link=no multicast=yes port=twisted pair resources: irq:36 memory:fbe80000-fbefffff memory:fbe7c000-fbe7ffff Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 23 сентября, 2016 · Жалоба max1976 Подскажите пожалуйста не могу разобраться почему ссылки с портами 81 и 888 даже не появляются в extFilter.log ? Хотя в файле protos пробовал и tcp:81,tcp:888, и tcp:81@HTTP, . А ссылки с 8080 исправно блокируются(tcp:8080@HTTP,) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 сентября, 2016 (изменено) · Жалоба max1976 Подскажите пожалуйста не могу разобраться почему ссылки с портами 81 и 888 даже не появляются в extFilter.log ? Хотя в файле protos пробовал и tcp:81,tcp:888, и tcp:81@HTTP, . А ссылки с 8080 исправно блокируются(tcp:8080@HTTP,) Может быть файл с протоколами не загружается? Проверьте путь в protocols. Он должен быть полным, т.к. в режиме демона рабочий каталог устанавливается в / . 8080 уже загружен в код nDPI. А не можете список дать совместимых драйверов? Не могу найти. Как я понимаю у вас центос стоит. Какие там версии? Вот. У меня карта Intel® 82599ES 10 Gigabit Ethernet Controller с дровами 4.0.1-k-rh7.2. Изменено 23 сентября, 2016 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 24 сентября, 2016 · Жалоба Rick (Вчера, 21:47) писал: max1976 Подскажите пожалуйста не могу разобраться почему ссылки с портами 81 и 888 даже не появляются в extFilter.log ? Хотя в файле protos пробовал и tcp:81,tcp:888, и tcp:81@HTTP, . А ссылки с 8080 исправно блокируются(tcp:8080@HTTP,) Может быть файл с протоколами не загружается? Проверьте путь в protocols. Он должен быть полным, т.к. в режиме демона рабочий каталог устанавливается в / . 8080 уже загружен в код nDPI. Путь к файлу правильный, так как если отключить файл в настройках то по порту 8080 блокировки нет (также если убрать строку 8080 из файла protos). Заметил интересную вещь, если в файл protos прописать такую строку ip:81,ip:888,ip:8001,tcp:8080@HTTP, то начинает блокировать ссылки по указанным портам. И ещё применяться изменения в файле protos начинают только после перезапуска самого extFilter. Вопрос - а какой правильный синтаксис в файле protos должен быть ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 24 сентября, 2016 · Жалоба Путь к файлу правильный, так как если отключить файл в настройках то по порту 8080 блокировки нет (также если убрать строку 8080 из файла protos). Заметил интересную вещь, если в файл protos прописать такую строку ip:81,ip:888,ip:8001,tcp:8080@HTTP, то начинает блокировать ссылки по указанным портам. И ещё применяться изменения в файле protos начинают только после перезапуска самого extFilter. Вопрос - а какой правильный синтаксис в файле protos должен быть ? Такой: tcp:81,tcp:888,tcp:8001,tcp:8080@HTTP tcp:16869@SSL Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 27 сентября, 2016 · Жалоба У меня карта Intel® 82599ES 10 Gigabit Ethernet Controller а какой, при этом, трафик на сервер зеркалируется? какой процессор на сервере и сколько памяти? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 27 сентября, 2016 · Жалоба У меня карта Intel® 82599ES 10 Gigabit Ethernet Controller а какой, при этом, трафик на сервер зеркалируется? какой процессор на сервере и сколько памяти? ~ 4 гигабита (~ 160 kpps), проц слабый: Intel® Xeon® CPU E5-2603 @ 1.80GHz, памяти 8 гигов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dnvk Опубликовано 27 сентября, 2016 · Жалоба max1976, 4 гигабита - это исходящего трафика от пользователей, в котором могут быть запросы к запрещённым ресурсам? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 27 сентября, 2016 · Жалоба max1976, 4 гигабита - это исходящего трафика от пользователей, в котором могут быть запросы к запрещённым ресурсам? Да, именно так. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 27 сентября, 2016 · Жалоба max1976 Подскажите пожалуйста. В ходе экспериментов на стенде с extFilter выявилась интересная вещь, если недоступен домен из url по протоколу http(но при этом домен ресолвиться, пингуется, трассировка проходит, в браузере не открывается) то url не получает редирект на страницу заглушки(в extFilter.log( режим debug включен) при этом даже нет упоминания об этой записи, как обычно наблюдается когда запись перенаправляется на страницу заглушки). Собственно вопрос, где может быть у меня ошибка ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
