hsvt Опубликовано 7 мая, 2019 · Жалоба Уже который раз в отчёте пропуск по "перенаправлению" <content id="1056445" includeTime="2018-12-03T19:09:44" entryType="1" blockType="domain" hash="041E81FF133D36D6A14C1AB5828FEDB5"> <decision date="2018-07-25" number="2-2516/2018" org="óä"/> <domain><![CDATA[w.kyzdar.net]]></domain> <ip>185.92.74.181</ip> </content> curl -v -4 "http://w.kyzdar.net" * About to connect() to w.kyzdar.net port 80 (#0) * Trying 185.92.74.165... * Connected to w.kyzdar.net (185.92.74.165) port 80 (#0) > GET / HTTP/1.1 > User-Agent: curl/7.29.0 > Host: w.kyzdar.net > Accept: */* > < HTTP/1.1 301 Moved Permanently < Location: https://w1.q1zdar.net/ < Content-Type: text/html; charset=UTF-8 < Content-Length: 188 < * Connection #0 to host w.kyzdar.net left intact <HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8"><TITLE>301 Moved</TITLE></HEAD><BODY><H1>301 Moved</H1><A HREF="https://w1.q1zdar.net/">here</A></BODY></HTML> Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 7 мая, 2019 · Жалоба 1 минуту назад, hsvt сказал: Уже который раз в отчёте пропуск по "перенаправлению" <content id="1056445" includeTime="2018-12-03T19:09:44" entryType="1" blockType="domain" hash="041E81FF133D36D6A14C1AB5828FEDB5"> <decision date="2018-07-25" number="2-2516/2018" org="óä"/> <domain><![CDATA[w.kyzdar.net]]></domain> <ip>185.92.74.181</ip> </content> curl -v -4 "http://w.kyzdar.net" * About to connect() to w.kyzdar.net port 80 (#0) * Trying 185.92.74.165... * Connected to w.kyzdar.net (185.92.74.165) port 80 (#0) > GET / HTTP/1.1 > User-Agent: curl/7.29.0 > Host: w.kyzdar.net > Accept: */* > < HTTP/1.1 301 Moved Permanently < Location: https://w1.q1zdar.net/ < Content-Type: text/html; charset=UTF-8 < Content-Length: 188 < * Connection #0 to host w.kyzdar.net left intact <HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8"><TITLE>301 Moved</TITLE></HEAD><BODY><H1>301 Moved</H1><A HREF="https://w1.q1zdar.net/">here</A></BODY></HTML> Его только по IP получается блочить( раньше адрес заканчивался на 181 теперь видимо изменился Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 7 мая, 2019 (изменено) · Жалоба 7 минут назад, arhead сказал: Его только по IP получается блочить( раньше адрес заканчивался на 181 теперь видимо изменился Можно, например, добавить в our_blacklist ? Изменено 7 мая, 2019 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 7 мая, 2019 · Жалоба 9 минут назад, hsvt сказал: Можно, например, добавить в our_blacklist ? Да, я так сделал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 мая, 2019 · Жалоба 5 часов назад, hsvt сказал: Уже который раз в отчёте пропуск по "перенаправлению" Выше писали о данном сайте. Заблокировать его при помощи dpi невозможно, т. к. сервер отправляет ответ, не дожидаясь окончания запроса от клиента. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 7 мая, 2019 · Жалоба 3 часа назад, max1976 сказал: Выше писали о данном сайте. Заблокировать его при помощи dpi невозможно, т. к. сервер отправляет ответ, не дожидаясь окончания запроса от клиента. Скат как-то блочит-же. С ошибкой при установке защищенного соединия. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 7 мая, 2019 · Жалоба 2 часа назад, YuryD сказал: Скат как-то блочит-же. С ошибкой при установке защищенного соединия. Видимо внесли в список блокировки домен, на который делается редирект, а по факту оригинальный домен, указанный в реестре, не блокируется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 8 мая, 2019 · Жалоба Отчёты в личном кабинете формируются ? Уже час висят. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
YuryD Опубликовано 8 мая, 2019 · Жалоба 8 часов назад, max1976 сказал: Видимо внесли в список блокировки домен, на который делается редирект, а по факту оригинальный домен, указанный в реестре, не блокируется. Всё, как выше написано. В реестре http, на нем редирект на https. По http скат показывает заглушку - чего нет, при https просто отваливет соединение при установке защищенного соединия. Как он это делает - не знаю, видимо по sni, но блочит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 8 мая, 2019 · Жалоба 4 часа назад, Morphus сказал: Отчёты в личном кабинете формируются ? Уже час висят. С ночи такая же проблема. Видимо у них что-то случилось. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 8 мая, 2019 · Жалоба ЦФО Тоже самое. Отчета все ни как нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
swsn Опубликовано 8 мая, 2019 (изменено) · Жалоба Написал им получил ответ: Цитата Добрый день!На данный момент у Вас на агенте есть незавершенные проверки за 8 и 7 мая. За 6 мая отчет формируется. и приложили файл отчета. У личном кабинете все равно отчеты висят в статусе новый. Они походу вообще не в курсе проблемы )) наверно сервер в пьяном угаре пивом залили отмечая предстоящие праздники Изменено 8 мая, 2019 пользователем swsn Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 8 мая, 2019 · Жалоба В 07.05.2019 в 09:38, hsvt сказал: Можно, например, добавить в our_blacklist ? Можно добавить в our_blacklist Цитата https://*.q1zdar.net , тогда будет блокироваться как в СКАТ. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 8 мая, 2019 (изменено) · Жалоба Собираю на новом сервере фильтр. Вроде бы всё сделал. Но интерфейсы входного и исходящего трафика сейчас не подключены. Для проверки попытался запустить фильтр, в логе появилось: 2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: extFilter 2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: -n 2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: 2 2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: -c 2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: 0x1f 2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: --master-lcore 2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: 0 В данной ситуации это нормально ? Или лог должен быть другим и я что-от не так сделал. Или реально проверить можно только с включенными интерфейсами? systemctl status такой: Скрытый текст [root@localhost extfilter]# systemctl status extfilter.service ● extfilter.service - extFilter is a daemon for filtering traffic using DPDK Loaded: loaded (/etc/systemd/system/extfilter.service; enabled; vendor preset: disabled) Active: failed (Result: exit-code) since Ср 2019-05-08 19:27:50 +08; 2s ago Process: 15523 ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /home/extfilter/extfilter.ini (code=exited, status=0/SUCCESS) Main PID: 15524 (code=exited, status=70) май 08 19:27:50 localhost.localdomain systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK... май 08 19:27:50 localhost.localdomain systemd[1]: PID file /var/run/extFilter.pid not readable (yet?) after start. май 08 19:27:50 localhost.localdomain systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK. май 08 19:27:50 localhost.localdomain systemd[1]: extfilter.service: main process exited, code=exited, status=70/n/a май 08 19:27:50 localhost.localdomain systemd[1]: Unit extfilter.service entered failed state. май 08 19:27:50 localhost.localdomain systemd[1]: extfilter.service failed. Изменено 8 мая, 2019 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 8 мая, 2019 · Жалоба 24 минуты назад, Morphus сказал: Собираю на новом сервере фильтр. Вроде бы всё сделал. Но интерфейсы входного и исходящего трафика сейчас не подключены. Без интерфейсов фильтр не запустится. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 13 мая, 2019 (изменено) · Жалоба Не могу запустить фильтр. [root@localhost extfilter]# cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-3.10.0-957.el7.x86_64 root=UUID=f316088a-e692-4385-809f-5af5746607e6 ro rootflags=subvol=root crashkernel=auto rhgb quiet isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=25 Процессор 4-х ядерный, сервак однопроцессорный. Скрытый текст [root@localhost extfilter]# cat /proc/cpuinfo processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 158 model name : Intel(R) Xeon(R) CPU E3-1230 v6 @ 3.50GHz stepping : 9 microcode : 0x8e cpu MHz : 3700.378 cache size : 8192 KB physical id : 0 siblings : 4 core id : 0 cpu cores : 4 apicid : 0 initial apicid : 0 fpu : yes fpu_exception : yes cpuid level : 22 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch epb intel_pt ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm mpx rdseed adx smap clflushopt xsaveopt xsavec xgetbv1 dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp spec_ctrl intel_stibp flush_l1d bogomips : 7008.00 clflush size : 64 cache_alignment : 64 address sizes : 39 bits physical, 48 bits virtual power management: [root@localhost extfilter]# cat /proc/meminfo Скрытый текст MemTotal: 32360780 kB MemFree: 4070660 kB MemAvailable: 5263288 kB Buffers: 2088 kB Cached: 1398936 kB SwapCached: 0 kB Active: 1379552 kB Inactive: 391264 kB Active(anon): 370736 kB Inactive(anon): 8440 kB Active(file): 1008816 kB Inactive(file): 382824 kB Unevictable: 0 kB Mlocked: 0 kB SwapTotal: 0 kB SwapFree: 0 kB Dirty: 164 kB Writeback: 0 kB AnonPages: 369792 kB Mapped: 79128 kB Shmem: 9384 kB Slab: 73764 kB SReclaimable: 38704 kB SUnreclaim: 35060 kB KernelStack: 3456 kB PageTables: 5900 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 3073188 kB Committed_AS: 1169252 kB VmallocTotal: 34359738367 kB VmallocUsed: 333884 kB VmallocChunk: 34358947836 kB HardwareCorrupted: 0 kB AnonHugePages: 219136 kB CmaTotal: 0 kB CmaFree: 0 kB HugePages_Total: 25 HugePages_Free: 25 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 1048576 kB DirectMap4k: 160092 kB DirectMap2M: 3610624 kB DirectMap1G: 29360128 kB extfilter.ini Скрытый текст ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false domainlist = /usr/local/etc/extfilter/domains urllist = /usr/local/etc/extfilter/urls ssllist = /usr/local/etc/extfilter/ssl_host ; файл с ip:port для блокировки hostlist = /usr/local/etc/extfilter/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/ssl_ips ; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false http_redirect = true # если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://... redirect_url = http://block.uilim.ru ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = false ; Default: 0 - disable statistic_interval = 300 ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = false ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 129 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; CLI для управления или сбора статистики extfilter ; cli_port = 9999 ; cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) memory_channels = 2 ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 1 ; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline) operation_mode = mirror ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: [port 0] queues = 0,1; 1,2 ; Порт для отправки уведомлений через dpdk [port 1] type = sender queues = 0,3 mac = 00:0f:f8:c9:50:00 [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 scale = 10 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true ; fragmentation_ipv4_state = true ; fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком ; tcp_reordering = true [logging] loggers.root.level = information loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 4 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local dpdk-devbind.py -s Скрытый текст root@localhost extfilter]# dpdk-devbind.py -s Network devices using DPDK-compatible driver ============================================ 0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused= 0000:05:00.0 'I210 Gigabit Network Connection 1533' drv=igb_uio unused= Network devices using kernel driver =================================== 0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' if=enp1s0f1 drv=ixgbe unused=igb_uio 0000:04:00.0 'I210 Gigabit Network Connection 1533' if=eno1 drv=igb unused=igb_uio *Active* selinux disabled. cpu_layout.py Скрытый текст ====================================================================== Core and Socket Information (as reported by '/sys/devices/system/cpu') ====================================================================== cores = [0, 1, 2, 3] sockets = [0] Socket 0 -------- Core 0 [0] Core 1 [1] Core 2 [2] Core 3 [3] Запускаю фильтр: extFilter --config-file extfilter.ini --daemon --pidfile=/var/run/extfilter.pid В логе вижу: 2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: extFilter 2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: -n 2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: 2 2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: -c 2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: 0x81 2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: --master-lcore 2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: 0 Помогите! Что может быть не так? Изменено 13 мая, 2019 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 13 мая, 2019 · Жалоба мне кажется core_mask не верно указана укажите 15 и покажите cat /usr/lib/tuned/dpdk-tune/tuned.conf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 13 мая, 2019 · Жалоба 11 минут назад, epollia сказал: мне кажется core_mask не верно указана укажите 15 @epolliaПрописал, вроде как запустился. [root@localhost extfilter]# cat /usr/lib/tuned/dpdk-tune/tuned.conf [main] include=latency-performance [bootloader] cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=25 только htop показывает что 4 ядро простаивает. И ответы не шлются как будто, пропуски идут. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 13 мая, 2019 · Жалоба [port 0] queues = 0,1; 1,2 ; Порт для отправки уведомлений через dpdk Вот почему простаивает добавте 2,3 Чуть внимательнее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 13 мая, 2019 (изменено) · Жалоба 6 минут назад, epollia сказал: [port 0] queues = 0,1; 1,2 ; Порт для отправки уведомлений через dpdk Вот почему простаивает добавте 2,3 Чуть внимательнее. 0 это же на приём. А для отправки порт 1 и там 3 ядро я указываю. разве не так ? Добавил как вы писали, теперь снова не запускается как раньше Изменено 13 мая, 2019 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 13 мая, 2019 · Жалоба для работы 3х ядер надо [port 0] queues = 0,1; 1,2; 2,3 ; Порт для отправки уведомлений через dpdk [port 1] type = sender mac = 00:0f:f8:c9:50:00 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 13 мая, 2019 · Жалоба 9 минут назад, epollia сказал: для работы 3х ядер надо [port 0] queues = 0,1; 1,2; 2,3 ; Порт для отправки уведомлений через dpdk [port 1] type = sender mac = 00:0f:f8:c9:50:00 теперь как надо. Я почему-то думал что для ответов ядро устанавливается отдельно. А не в приёмниках. На старом фильтре было вроде бы так. Не берусь утверждать... Похоже заработал. Пока не выставлю: fragmentation_ipv4_state = true fragmentation_ipv4_table_size = 512 https мимо все летят. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 13 мая, 2019 · Жалоба эти параметры не влияют на https) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 13 мая, 2019 · Жалоба Только что, epollia сказал: эти параметры не влияют на https) Да, похоже я ошибся. Закомментировал обратно и поставил на проверку. Посмотрим что будет. Спасибо за помощь! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 13 мая, 2019 · Жалоба эти параметры прияют на прохождение фрагментированных пакетов. т.е. если сообщение не влазит в один пакет (mtu недостаточно т.к. данных много или же сам клиент целенаправленно выставил себе mtu маленьким, как в с одним из ресуосов, его банили по ip). Если включено, то фильтр пытается собрать такой пакет из фрагментов. Если у вас все норм с зеркалом и на фильтр попадает весь трафик, то лучше оставить. Если есть проблемы, то возможен перерасход памяти. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...