Перейти к содержимому
Калькуляторы
Блокировка веб ресурса  

566 пользователей проголосовало

  1. 1. Для блокировка используем


Блокировка сайтов провайдерами маневры с DNS

Ответить

hsvt   

hsvt
Опубликовано · Жалоба

Уже который раз в отчёте пропуск по "перенаправлению"

  

<content id="1056445" includeTime="2018-12-03T19:09:44" entryType="1" blockType="domain" hash="041E81FF133D36D6A14C1AB5828FEDB5">
    <decision date="2018-07-25" number="2-2516/2018" org="óä"/>
    <domain><![CDATA[w.kyzdar.net]]></domain>
    <ip>185.92.74.181</ip>
  </content>

  

curl -v -4 "http://w.kyzdar.net"
* About to connect() to w.kyzdar.net port 80 (#0)
*   Trying 185.92.74.165...
* Connected to w.kyzdar.net (185.92.74.165) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: w.kyzdar.net
> Accept: */*
>
< HTTP/1.1 301 Moved Permanently
< Location: https://w1.q1zdar.net/
< Content-Type: text/html; charset=UTF-8
< Content-Length: 188
<
* Connection #0 to host w.kyzdar.net left intact
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8"><TITLE>301 Moved</TITLE></HEAD><BODY><H1>301 Moved</H1><A HREF="https://w1.q1zdar.net/">here</A></BODY></HTML>

 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

arhead   

arhead
Опубликовано · Жалоба
1 минуту назад, hsvt сказал:

Уже который раз в отчёте пропуск по "перенаправлению"

  


<content id="1056445" includeTime="2018-12-03T19:09:44" entryType="1" blockType="domain" hash="041E81FF133D36D6A14C1AB5828FEDB5">
    <decision date="2018-07-25" number="2-2516/2018" org="óä"/>
    <domain><![CDATA[w.kyzdar.net]]></domain>
    <ip>185.92.74.181</ip>
  </content>

  


curl -v -4 "http://w.kyzdar.net"
* About to connect() to w.kyzdar.net port 80 (#0)
*   Trying 185.92.74.165...
* Connected to w.kyzdar.net (185.92.74.165) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Host: w.kyzdar.net
> Accept: */*
>
< HTTP/1.1 301 Moved Permanently
< Location: https://w1.q1zdar.net/
< Content-Type: text/html; charset=UTF-8
< Content-Length: 188
<
* Connection #0 to host w.kyzdar.net left intact
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8"><TITLE>301 Moved</TITLE></HEAD><BODY><H1>301 Moved</H1><A HREF="https://w1.q1zdar.net/">here</A></BODY></HTML>

 

Его только по IP получается блочить( раньше адрес заканчивался на 181 теперь видимо изменился

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

hsvt   

hsvt
Опубликовано (изменено) · Жалоба
7 минут назад, arhead сказал:

Его только по IP получается блочить( раньше адрес заканчивался на 181 теперь видимо изменился

Можно, например, добавить в our_blacklist ? 

Изменено пользователем hsvt

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

arhead   

arhead
Опубликовано · Жалоба
9 минут назад, hsvt сказал:

Можно, например, добавить в our_blacklist ? 

 

Да, я так сделал.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба
5 часов назад, hsvt сказал:

Уже который раз в отчёте пропуск по "перенаправлению"

Выше писали о данном сайте. Заблокировать его при помощи dpi невозможно, т. к. сервер отправляет ответ, не дожидаясь окончания запроса от клиента. 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

YuryD   

YuryD
Опубликовано · Жалоба
3 часа назад, max1976 сказал:

Выше писали о данном сайте. Заблокировать его при помощи dpi невозможно, т. к. сервер отправляет ответ, не дожидаясь окончания запроса от клиента. 

 Скат как-то блочит-же. С ошибкой при установке защищенного соединия.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба
2 часа назад, YuryD сказал:

Скат как-то блочит-же. С ошибкой при установке защищенного соединия.

Видимо внесли в список блокировки домен, на который делается редирект, а по факту оригинальный домен, указанный в реестре, не блокируется. 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Morphus   

Morphus
Опубликовано · Жалоба

Отчёты в личном кабинете формируются ? Уже час висят.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

YuryD   

YuryD
Опубликовано · Жалоба
8 часов назад, max1976 сказал:

Видимо внесли в список блокировки домен, на который делается редирект, а по факту оригинальный домен, указанный в реестре, не блокируется. 

 Всё, как выше написано. В реестре http, на нем редирект на https. По http скат показывает заглушку - чего нет, при https просто отваливет соединение при установке защищенного соединия. Как он это делает - не знаю, видимо по sni, но блочит.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

swsn   

swsn
Опубликовано · Жалоба
4 часа назад, Morphus сказал:

Отчёты в личном кабинете формируются ? Уже час висят.

С ночи такая же проблема. Видимо у них что-то случилось. 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

swsn   

swsn
Опубликовано (изменено) · Жалоба

Написал им получил ответ:

 

Цитата

Добрый день!

На данный момент у Вас на агенте есть незавершенные проверки за 8 и 7 
мая. За 6 мая отчет формируется.
 

и приложили файл отчета. У личном кабинете все равно отчеты висят в статусе новый. Они походу вообще не в курсе проблемы ))

наверно сервер в пьяном угаре пивом залили отмечая предстоящие праздники

Изменено пользователем swsn

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба
В 07.05.2019 в 09:38, hsvt сказал:

Можно, например, добавить в our_blacklist ? 

 

Можно добавить в our_blacklist

Цитата

https://*.q1zdar.net

, тогда будет блокироваться как в СКАТ.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Morphus   

Morphus
Опубликовано (изменено) · Жалоба

Собираю на новом сервере фильтр. Вроде бы всё сделал. Но интерфейсы входного и исходящего трафика сейчас не подключены.

Для проверки попытался запустить фильтр, в логе появилось:

2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: extFilter
2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: -n
2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: 2
2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: -c
2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: 0x1f
2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: --master-lcore
2019-05-08 19:15:49.857 [4791] Debug Application - DPDK command line: 0
 

В данной ситуации это нормально ? Или лог должен быть другим и я что-от не так сделал.

Или реально проверить можно только с включенными интерфейсами?

 

 

systemctl status такой:

Скрытый текст

[root@localhost extfilter]# systemctl status extfilter.service 
● extfilter.service - extFilter is a daemon for filtering traffic using DPDK
   Loaded: loaded (/etc/systemd/system/extfilter.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since Ср 2019-05-08 19:27:50 +08; 2s ago
  Process: 15523 ExecStart=/usr/local/bin/extFilter --daemon --pidfile=/var/run/extFilter.pid --config-file /home/extfilter/extfilter.ini (code=exited, status=0/SUCCESS)
 Main PID: 15524 (code=exited, status=70)

май 08 19:27:50 localhost.localdomain systemd[1]: Starting extFilter is a daemon for filtering traffic using DPDK...
май 08 19:27:50 localhost.localdomain systemd[1]: PID file /var/run/extFilter.pid not readable (yet?) after start.
май 08 19:27:50 localhost.localdomain systemd[1]: Started extFilter is a daemon for filtering traffic using DPDK.
май 08 19:27:50 localhost.localdomain systemd[1]: extfilter.service: main process exited, code=exited, status=70/n/a
май 08 19:27:50 localhost.localdomain systemd[1]: Unit extfilter.service entered failed state.
май 08 19:27:50 localhost.localdomain systemd[1]: extfilter.service failed.
 

 

Изменено пользователем Morphus

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

max1976   

max1976
Опубликовано · Жалоба
24 минуты назад, Morphus сказал:

Собираю на новом сервере фильтр. Вроде бы всё сделал. Но интерфейсы входного и исходящего трафика сейчас не подключены.

Без интерфейсов фильтр не запустится.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Morphus   

Morphus
Опубликовано (изменено) · Жалоба

Не могу запустить фильтр.

  

[root@localhost extfilter]# cat /proc/cmdline 
BOOT_IMAGE=/boot/vmlinuz-3.10.0-957.el7.x86_64 root=UUID=f316088a-e692-4385-809f-5af5746607e6 ro rootflags=subvol=root crashkernel=auto rhgb quiet isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=25

Процессор 4-х ядерный, сервак однопроцессорный.
 

Скрытый текст

[root@localhost extfilter]# cat /proc/cpuinfo 
processor    : 0
vendor_id    : GenuineIntel
cpu family    : 6
model        : 158
model name    : Intel(R) Xeon(R) CPU E3-1230 v6 @ 3.50GHz
stepping    : 9
microcode    : 0x8e
cpu MHz        : 3700.378
cache size    : 8192 KB
physical id    : 0
siblings    : 4
core id        : 0
cpu cores    : 4
apicid        : 0
initial apicid    : 0
fpu        : yes
fpu_exception    : yes
cpuid level    : 22
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch epb intel_pt ssbd ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm mpx rdseed adx smap clflushopt xsaveopt xsavec xgetbv1 dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp spec_ctrl intel_stibp flush_l1d
bogomips    : 7008.00
clflush size    : 64
cache_alignment    : 64
address sizes    : 39 bits physical, 48 bits virtual
power management:
 

  

[root@localhost extfilter]# cat /proc/meminfo
Скрытый текст

MemTotal:       32360780 kB
MemFree:         4070660 kB
MemAvailable:    5263288 kB
Buffers:            2088 kB
Cached:          1398936 kB
SwapCached:            0 kB
Active:          1379552 kB
Inactive:         391264 kB
Active(anon):     370736 kB
Inactive(anon):     8440 kB
Active(file):    1008816 kB
Inactive(file):   382824 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:             0 kB
SwapFree:              0 kB
Dirty:               164 kB
Writeback:             0 kB
AnonPages:        369792 kB
Mapped:            79128 kB
Shmem:              9384 kB
Slab:              73764 kB
SReclaimable:      38704 kB
SUnreclaim:        35060 kB
KernelStack:        3456 kB
PageTables:         5900 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     3073188 kB
Committed_AS:    1169252 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      333884 kB
VmallocChunk:   34358947836 kB
HardwareCorrupted:     0 kB
AnonHugePages:    219136 kB
CmaTotal:              0 kB
CmaFree:               0 kB
HugePages_Total:      25
HugePages_Free:       25
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:    1048576 kB
DirectMap4k:      160092 kB
DirectMap2M:     3610624 kB
DirectMap1G:    29360128 kB
 

 

extfilter.ini

Скрытый текст

; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения.
;lower_host = false

domainlist = /usr/local/etc/extfilter/domains
urllist = /usr/local/etc/extfilter/urls
ssllist = /usr/local/etc/extfilter/ssl_host

; файл с ip:port для блокировки
hostlist = /usr/local/etc/extfilter/hosts

; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true.
sslips = /usr/local/etc/extfilter/ssl_ips

; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false
http_redirect = true

# если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://...
redirect_url = http://block.uilim.ru

; посылать tcp rst в сторону сервера от имени клиента. Default: false
rst_to_server = false

; Default: 0 - disable
statistic_interval = 300

; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false
block_ssl_no_sni = false

; Какие ядра использовать. Default: все ядра, кроме management.
core_mask = 129

; файл статистики (для extfilter-cacti)
statisticsfile = /var/run/extFilter_stat

; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500
; out_mtu = 1500


; CLI для управления или сбора статистики extfilter
; cli_port = 9999
; cli_address = 127.0.0.1

; Количество каналов памяти (для DPDK)
memory_channels = 2

; Количество повторных пакетов в сторону клиента (от 1 до 3)
answer_duplication = 1

; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline)
operation_mode = mirror

; Использовать jumbo frames
; jumbo_frames = false

; Максимальная длина ethernet фрейма при включенном jumbo_frames
; max_pkt_len = 9600

; здесь задаются порты, с которых необходимо снимать трафик
; формат:
; [port n]
; queues = a,b; a1,b1...
; n - номер порта dpdk
; a - номер очереди
; b - ядро, обрабатывающее очередь a

; Пример:
[port 0]
queues = 0,1; 1,2

; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
queues = 0,3
mac = 00:0f:f8:c9:50:00

[dpi]
; Масштабирование количества обрабатываемых потоков 1..10
scale = 10

; Собирать и анализировать фрагментированные пакеты
; fragmentation_ipv6_state = true
; fragmentation_ipv4_state = true
; fragmentation_ipv4_table_size = 512
; fragmentation_ipv6_table_size = 512

; Собирать и анализировать tcp потоки с неправильными порядком
; tcp_reordering = true

[logging]
loggers.root.level = information
loggers.root.level = debug
loggers.root.channel = fileChannel
channels.fileChannel.class = FileChannel
channels.fileChannel.path = /var/log/extFilter.log
channels.fileChannel.rotation = 1 M
channels.fileChannel.purgeCount = 4
channels.fileChannel.archive = timestamp
channels.fileChannel.formatter.class = PatternFormatter
channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t
channels.fileChannel.formatter.times = local
 

 

dpdk-devbind.py -s

 

Скрытый текст

root@localhost extfilter]# dpdk-devbind.py -s

Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=
0000:05:00.0 'I210 Gigabit Network Connection 1533' drv=igb_uio unused=

Network devices using kernel driver
===================================
0000:01:00.1 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' if=enp1s0f1 drv=ixgbe unused=igb_uio 
0000:04:00.0 'I210 Gigabit Network Connection 1533' if=eno1 drv=igb unused=igb_uio *Active*

 

selinux disabled.  

cpu_layout.py
Скрытый текст

======================================================================
Core and Socket Information (as reported by '/sys/devices/system/cpu')
======================================================================

cores =  [0, 1, 2, 3]
sockets =  [0]

       Socket 0  
       --------  
Core 0 [0]       
Core 1 [1]       
Core 2 [2]       
Core 3 [3]     

 

Запускаю фильтр: 

extFilter --config-file extfilter.ini --daemon --pidfile=/var/run/extfilter.pid

В логе вижу: 

2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: extFilter
2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: -n
2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: 2
2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: -c
2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: 0x81
2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: --master-lcore
2019-05-13 13:28:00.188 [18251] Debug Application - DPDK command line: 0

Помогите! Что может быть не так?

Изменено пользователем Morphus

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

epollia   

epollia
Опубликовано · Жалоба

мне кажется core_mask не верно указана укажите 15

 

и покажите 

cat /usr/lib/tuned/dpdk-tune/tuned.conf 

 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Morphus   

Morphus
Опубликовано · Жалоба
11 минут назад, epollia сказал:

мне кажется core_mask не верно указана укажите 15

@epolliaПрописал, вроде как запустился. 

[root@localhost extfilter]# cat /usr/lib/tuned/dpdk-tune/tuned.conf 
[main]
include=latency-performance

[bootloader]
cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=25

только htop показывает что 4 ядро простаивает. И ответы не шлются как будто, пропуски идут.

htop13.png

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

epollia   

epollia
Опубликовано · Жалоба 
[port 0]
queues = 0,1; 1,2

; Порт для отправки уведомлений через dpdk

Вот почему простаивает

 

добавте 2,3

Чуть внимательнее.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Morphus   

Morphus
Опубликовано (изменено) · Жалоба
6 минут назад, epollia сказал: 

[port 0]
queues = 0,1; 1,2

; Порт для отправки уведомлений через dpdk

Вот почему простаивает

 

добавте 2,3

Чуть внимательнее.

0 это же на приём. А для отправки порт 1 и там 3 ядро я указываю. разве не так ?

Добавил как вы писали, теперь снова не запускается как раньше

Изменено пользователем Morphus

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

epollia   

epollia
Опубликовано · Жалоба

для работы 3х ядер надо 

[port 0]
queues = 0,1; 1,2; 2,3

; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
mac = 00:0f:f8:c9:50:00

 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Morphus   

Morphus
Опубликовано · Жалоба
9 минут назад, epollia сказал:

для работы 3х ядер надо 


[port 0]
queues = 0,1; 1,2; 2,3

; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
mac = 00:0f:f8:c9:50:00

 

теперь как надо. Я почему-то думал что для ответов ядро устанавливается отдельно. А не в приёмниках. На старом фильтре было вроде бы так. Не берусь утверждать...
 

Похоже заработал.

 

Пока не выставлю: 

fragmentation_ipv4_state = true
fragmentation_ipv4_table_size = 512

https мимо все летят.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Morphus   

Morphus
Опубликовано · Жалоба
Только что, epollia сказал:

эти параметры не влияют на https)

Да, похоже я ошибся. Закомментировал обратно и поставил на проверку. Посмотрим что будет.

Спасибо за помощь!

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

epollia   

epollia
Опубликовано · Жалоба

эти параметры прияют на прохождение фрагментированных пакетов. т.е. если сообщение не влазит в один пакет (mtu недостаточно т.к. данных много или же сам клиент целенаправленно выставил себе mtu маленьким, как в с одним из ресуосов, его банили по ip).

Если включено, то фильтр пытается собрать такой пакет из фрагментов. Если у вас все норм с зеркалом и на фильтр попадает весь трафик, то лучше оставить. Если есть проблемы, то возможен перерасход памяти.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Перейти к списку тем Программное обеспечение, биллинг и *unix системы