1. Для блокировка используем

[default_vlan]

6 часов назад, Cramac сказал:

и вопрос, как часто нужно делать выгрузку? Не могу найти про это.

я запрашиваю раз в 15 минут

 

6 часов назад, Cramac сказал:

и 30 пропусков, это все? Статья?

нет. не более 1%. Но не стоит забывать, что часть исполняется по 139-ФЗ - срок блокировки сутки, а по другим ФЗ должна быть немедленная блокировка. Это все валится в один общий лист.
Учитывая бардак в реестре, я отделяю ip от доменов. Список IP кидаю на брас, а домены в ДНС. Параллельно пашет свой сервис тестирования блокировок - аля мамкин_ревизор.
просто скрипт на питоне бежит по списку доменов из выгрузки и делает хеши. Если хеш от страницы "не обычный" - шлем текст в телеграм почту о том, что сайт открылся и надо принять меры.
раз в сутки для пробега достаточно. Блокирую, естественно по мере поступления.

[Cramac]

@max1976 а зачем при перезагрузке extfilter (послав -HUP), удаляется/очищается файл статистики?

что то агент не может файл найти:

># zabbix_get -s filter -k extfilter.stat["extfilter.discovery"]

File /var/run/extFilter_stat not found!

 

хотя файл там есть

[max1976]

1 минуту назад, Cramac сказал:

@max1976 а зачем при перезагрузке extfilter (послав -HUP), удаляется/очищается файл статистики?

что то агент не может файл найти:

># zabbix_get -s filter -k extfilter.stat["extfilter.discovery"]

File /var/run/extFilter_stat not found!

 

хотя файл там есть

Поддержку zabbix делал не я. 

[Cramac]

проблему решил, дело было в selinux

[Morphus]

Скрипт запрет в логах пишет:

Скрытый текст

2018-10-23 09:36:36 | INFO  | main  | Starting RKN at 1540258596
2018-10-23 09:36:36 | ERROR | main  | Error occured while working with registry: Can't use string ("1540256400000") as a HASH ref while "strict refs" in use at zapret.pl line 1327.
2018-10-23 09:38:36 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
2018-10-23 09:40:36 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
 

Почта не настроена, это понятно. А вот can't use string ? В этом месте в скрипте счётчик попыток увеличивается. Дам не скачивается.

Раньше заканчивалось примерно так:

Скрытый текст

2018-10-20 14:46:48 | INFO  | main  | Skip to resolve domain '*.axolotlgold.com' because it masked
2018-10-20 14:46:48 | INFO  | main  | Skip to resolve domain '*.mstzrt.com' because it masked
2018-10-20 14:52:38 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
2018-10-20 14:54:38 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
2018-10-20 14:54:38 | INFO  | main  | Load iterations: 1, resolved domains ipv4: 86044, resolved domains ipv6: 86044
2018-10-20 14:54:38 | INFO  | main  | Added: domains: 72227, urls: 52518, IPv4 ips: 433858, IPv6 ips: 27, subnets: 60, records: 121553
2018-10-20 14:54:38 | INFO  | main  | Deleted: old domains: 0, old urls: 0, old ips: 0, old only ips: 0, old subnets: 0, old records: 0
2018-10-20 14:54:38 | INFO  | main  | Stopping RKN at Sat Oct 20 14:54:38 2018
 

 

Изменено 23 октября, 2018 пользователем Morphus

[max1976]

2 часа назад, Morphus сказал:

Скрипт запрет в логах пишет:

Скрипт с последним обновлением? 

[Antares]

2 часа назад, Morphus сказал:

Скрипт запрет в логах пишет:

  Показать содержимое

2018-10-23 09:36:36 | INFO  | main  | Starting RKN at 1540258596
2018-10-23 09:36:36 | ERROR | main  | Error occured while working with registry: Can't use string ("1540256400000") as a HASH ref while "strict refs" in use at zapret.pl line 1327.
2018-10-23 09:38:36 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
2018-10-23 09:40:36 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
 

Почта не настроена, это понятно. А вот can't use string ? В этом месте в скрипте счётчик попыток увеличивается. Дам не скачивается.

Раньше заканчивалось примерно так:

  Показать содержимое

2018-10-20 14:46:48 | INFO  | main  | Skip to resolve domain '*.axolotlgold.com' because it masked
2018-10-20 14:46:48 | INFO  | main  | Skip to resolve domain '*.mstzrt.com' because it masked
2018-10-20 14:52:38 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
2018-10-20 14:54:38 | ERROR | main  | Can't connect to the SMTP server: Connection timed out
2018-10-20 14:54:38 | INFO  | main  | Load iterations: 1, resolved domains ipv4: 86044, resolved domains ipv6: 86044
2018-10-20 14:54:38 | INFO  | main  | Added: domains: 72227, urls: 52518, IPv4 ips: 433858, IPv6 ips: 27, subnets: 60, records: 121553
2018-10-20 14:54:38 | INFO  | main  | Deleted: old domains: 0, old urls: 0, old ips: 0, old only ips: 0, old subnets: 0, old records: 0
2018-10-20 14:54:38 | INFO  | main  | Stopping RKN at Sat Oct 20 14:54:38 2018
 

 

 

21 минуту назад, max1976 сказал:

Скрипт с последним обновлением? 

У меня тоже самое, скрипт последний с git

[max1976]

17 минут назад, Antares сказал:

У меня тоже самое, скрипт последний с git

Проверьте, обновлен ли Zapret.pm.

[Antares]

25 минут назад, max1976 сказал:

Проверьте, обновлен ли Zapret.pm.

точно....спасибо....проглядел

[default_vlan]

Подскажите, как recursor в Powerdns настроить?

Спасибо.

[default_vlan]

Что-то мне начинает подсказывать, что recursor корректно работает только в alpha версии, которая у меня периодически падает.

[default_vlan]

А не, все норм. Вкурил значение слова allow-recursion.

 

Кто какую версию использует, если не секрет?
Спасибо.

[Morphus]

поменял процессор. Теперь стоит два шестиядерных:

model name    : Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz

с hugepage в 1G всё нормально стало

HugePages_Total:      20
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:    1048576 kB

proc/cmdline выглядит так:

isolcpus=1,2,3,4,5,6,7,8,9,10 default_hugepagesz=1G hugepagesz=1G hugepages=20

Сетевая с 8 очередями. Не могу понять как распределить 2,3,4,5 ядра по  одному на две очереди. В конфиге указал так:

Скрытый текст

[port 0]
queues = 0,1; 1,1; 2,2; 3,2; 4,3; 5,3; 6,4; 7,4

; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
queues = 0,5
mac = 00:0f:f8:c9:50:00
 

При запуске фильтра получаю:

2018-10-23 16:22:12.040 [1814] Error Application - Lcore 4 is not enabled in lcore mask

coer_mask = 15.

1) Что тут надо указать чтоб все 6 ядер замапить ? Не могу понять это значение.

2) Когда было два проца по 2 ядра и коре_маск  = 7, чтобы включить 3 ядро я выставил 15 и заработало. Какой смысл от isolcpus в cmdline в таком случае ? я думал это ядра в гипертреденге, но фильтр оперирует физическими ядрами как я понял через core_mask.

3) это нормально что в top используемые ядра всегда под 100% загружены ? А ядро для выходного 0

 

Изменено 23 октября, 2018 пользователем Morphus

[dee]

1 минуту назад, Morphus сказал:

поменял процессор. Теперь стоит два шестиядерных:

model name    : Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz

с hugepage в 1G всё нормально стало

HugePages_Total:      20
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:    1048576 kB

proc/cmdline выглядит так:

isolcpus=1,2,3,4,5,6,7,8,9,10 default_hugepagesz=1G hugepagesz=1G hugepages=20

Сетевая с 8 очередями. Не могу понять как распределить 2,3,4,5 ядра по  одному на две очереди. В конфиге указал так:

  Показать содержимое

[port 0]
queues = 0,1; 1,1; 2,2; 3,2; 4,3; 5,3; 6,4; 7,4

; Порт для отправки уведомлений через dpdk
[port 1]
type = sender
queues = 0,5
mac = 00:0f:f8:c9:50:00
 

При запуске фильтра получаю:

2018-10-23 16:22:12.040 [1814] Error Application - Lcore 4 is not enabled in lcore mask

coer_mask = 15.

1) Что тут надо указать чтоб все 6 ядер замапить ? Не могу понять это значение.

2) Когда было два проца по 2 ядра и коре_маск  = 7, чтобы включить 3 ядро я выставил 15 и заработало. Какой смысл от isolcpus в cmdline в таком случае ? я думал это ядра в гипертреденге, но фильтр оперирует физическими ядрами как я понял через core_mask.

3) это нормально что в top используемые ядра всегда под 100% загружены ?

 

попробуй 255 маску

[epollia]

Вот я не уверен что есть смысл распределять все очереди сетевой по ядрам

coer_mask = 15 всего 4 ядра в системе

31 - 5

63 - 6 и т.д.

 

dpdk забрает себе ядра и система не знает на сколько они загружены, вот и показывает util 100%

 

Ядра можно посмотреть здесь

./dpdk-17.05/usertools/cpu_layout.py

 

Я где-то читал что рекомендуют выключать гипертрейдинг

Изменено 23 октября, 2018 пользователем epollia

[Morphus]

6 минут назад, epollia сказал:

Вот я не уверен что есть смысл распределять все очереди сетевой по ядрам

Это же вроде хорошо. Но не точно.

При 63 - 6 ядро not enabled :)

[max1976]

32 минуты назад, Morphus сказал:

Теперь стоит два шестиядерных:

Не рекомендую использовать 2 процессора, можете столкнуться со снижением производительности.

[epollia]

5 минут назад, Morphus сказал:

Это же вроде хорошо. Но не точно.

При 63 - 6 ядро not enabled :)

и не будет, у вас всего 6 ядер, нумерация начинается с 0. Т.е. номера ядер 0-5

 

Самый простой способ открыть виндовый калькулятор, включить программер режим, выбрать bin, вбить 1 столько, сколько ядер, и получить значение в dec

Изменено 23 октября, 2018 пользователем epollia

[Morphus]

20 минут назад, epollia сказал:

у вас всего 6 ядер

2 по 6. Выставил маску 127 - 6,7 достучался. Методология вроде понятна. Спасибо.

 

20 минут назад, max1976 сказал:

Не рекомендую использовать 2 процессора, можете столкнуться со снижением производительности.

Изначально было два. Если на один процессор всё свесить ? (сейчас так и сделал)

Изменено 23 октября, 2018 пользователем Morphus

[epollia]

И снова не помню источник, если уж вариантов с однопроцессорой системой нет, то лучше искать сервер с архитектрутой где одна нума нода.

[casper.w00t]

4 часа назад, epollia сказал:

И снова не помню источник, если уж вариантов с однопроцессорой системой нет, то лучше искать сервер с архитектрутой где одна нума нода.

https://habr.com/post/331720/ ?

[Cramac]

вопрос. в базе есть урл по https, в браузере ничего не открывается. но ревизор выдал в отчете с 200 ответом. Как быть?

 

Скрытый текст

 

# wget https://landing.wunderino.com

--2018-10-24 00:01:18--  https://landing.wunderino.com/

Resolving landing.wunderino.com (landing.wunderino.com)... 104.20.42.65, 104.20.43.65

Connecting to landing.wunderino.com (landing.wunderino.com)|104.20.42.65|:443... connected.

Unable to establish SSL connection.

 

или вот такие записи, так же есть в базе, редирект идет на заглушку, а ревизор пишет 200 ответ с ссылкой редиректа не на нашу заглушку:

 

Скрытый текст

# wget http://www11.1xbetzerkalo.site

--2018-10-24 00:06:19--  http://www11.1xbetzerkalo.site/

Resolving www11.1xbetzerkalo.site (www11.1xbetzerkalo.site)... 104.27.131.216, 104.27.130.216, 2606:4700:30::681b:82d8, ...

Connecting to www11.1xbetzerkalo.site (www11.1xbetzerkalo.site)|104.27.131.216|:80... connected.

HTTP request sent, awaiting response... 302 Moved Temporarily

Location: http://block.site.ru?uri=http%3A%2F%2Fwww11.1xbetzerkalo.site%2F [following]

--2018-10-24 00:06:19--  http://block.site.ru/?uri=http%3A%2F%2Fwww11.1xbetzerkalo.site%2F

Resolving block.site.ru (block.site.ru)... 91.хх.хх.15

Connecting to block.site.ru (block.site.ru)|91.хх.хх.15|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: unspecified [text/html]

Saving to: ‘index.html.1’

 

index.html.1                              [ <=>                                                                   ]   6,70K  --.-KB/s    in 0s      

 

2018-10-24 00:06:19 (119 MB/s) - ‘index.html.1’ saved [6861]

 

еще есть вот такой урл в базе, а что то не срабатывает на него

Скрытый текст

http://www.rustube.xyz/v/://siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-seminudistov.html/title/Рождество у семьи нудистов [6:25x404p]

точнее он в базе вот так (в ревизоре и в дампе /v/:// ,в базе /v/:// , а в файлах extfilter уже с одним /):

Скрытый текст

 cat urls | grep "www.rustube.xyz"
www.rustube.xyz/v/:/siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-semi-nudistov.html/title/%D0%A0%D0%BE%D0%B6%D0%B4%D0%B5%D1%81%D1%82%D0%B2%D0%BE%20%D1%83%20%D1%81%D0%B5%D0%BC%D1%8C%D0%B8%20%D0%BD%D1%83%D0%B4%D0%B8%D1%81%D1%82%D0%BE%D0%B2%20[6:25x404p]
www.rustube.xyz/v/:/siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-semi-nudistov.html/title/Рождество%20у%20семьи%20нудистов%20[6:25x404p]
www.rustube.xyz/v/:/siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-semi-nudistov.html/title/▒▒▒▒▒▒▒▒▒%20▒%20▒▒▒▒▒%20▒▒▒▒▒▒▒▒%20[6:25x404p]
www.rustube.xyz/v/:/naturismv.com/video/032
 

 

[epollia]

По первым двум, скорее всего ответ от фильтра прилетает позже ответа реального сервера. Попробовать уставноить ревизор ближе к фильтру, добавить отправку повторных пакетов, или установить фильтр в режиме inline.

С последним видимо скрипт формирования конфигов для фильтра такой, и заменяет последовательности символов в урлах. Для проверки сьест ли фильтр такую ссылку, добавте ее руками в конфиг, перезапустите(можно и через HUP как в скрипте) и посмотртите логи.

У меня же в довесок к extFilter используется еще и nfqfiltre (только для ревизора), там как раз воевал с такими ссылками, пропусков нет.

[Morphus]

15 часов назад, epollia сказал:

И снова не помню источник, если уж вариантов с однопроцессорой системой нет, то лучше искать сервер с архитектрутой где одна нума нода.

Скачал утилиты из статьи по хабру

server-info show показывает

Скрытый текст

cpu:
  info:
    Architecture: x86_64
    BogoMIPS: 5333
    Byte Order: Little Endian
    CPU MHz: 2668
    CPU family: 6
    CPU max MHz: 2668.0
    CPU min MHz: 1600.0
    CPU op-mode(s): 32-bit, 64-bit
    CPU(s): 24
    Core(s) per socket: 6
    Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36
      clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm
      constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf
      eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr
      pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm epb ssbd ibrs ibpb tpr_shadow
      vnmi flexpriority ept vpid dtherm ida arat
    L1d cache: 32K
    L1i cache: 32K
    L2 cache: 256K
    L3 cache: 12288K
    Model: 44
    Model name: Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz
    NUMA node(s): 1
    NUMA node0 CPU(s): 0-11
    Off-line CPU(s) list: 12-23
    On-line CPU(s) list: 0-11
    Socket(s): 2
    Stepping: 2
    Thread(s) per core: 1
    Vendor ID: GenuineIntel
    Virtualization: VT-x
 

есть строка

NUMA node(s): 1

Так понимаю, это как раз то, о чём вы говорили. И как раз тот вариант, как лучше для меня в моей ситуации.

[epollia]

Можно еще так

cat /sys/class/net/имя сетевой/device/numa_node 

если -1 то одна)