default_vlan Опубликовано 22 октября, 2018 · Жалоба 6 часов назад, Cramac сказал: и вопрос, как часто нужно делать выгрузку? Не могу найти про это. я запрашиваю раз в 15 минут 6 часов назад, Cramac сказал: и 30 пропусков, это все? Статья? нет. не более 1%. Но не стоит забывать, что часть исполняется по 139-ФЗ - срок блокировки сутки, а по другим ФЗ должна быть немедленная блокировка. Это все валится в один общий лист. Учитывая бардак в реестре, я отделяю ip от доменов. Список IP кидаю на брас, а домены в ДНС. Параллельно пашет свой сервис тестирования блокировок - аля мамкин_ревизор. просто скрипт на питоне бежит по списку доменов из выгрузки и делает хеши. Если хеш от страницы "не обычный" - шлем текст в телеграм почту о том, что сайт открылся и надо принять меры. раз в сутки для пробега достаточно. Блокирую, естественно по мере поступления. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 22 октября, 2018 · Жалоба @max1976 а зачем при перезагрузке extfilter (послав -HUP), удаляется/очищается файл статистики? что то агент не может файл найти: ># zabbix_get -s filter -k extfilter.stat["extfilter.discovery"] File /var/run/extFilter_stat not found! хотя файл там есть Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 22 октября, 2018 · Жалоба 1 минуту назад, Cramac сказал: @max1976 а зачем при перезагрузке extfilter (послав -HUP), удаляется/очищается файл статистики? что то агент не может файл найти: ># zabbix_get -s filter -k extfilter.stat["extfilter.discovery"] File /var/run/extFilter_stat not found! хотя файл там есть Поддержку zabbix делал не я. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 22 октября, 2018 · Жалоба проблему решил, дело было в selinux Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 23 октября, 2018 (изменено) · Жалоба Скрипт запрет в логах пишет: Скрытый текст 2018-10-23 09:36:36 | INFO | main | Starting RKN at 1540258596 2018-10-23 09:36:36 | ERROR | main | Error occured while working with registry: Can't use string ("1540256400000") as a HASH ref while "strict refs" in use at zapret.pl line 1327. 2018-10-23 09:38:36 | ERROR | main | Can't connect to the SMTP server: Connection timed out 2018-10-23 09:40:36 | ERROR | main | Can't connect to the SMTP server: Connection timed out Почта не настроена, это понятно. А вот can't use string ? В этом месте в скрипте счётчик попыток увеличивается. Дам не скачивается. Раньше заканчивалось примерно так: Скрытый текст 2018-10-20 14:46:48 | INFO | main | Skip to resolve domain '*.axolotlgold.com' because it masked 2018-10-20 14:46:48 | INFO | main | Skip to resolve domain '*.mstzrt.com' because it masked 2018-10-20 14:52:38 | ERROR | main | Can't connect to the SMTP server: Connection timed out 2018-10-20 14:54:38 | ERROR | main | Can't connect to the SMTP server: Connection timed out 2018-10-20 14:54:38 | INFO | main | Load iterations: 1, resolved domains ipv4: 86044, resolved domains ipv6: 86044 2018-10-20 14:54:38 | INFO | main | Added: domains: 72227, urls: 52518, IPv4 ips: 433858, IPv6 ips: 27, subnets: 60, records: 121553 2018-10-20 14:54:38 | INFO | main | Deleted: old domains: 0, old urls: 0, old ips: 0, old only ips: 0, old subnets: 0, old records: 0 2018-10-20 14:54:38 | INFO | main | Stopping RKN at Sat Oct 20 14:54:38 2018 Изменено 23 октября, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 октября, 2018 · Жалоба 2 часа назад, Morphus сказал: Скрипт запрет в логах пишет: Скрипт с последним обновлением? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 23 октября, 2018 · Жалоба 2 часа назад, Morphus сказал: Скрипт запрет в логах пишет: Показать содержимое 2018-10-23 09:36:36 | INFO | main | Starting RKN at 1540258596 2018-10-23 09:36:36 | ERROR | main | Error occured while working with registry: Can't use string ("1540256400000") as a HASH ref while "strict refs" in use at zapret.pl line 1327. 2018-10-23 09:38:36 | ERROR | main | Can't connect to the SMTP server: Connection timed out 2018-10-23 09:40:36 | ERROR | main | Can't connect to the SMTP server: Connection timed out Почта не настроена, это понятно. А вот can't use string ? В этом месте в скрипте счётчик попыток увеличивается. Дам не скачивается. Раньше заканчивалось примерно так: Показать содержимое 2018-10-20 14:46:48 | INFO | main | Skip to resolve domain '*.axolotlgold.com' because it masked 2018-10-20 14:46:48 | INFO | main | Skip to resolve domain '*.mstzrt.com' because it masked 2018-10-20 14:52:38 | ERROR | main | Can't connect to the SMTP server: Connection timed out 2018-10-20 14:54:38 | ERROR | main | Can't connect to the SMTP server: Connection timed out 2018-10-20 14:54:38 | INFO | main | Load iterations: 1, resolved domains ipv4: 86044, resolved domains ipv6: 86044 2018-10-20 14:54:38 | INFO | main | Added: domains: 72227, urls: 52518, IPv4 ips: 433858, IPv6 ips: 27, subnets: 60, records: 121553 2018-10-20 14:54:38 | INFO | main | Deleted: old domains: 0, old urls: 0, old ips: 0, old only ips: 0, old subnets: 0, old records: 0 2018-10-20 14:54:38 | INFO | main | Stopping RKN at Sat Oct 20 14:54:38 2018 21 минуту назад, max1976 сказал: Скрипт с последним обновлением? У меня тоже самое, скрипт последний с git Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 октября, 2018 · Жалоба 17 минут назад, Antares сказал: У меня тоже самое, скрипт последний с git Проверьте, обновлен ли Zapret.pm. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 23 октября, 2018 · Жалоба 25 минут назад, max1976 сказал: Проверьте, обновлен ли Zapret.pm. точно....спасибо....проглядел Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 23 октября, 2018 · Жалоба Подскажите, как recursor в Powerdns настроить? Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 23 октября, 2018 · Жалоба Что-то мне начинает подсказывать, что recursor корректно работает только в alpha версии, которая у меня периодически падает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 23 октября, 2018 · Жалоба А не, все норм. Вкурил значение слова allow-recursion. Кто какую версию использует, если не секрет? Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 23 октября, 2018 (изменено) · Жалоба поменял процессор. Теперь стоит два шестиядерных: model name : Intel(R) Xeon(R) CPU X5650 @ 2.67GHz с hugepage в 1G всё нормально стало HugePages_Total: 20 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 1048576 kB proc/cmdline выглядит так: isolcpus=1,2,3,4,5,6,7,8,9,10 default_hugepagesz=1G hugepagesz=1G hugepages=20 Сетевая с 8 очередями. Не могу понять как распределить 2,3,4,5 ядра по одному на две очереди. В конфиге указал так: Скрытый текст [port 0] queues = 0,1; 1,1; 2,2; 3,2; 4,3; 5,3; 6,4; 7,4 ; Порт для отправки уведомлений через dpdk [port 1] type = sender queues = 0,5 mac = 00:0f:f8:c9:50:00 При запуске фильтра получаю: 2018-10-23 16:22:12.040 [1814] Error Application - Lcore 4 is not enabled in lcore mask coer_mask = 15. 1) Что тут надо указать чтоб все 6 ядер замапить ? Не могу понять это значение. 2) Когда было два проца по 2 ядра и коре_маск = 7, чтобы включить 3 ядро я выставил 15 и заработало. Какой смысл от isolcpus в cmdline в таком случае ? я думал это ядра в гипертреденге, но фильтр оперирует физическими ядрами как я понял через core_mask. 3) это нормально что в top используемые ядра всегда под 100% загружены ? А ядро для выходного 0 Изменено 23 октября, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dee Опубликовано 23 октября, 2018 · Жалоба 1 минуту назад, Morphus сказал: поменял процессор. Теперь стоит два шестиядерных: model name : Intel(R) Xeon(R) CPU X5650 @ 2.67GHz с hugepage в 1G всё нормально стало HugePages_Total: 20 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 1048576 kB proc/cmdline выглядит так: isolcpus=1,2,3,4,5,6,7,8,9,10 default_hugepagesz=1G hugepagesz=1G hugepages=20 Сетевая с 8 очередями. Не могу понять как распределить 2,3,4,5 ядра по одному на две очереди. В конфиге указал так: Показать содержимое [port 0] queues = 0,1; 1,1; 2,2; 3,2; 4,3; 5,3; 6,4; 7,4 ; Порт для отправки уведомлений через dpdk [port 1] type = sender queues = 0,5 mac = 00:0f:f8:c9:50:00 При запуске фильтра получаю: 2018-10-23 16:22:12.040 [1814] Error Application - Lcore 4 is not enabled in lcore mask coer_mask = 15. 1) Что тут надо указать чтоб все 6 ядер замапить ? Не могу понять это значение. 2) Когда было два проца по 2 ядра и коре_маск = 7, чтобы включить 3 ядро я выставил 15 и заработало. Какой смысл от isolcpus в cmdline в таком случае ? я думал это ядра в гипертреденге, но фильтр оперирует физическими ядрами как я понял через core_mask. 3) это нормально что в top используемые ядра всегда под 100% загружены ? попробуй 255 маску Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 23 октября, 2018 (изменено) · Жалоба Вот я не уверен что есть смысл распределять все очереди сетевой по ядрам coer_mask = 15 всего 4 ядра в системе 31 - 5 63 - 6 и т.д. dpdk забрает себе ядра и система не знает на сколько они загружены, вот и показывает util 100% Ядра можно посмотреть здесь ./dpdk-17.05/usertools/cpu_layout.py Я где-то читал что рекомендуют выключать гипертрейдинг Изменено 23 октября, 2018 пользователем epollia Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 23 октября, 2018 · Жалоба 6 минут назад, epollia сказал: Вот я не уверен что есть смысл распределять все очереди сетевой по ядрам Это же вроде хорошо. Но не точно. При 63 - 6 ядро not enabled :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 23 октября, 2018 · Жалоба 32 минуты назад, Morphus сказал: Теперь стоит два шестиядерных: Не рекомендую использовать 2 процессора, можете столкнуться со снижением производительности. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 23 октября, 2018 (изменено) · Жалоба 5 минут назад, Morphus сказал: Это же вроде хорошо. Но не точно. При 63 - 6 ядро not enabled :) и не будет, у вас всего 6 ядер, нумерация начинается с 0. Т.е. номера ядер 0-5 Самый простой способ открыть виндовый калькулятор, включить программер режим, выбрать bin, вбить 1 столько, сколько ядер, и получить значение в dec Изменено 23 октября, 2018 пользователем epollia Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 23 октября, 2018 (изменено) · Жалоба 20 минут назад, epollia сказал: у вас всего 6 ядер 2 по 6. Выставил маску 127 - 6,7 достучался. Методология вроде понятна. Спасибо. 20 минут назад, max1976 сказал: Не рекомендую использовать 2 процессора, можете столкнуться со снижением производительности. Изначально было два. Если на один процессор всё свесить ? (сейчас так и сделал) Изменено 23 октября, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 23 октября, 2018 · Жалоба И снова не помню источник, если уж вариантов с однопроцессорой системой нет, то лучше искать сервер с архитектрутой где одна нума нода. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
casper.w00t Опубликовано 23 октября, 2018 · Жалоба 4 часа назад, epollia сказал: И снова не помню источник, если уж вариантов с однопроцессорой системой нет, то лучше искать сервер с архитектрутой где одна нума нода. https://habr.com/post/331720/ ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 23 октября, 2018 · Жалоба вопрос. в базе есть урл по https, в браузере ничего не открывается. но ревизор выдал в отчете с 200 ответом. Как быть? Скрытый текст # wget https://landing.wunderino.com --2018-10-24 00:01:18-- https://landing.wunderino.com/ Resolving landing.wunderino.com (landing.wunderino.com)... 104.20.42.65, 104.20.43.65 Connecting to landing.wunderino.com (landing.wunderino.com)|104.20.42.65|:443... connected. Unable to establish SSL connection. или вот такие записи, так же есть в базе, редирект идет на заглушку, а ревизор пишет 200 ответ с ссылкой редиректа не на нашу заглушку: Скрытый текст # wget http://www11.1xbetzerkalo.site --2018-10-24 00:06:19-- http://www11.1xbetzerkalo.site/ Resolving www11.1xbetzerkalo.site (www11.1xbetzerkalo.site)... 104.27.131.216, 104.27.130.216, 2606:4700:30::681b:82d8, ... Connecting to www11.1xbetzerkalo.site (www11.1xbetzerkalo.site)|104.27.131.216|:80... connected. HTTP request sent, awaiting response... 302 Moved Temporarily Location: http://block.site.ru?uri=http%3A%2F%2Fwww11.1xbetzerkalo.site%2F [following] --2018-10-24 00:06:19-- http://block.site.ru/?uri=http%3A%2F%2Fwww11.1xbetzerkalo.site%2F Resolving block.site.ru (block.site.ru)... 91.хх.хх.15 Connecting to block.site.ru (block.site.ru)|91.хх.хх.15|:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Saving to: ‘index.html.1’ index.html.1 [ <=> ] 6,70K --.-KB/s in 0s 2018-10-24 00:06:19 (119 MB/s) - ‘index.html.1’ saved [6861] еще есть вот такой урл в базе, а что то не срабатывает на него Скрытый текст http://www.rustube.xyz/v/://siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-seminudistov.html/title/Рождество у семьи нудистов [6:25x404p] точнее он в базе вот так (в ревизоре и в дампе /v/:// ,в базе /v/:// , а в файлах extfilter уже с одним /): Скрытый текст cat urls | grep "www.rustube.xyz" www.rustube.xyz/v/:/siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-semi-nudistov.html/title/%D0%A0%D0%BE%D0%B6%D0%B4%D0%B5%D1%81%D1%82%D0%B2%D0%BE%20%D1%83%20%D1%81%D0%B5%D0%BC%D1%8C%D0%B8%20%D0%BD%D1%83%D0%B4%D0%B8%D1%81%D1%82%D0%BE%D0%B2%20[6:25x404p] www.rustube.xyz/v/:/siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-semi-nudistov.html/title/Рождество%20у%20семьи%20нудистов%20[6:25x404p] www.rustube.xyz/v/:/siteproweb.ru/krutoe-porno/6659-rozhdestvo-u-semi-nudistov.html/title/▒▒▒▒▒▒▒▒▒%20▒%20▒▒▒▒▒%20▒▒▒▒▒▒▒▒%20[6:25x404p] www.rustube.xyz/v/:/naturismv.com/video/032 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 24 октября, 2018 · Жалоба По первым двум, скорее всего ответ от фильтра прилетает позже ответа реального сервера. Попробовать уставноить ревизор ближе к фильтру, добавить отправку повторных пакетов, или установить фильтр в режиме inline. С последним видимо скрипт формирования конфигов для фильтра такой, и заменяет последовательности символов в урлах. Для проверки сьест ли фильтр такую ссылку, добавте ее руками в конфиг, перезапустите(можно и через HUP как в скрипте) и посмотртите логи. У меня же в довесок к extFilter используется еще и nfqfiltre (только для ревизора), там как раз воевал с такими ссылками, пропусков нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 24 октября, 2018 · Жалоба 15 часов назад, epollia сказал: И снова не помню источник, если уж вариантов с однопроцессорой системой нет, то лучше искать сервер с архитектрутой где одна нума нода. Скачал утилиты из статьи по хабру server-info show показывает Скрытый текст cpu: info: Architecture: x86_64 BogoMIPS: 5333 Byte Order: Little Endian CPU MHz: 2668 CPU family: 6 CPU max MHz: 2668.0 CPU min MHz: 1600.0 CPU op-mode(s): 32-bit, 64-bit CPU(s): 24 Core(s) per socket: 6 Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm epb ssbd ibrs ibpb tpr_shadow vnmi flexpriority ept vpid dtherm ida arat L1d cache: 32K L1i cache: 32K L2 cache: 256K L3 cache: 12288K Model: 44 Model name: Intel(R) Xeon(R) CPU X5650 @ 2.67GHz NUMA node(s): 1 NUMA node0 CPU(s): 0-11 Off-line CPU(s) list: 12-23 On-line CPU(s) list: 0-11 Socket(s): 2 Stepping: 2 Thread(s) per core: 1 Vendor ID: GenuineIntel Virtualization: VT-x есть строка NUMA node(s): 1 Так понимаю, это как раз то, о чём вы говорили. И как раз тот вариант, как лучше для меня в моей ситуации. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
epollia Опубликовано 24 октября, 2018 · Жалоба Можно еще так cat /sys/class/net/имя сетевой/device/numa_node если -1 то одна) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...