Morphus Опубликовано 17 октября, 2018 (изменено) · Жалоба 1) Как-то странно: скачал фильтр. autogen.sh - всё нормально. Далее configure, вроде бы тоже всё хорошо, результат в конце такой: Скрытый текст extFilter 0.99a configuration: ------------------------------- HOST: CXX: g++ CXXFLAGS: -std=c++11 -O3 -Wall -fno-stack-protector -pthread -march=native -mtune=native -mpopcnt -msse4 LDFLAGS: PREFIX: /usr/local NATIVE: yes SSE2: yes SSE3: yes SSSE3: yes SSE4.1: yes SSE4.2: yes SSE4a: no AVX: no AVX2: no POPCNT: yes далее make, вроде бы тоже нормально. В конце: Скрытый текст make[1]: Выход из каталога `/root/extfilter/src' Making all in include make[1]: Вход в каталог `/root/extfilter/include' make all-am make[2]: Вход в каталог `/root/extfilter/include' make[2]: Выход из каталога `/root/extfilter/include' make[1]: Выход из каталога `/root/extfilter/include' make[1]: Вход в каталог `/root/extfilter' make[1]: Цель `all-am' не требует выполнения команд. make[1]: Выход из каталога `/root/extfilter' [root@localhost extfilter]# Но где сам исполняемый файл etxFilter ? В /usr/local/bin его нет, в самом каталоге тоже... 2) настроил hugepages: cat /proc/cmdline Скрытый текст BOOT_IMAGE=/boot/vmlinuz-3.10.0-862.14.4.el7.x86_64 root=UUID=df3486bd-cce0-4e45-bb05-99c76557e19b ro crashkernel=auto rhgb quiet LANG=en_US.UTF-8 isolcpus=1,2,3,4,5,6,7,8,9 default_hugepagesz=1G hugepagesz=1G hugepages=20 После ребута проверяю через: cat /proc/meminfo | grep Huge И вижу: Скрытый текст AnonHugePages: 6144 kB HugePages_Total: 20 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB Количество совпадает - 20. Но hugepagesize - нет. Значит tune не отрабатывает ? или meminfo не показатель ? Изменено 17 октября, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 17 октября, 2018 · Жалоба 22 минуты назад, Morphus сказал: Но hugepagesize - нет. Значит tune не отрабатывает ? или meminfo не показатель ? Это значит что ваш процессор не поддерживает страницы в 1Гб. 23 минуты назад, Morphus сказал: 1) Как-то странно: скачал фильтр. autogen.sh - всё нормально. Далее configure, вроде бы тоже всё хорошо, результат в конце такой: Показать содержимое extFilter 0.99a configuration: ------------------------------- HOST: CXX: g++ CXXFLAGS: -std=c++11 -O3 -Wall -fno-stack-protector -pthread -march=native -mtune=native -mpopcnt -msse4 LDFLAGS: PREFIX: /usr/local NATIVE: yes SSE2: yes SSE3: yes SSSE3: yes SSE4.1: yes SSE4.2: yes SSE4a: no AVX: no AVX2: no POPCNT: yes далее make, вроде бы тоже нормально. В конце: Показать содержимое make[1]: Выход из каталога `/root/extfilter/src' Making all in include make[1]: Вход в каталог `/root/extfilter/include' make all-am make[2]: Вход в каталог `/root/extfilter/include' make[2]: Выход из каталога `/root/extfilter/include' make[1]: Выход из каталога `/root/extfilter/include' make[1]: Вход в каталог `/root/extfilter' make[1]: Цель `all-am' не требует выполнения команд. make[1]: Выход из каталога `/root/extfilter' [root@localhost extfilter]# Но где сам исполняемый файл etxFilter ? Надо выполнить make install, тогда файл будет установлен в нужный каталог. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 17 октября, 2018 · Жалоба 2 часа назад, max1976 сказал: Это значит что ваш процессор не поддерживает страницы в 1Гб. И как поступить в такой ситуации ? ( Intel(R) Xeon(R) CPU L5520 @ 2.27GHz ) Ставить 2Мб и 10240 страниц (20Гб) ? 2 часа назад, max1976 сказал: Надо выполнить make install, тогда файл будет установлен в нужный каталог. Благодарю, помогло! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 17 октября, 2018 · Жалоба 2 минуты назад, Morphus сказал: И как поступить в такой ситуации ? ( Intel(R) Xeon(R) CPU L5520 @ 2.27GHz ) Ставить 2Мб и 10240 страниц (20Гб) ? Можно сделать так. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 17 октября, 2018 · Жалоба 1 минуту назад, max1976 сказал: Можно сделать так. Завтра отпишусь что из этого вышло Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vrf_red Опубликовано 17 октября, 2018 · Жалоба 2 часа назад, max1976 сказал: По представленным логам понять невозможно. Возможно что-то некорректно указано в конфиге. Спасибо, подскажите пожалуйста, а что именно в конфиге может дать краш процесса с сообщением "PANIC in rte_eal_remote_launch(): cannot read on configuration pipe"? Возможно ли как-то отдебажить процесс? exfilter.ini Скрытый текст ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false domainlist = /usr/local/etc/extfilter/domains urllist = /usr/local/etc/extfilter/urls ssllist = /usr/local/etc/extfilter/ssl_host ; файл с ip:port для блокировки hostlist = /usr/local/etc/extfilter/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/ssl_ips ; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false http_redirect = true # если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://... redirect_url = http://notify.example.com ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = false ; Default: 0 - disable statistic_interval = 300 ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = false ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 15 ; файл статистики (для extfilter-cacti) ;statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; CLI для управления или сбора статистики extfilter ; cli_port = 9999 ; cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) memory_channels = 2 ; Количество повторных пакетов в сторону клиента (от 1 до 3) ; answer_duplication = 1 ; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline) ; operation_mode = mirror ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: ;[port 0] ;queues = 0,1; 1,2 ; Порт для отправки уведомлений через dpdk ;[port 1] ;type = sender ; На какой mac адрес отправлять пакеты ;mac = 00:01:02:03:04:05 operation_mode = inline [port 0] queues = 0,0 type = subscriber mapto = 1 [port 1] queues = 0,0 type = network mapto = 0 [dpi] max_active_flows_ipv4 = 9000000 max_active_flows_ipv6 = 100000 ; Масштабирование количества обрабатываемых потоков 1..10 scale = 1 ; Собирать и анализировать фрагментированные пакеты fragmentation_ipv6_state = true fragmentation_ipv4_state = true fragmentation_ipv4_table_size = 512 fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком tcp_reordering = true [logging] loggers.root.level = information loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 4 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local tuned.conf Скрытый текст [main] include=latency-performance [bootloader] cmdline=isolcpus=1,2,3 default_hugepagesz=2048K hugepagesz=2048K hugepages=4000 P.S. Утилиты, идущие в комплекте с DPDK работают. Скрытый текст [root@extfilter etc]# testpmd -c 0x07 -n 2 -- -i --portmask=0x3 --nb-cores=2 EAL: Detected 4 lcore(s) EAL: Multi-process socket /var/run/.rte_unix EAL: Probing VFIO support... EAL: PCI device 0000:03:00.0 on NUMA socket -1 EAL: Invalid NUMA socket, default to 0 EAL: probe driver: 15ad:7b0 net_vmxnet3 EAL: PCI device 0000:0b:00.0 on NUMA socket -1 EAL: Invalid NUMA socket, default to 0 EAL: probe driver: 15ad:7b0 net_vmxnet3 EAL: PCI device 0000:13:00.0 on NUMA socket -1 EAL: Invalid NUMA socket, default to 0 EAL: probe driver: 15ad:7b0 net_vmxnet3 Interactive-mode selected testpmd: create a new mbuf pool <mbuf_pool_socket_0>: n=163456, size=2176, socket=0 testpmd: preferred mempool ops selected: ring_mp_mc Configuring Port 0 (socket 0) Port 0: 00:50:56:91:DF:B3 Configuring Port 1 (socket 0) Port 1: 00:50:56:91:8D:BF Checking link statuses... Done testpmd> show port stats all ######################## NIC statistics for port 0 ######################## RX-packets: 2 RX-missed: 0 RX-bytes: 120 RX-errors: 0 RX-nombuf: 0 TX-packets: 0 TX-errors: 0 TX-bytes: 0 Throughput (since last show) Rx-pps: 0 Tx-pps: 0 ############################################################################ ######################## NIC statistics for port 1 ######################## RX-packets: 2 RX-missed: 0 RX-bytes: 120 RX-errors: 0 RX-nombuf: 0 TX-packets: 0 TX-errors: 0 TX-bytes: 0 Throughput (since last show) Rx-pps: 0 Tx-pps: 0 ######################################################### Лог Скрытый текст Oct 16 21:05:31 extfilter systemd: Starting extFilter is a daemon for filtering traffic using DPDK... Oct 16 21:05:31 extfilter systemd: PID file /var/run/extFilter.pid not readable (yet?) after start. Oct 16 21:05:31 extfilter systemd: Started extFilter is a daemon for filtering traffic using DPDK. Oct 16 21:05:31 extfilter extFilter[2108]: EAL: Probing VFIO support... Oct 16 21:05:33 extfilter extFilter[2108]: EAL: PCI device 0000:03:00.0 on NUMA socket -1 Oct 16 21:05:33 extfilter extFilter[2108]: EAL: probe driver: 15ad:7b0 net_vmxnet3 Oct 16 21:05:33 extfilter extFilter[2108]: EAL: PCI device 0000:0b:00.0 on NUMA socket -1 Oct 16 21:05:33 extfilter extFilter[2108]: EAL: probe driver: 15ad:7b0 net_vmxnet3 Oct 16 21:05:33 extfilter extFilter[2108]: EAL: PCI device 0000:13:00.0 on NUMA socket -1 Oct 16 21:05:33 extfilter extFilter[2108]: EAL: probe driver: 15ad:7b0 net_vmxnet3 Oct 16 21:05:35 extfilter extFilter[2108]: PANIC in rte_eal_remote_launch(): Oct 16 21:05:35 extfilter extFilter[2108]: cannot read on configuration pipe Oct 16 21:05:35 extfilter extFilter[2108]: 8: [/usr/local/bin/extFilter() [0x4132c7]] Oct 16 21:05:35 extfilter extFilter[2108]: 7: [/lib64/libc.so.6(__libc_start_main+0xf5) [0x7ff4842be445]] Oct 16 21:05:35 extfilter extFilter[2108]: 6: [/usr/local/bin/extFilter() [0x4119c0]] Oct 16 21:05:35 extfilter extFilter[2108]: 5: [/usr/local/lib/libPocoUtil.so.49(_ZN4Poco4Util11Application3runEv+0x1f) [0x7ff4854cb85f]] Oct 16 21:05:35 extfilter extFilter[2108]: 4: [/usr/local/bin/extFilter() [0x4123db]] Oct 16 21:05:35 extfilter extFilter[2108]: 3: [/usr/local/bin/extFilter() [0x53769e]] Oct 16 21:05:35 extfilter extFilter[2108]: 2: [/usr/local/bin/extFilter() [0x40fd66]] Oct 16 21:05:35 extfilter extFilter[2108]: 1: [/usr/local/bin/extFilter() [0x53bfea]] Oct 16 21:05:35 extfilter systemd: extfilter.service: main process exited, code=dumped, status=6/ABRT Oct 16 21:05:35 extfilter systemd: Unit extfilter.service entered failed state. Oct 16 21:05:35 extfilter systemd: extfilter.service failed. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 17 октября, 2018 (изменено) · Жалоба 1 час назад, vrf_red сказал: Спасибо, подскажите пожалуйста, а что именно в конфиге может дать краш процесса с сообщением "PANIC in rte_eal_remote_launch(): cannot read on configuration pipe"? Возможно ли как-то отдебажить процесс? Вы указали в конфиге queues = 0,0 - поэтому фильтр не запускается. 0 ядро не может использоваться для работы. Используйте ядра с 1 и выше, предварительно освободив их от ОС. Изменено 17 октября, 2018 пользователем max1976 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
vrf_red Опубликовано 17 октября, 2018 · Жалоба 6 минут назад, max1976 сказал: Вы указали в конфиге queues = 0,0 - поэтому фильтр не запускается. 0 ядро не может использоваться для работы. Используйте ядра с 1 и выше, предварительно освободив их от ОС. Спасибо, фильтр запустился. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 17 октября, 2018 · Жалоба а теперь вопрос юридический. Как он работает? все норм, пропусков нет? надзор с ревизором отдыхают? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 17 октября, 2018 · Жалоба Тут много если. ПО работает нормально, но если например коммутатор будет дропать трафик при зеркалировании, то эффект будет в сумме не очень. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 17 октября, 2018 · Жалоба Как же тогда, от штрафов уклонятся? Посмотрю отчеты ревизора, что покажет. уж мои то 300мбит, должно нормально пережевать. П.с. А есть вариант мониторинга его забиксом? Состояние, счетчики? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 18 октября, 2018 · Жалоба 7 часов назад, Cramac сказал: П.с. А есть вариант мониторинга его забиксом? Состояние, счетчики? В репозитории прям есть https://github.com/max197616/extfilter/tree/master/zabbix Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Cramac Опубликовано 18 октября, 2018 · Жалоба 14 часов назад, Morphus сказал: В репозитории прям есть https://github.com/max197616/extfilter/tree/master/zabbix да, не заметил. ответ от забикса теперь такой: Value should be a JSON object. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
radiotech Опубликовано 19 октября, 2018 · Жалоба В 12.10.2018 в 23:35, max1976 сказал: Видимо мало оперативной памяти. выделил 8G HugePages AnonHugePages: 100352 kB HugePages_Total: 4096 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB До этого куча записей загрузки ACL 2018-10-19 10:16:00.979 [1689] Debug ACL - IP 137.74.201.204 without port 2018-10-19 10:16:00.979 [1689] Debug ACL - IP 185.219.82.236 without port 2018-10-19 10:16:00.979 [1689] Debug ACL - IP 138.201.21.240 without port это записи судя по всему из ssl_ips Сколько ему оперативной памяти для их размещения необходимо? ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 19 октября, 2018 (изменено) · Жалоба Наконец удалось запустить срипт! (имхо perl это ужас, пока поставишь все зависимости...) 1) Не понятно что тут за сообщение (локаль русская стоит) и насколько это важно (на скриншоту)? 2) Потом скрипт всё равно начинает работать, но выдаёт много сообщений: Скрытый текст DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. таблицы в которых эти поля встречаются не заполняются вовсе. А судя по всему должны. Нужно либо в скрипте править либо схему. Но что и где должно быть. Как исправить? Изменено 19 октября, 2018 пользователем Morphus Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
radiotech Опубликовано 19 октября, 2018 · Жалоба 3 минуты назад, Morphus сказал: Наконец удалось запустить срипт! (имхо perl это ужас, пока поставишь все зависимости...) 1) Не понятно что тут за сообщение (локаль русская стоит) и насколько это важно (на скриншоту)? 2) Потом фильтр всё равно начинает работать, но выдаёт много сообщений: Скрыть содержимое DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. таблицы в которых эти поля встречаются не заполняются вовсе. А судя по всему должны. Нужно либо в скрипте править либо схему. Но что и где должно быть. Как исправить? Точно настройки базы коректно выполнена? 3 минуты назад, Morphus сказал: Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 19 октября, 2018 · Жалоба 1 минуту назад, radiotech сказал: Точно настройки базы коректно выполнена? Всё остальное заполняется. Думаю, что да. mysql -uroot -p filter < zapret.sql zapret.conf Скрытый текст [DB] host = 'localhost' user = 'root' password = 'hgdfs9h34fsd' name = 'filter' [API] url = 'http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl' form_request = 1 [PATH] req_file = "ITK.xml" sig_file = "ITK.xml.sig" template_file = "req_template.xml" #our_blacklist = /path/to/our_blacklist # Путь к каталогу, где будет архив полученных файлов. Архив будет создаваться в виде: # yyyy # yyyy-mm # yyyy-mm-dd # arch-yyyy-mm-dd-hh_mm_ss.zip archive = /root/zapret/arh [NS] resolve = 1 resolvers = 8.8.8.8 # резолвить ли хосты в ipv6 адреса ipv6_support = yes # сохранять ли уже отрезолвленные записи keep_resolved = true [MAIL] to = 'noc@provider.com', 'admin@provider.com' from = 'zapret@provider.com' server = 'mail.provider.com' port = 25 auth = 1 login = 'zapret@provider.com' password = 'zapret_mail_pw' excludes = 1 new = 1 new_ips = 1 removed = 1 removed_ips = 1 # Mail if there is only subnet without domains/urls in content block: alone = 1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 19 октября, 2018 · Жалоба Привет всем. Не стал создавать новую тему, ибо буду забит тряпками. Кто какой dns использует? стоит bind9 на freebsd и тот же bind, но на центосе. Freebsd на xeon 775 - 1 gb ОЗУ, centos на xeon e3 - 8 Gb. Проблема с добавлением этих over90K зон. Сервер просто зависает на 5 минут, пока не обработает новый файл зон. Куда копать? Загружаю зоны через include "....". Может есть ограничение какое? Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 19 октября, 2018 · Жалоба 42 минуты назад, default_vlan сказал: Кто какой dns использует? power dns и никаких зон. На sql базе основывается. Добавил в неё - тут же всё подхватывается. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
default_vlan Опубликовано 19 октября, 2018 · Жалоба 2 часа назад, Morphus сказал: Добавил в неё - тут же всё подхватывается Чуть подробнее можно? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 19 октября, 2018 · Жалоба 5 часов назад, Morphus сказал: Как исправить? Разместить openssl с поддержкой ГОСТ в указанном месте. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Morphus Опубликовано 19 октября, 2018 · Жалоба А что с ошибками скрипта ? Скрытый текст DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'domain_fixed' doesn't have a default value at zapret.pl line 797. DBD::mysql::st execute failed: Field 'domain' doesn't have a default value at zapret.pl line 872. DBD::mysql::st execute failed: Field 'url_fixed' doesn't have a default value at zapret.pl line 750. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 19 октября, 2018 · Жалоба 26 минут назад, Morphus сказал: А что с ошибками скрипта ? Это не ошибка скрипта, а ошибки в описании таблиц, которые остались от первого автора скрипта. Я выложил обновление на github'е, которое решает данную проблему. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
admf Опубликовано 19 октября, 2018 (изменено) · Жалоба 43 минуты назад, max1976 сказал: Я выложил обновление на github'е, которое решает данную проблему. в новом дампе не хватает дефолтных значений в zap2_settings п.с или я что-то не так сделал? Изменено 19 октября, 2018 пользователем admf Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 20 октября, 2018 · Жалоба да и AUTO_INCREMENT= лишнее Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
