aalexanderr Опубликовано 14 декабря, 2018 · Жалоба В базу попадает 2 ip адреса: 185.129.100.242 185.129.100.247 Подскажите, в выгрузке их не могу найти, но они присутствуют в базе. Базу перезалил, результат тот же. select * from zap2_ips where (INET_NTOA(CONV(hex(ip),16,10))) like '185.129.100.242'; +--------+-----------+---------------------+------+----------+ | id | record_id | date_add | ip | resolved | +--------+-----------+---------------------+------+----------+ | 215239 | 88311 | 2018-12-14 22:01:24 | ▒▒d▒ | 0 | +--------+-----------+---------------------+------+----------+ select * from zap2_records where id='88311' +-------+---------------------+-------------+---------------+-----------------------+--------------------------------------------------+---------------------+------------+----------------------------------+ | id | date_add | decision_id | decision_date | decision_num | decision_org | include_time | entry_type | hash | +-------+---------------------+-------------+---------------+-----------------------+--------------------------------------------------+---------------------+------------+----------------------------------+ | 88311 | 2018-12-14 22:01:24 | 1112955 | 2018-09-18 | 2018-09-18-729-АЛК | Росалкогольрегулирование | 2018-10-03T15:43:23 | 1 | 5F1419E637D1341AF4D189759F6F8EC3 | +-------+---------------------+-------------+---------------+-----------------------+--------------------------------------------------+---------------------+------------+----------------------------------+ cat dump.xml | grep 5F1419E637D1341AF4D189759F6F8EC3 пусто. В zapret.conf: resolve = 0 ipv6_support = no keep_resolved = no Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 14 декабря, 2018 · Жалоба 44 минуты назад, aalexanderr сказал: Подскажите, в выгрузке их не могу найти, но они присутствуют в базе. Базу перезалил, результат тот же. На данный момент у меня таких ip адресов в базе нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aalexanderr Опубликовано 14 декабря, 2018 · Жалоба 10 минут назад, max1976 сказал: На данный момент у меня таких ip адресов в базе нет. 2 раза перезаливал базу получалась какая-то ерунда - адрес всплывал. В настройках zapret.conf был выключен архив, включил, удалил dump.zip, dump.xml из /tmp и ещё раз обновил базу, адрес пропал из базы. Мистика. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
st_re Опубликовано 14 декабря, 2018 · Жалоба 1 час назад, aalexanderr сказал: В базу попадает 2 ip адреса: 185.129.100.242 185.129.100.247 Подскажите, в выгрузке их не могу найти, но они присутствуют в базе. Базу перезалил, результат тот же. +-------+---------------------+-------------+---------------+-----------------------+--------------------------------------------------+---------------------+------------+----------------------------------+ | id | date_add | decision_id | decision_date | decision_num | decision_org | include_time | entry_type | hash | +-------+---------------------+-------------+---------------+-----------------------+--------------------------------------------------+---------------------+------------+----------------------------------+ | 88311 | 2018-12-14 22:01:24 | 1112955 | 2018-09-18 | 2018-09-18-729-АЛК | Росалкогольрегулирование | 2018-10-03T15:43:23 | 1 | 5F1419E637D1341AF4D189759F6F8EC3 | +-------+---------------------+-------------+---------------+-----------------------+--------------------------------------------------+---------------------+------------+----------------------------------+ У меня запись с id="5F1419E637D1341AF4D189759F6F8EC3" с этими 2 IP пропала в первую выгрузку 30 ноября (в районе пол первого ночи). Там вообще массово почистили в этой выгрузке.. ну и добавили тоже немало. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MUY_68 Опубликовано 17 декабря, 2018 · Жалоба Доброго времени суток. Не получается настроить блокировку IP адресов, все остальное блокируется. extFilter version 0.99a, режим работы фильтра: operation_mode = inline (мост), в extfilter_maker.conf включены "ips_to_hosts = true" и "nets_to_hosts = true". В файл "hosts" IP адреса загружаются. Подскажите, в чем может быть проблема? extfilter.ini и кусок(начало) hosts прилагаю. extfilter.ini ; Переводить имя хоста в прописные буквы. Если url_normalization установлен в true, то не имеет значения. ;lower_host = false domainlist = /usr/local/etc/extfilter/domains urllist = /usr/local/etc/extfilter/urls ssllist = /usr/local/etc/extfilter/ssl_host ; файл с ip:port для блокировки hostlist = /usr/local/etc/extfilter/hosts ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /usr/local/etc/extfilter/ssl_ips ; если false, то будет послан ответ от сервера 403 Forbidden вместо редиректа. Default: false http_redirect = true # если в конце url будет указан символ ? иди &, то после этого символа будет добавлен блокированный url: redirect_url[?|&]uri=http://... redirect_url = http://fz139.*****.** ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = true ; Default: 0 - disable statistic_interval = 60 ; Блокировать ssl по ip из файла с ip адресами в случае отсутствия SNI. Default: false block_ssl_no_sni = true ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 7 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; CLI для управления или сбора статистики extfilter cli_port = 9999 cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) memory_channels = 2 ; Количество повторных пакетов в сторону клиента (от 1 до 3) answer_duplication = 1 ; Режим работы фильтра. Может быть зеркало (mirror) или мост (inline) operation_mode = inline ; Использовать jumbo frames ; jumbo_frames = false ; Максимальная длина ethernet фрейма при включенном jumbo_frames ; max_pkt_len = 9600 [port 0] queues = 0,1 type = subscriber mapto = 1 [port 1] queues = 0,2 type = network mapto = 0 [dpi] ; Масштабирование количества обрабатываемых потоков 1..10 scale = 1 ; Собирать и анализировать фрагментированные пакеты ; fragmentation_ipv6_state = true fragmentation_ipv4_state = true fragmentation_ipv4_table_size = 512 ; fragmentation_ipv6_table_size = 512 ; Собирать и анализировать tcp потоки с неправильными порядком tcp_reordering = true [logging] loggers.root.level = information ;loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extfilter/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 25 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local ### hosts 37.220.4.154:443 176.227.213.19:443 93.189.57.38:443 91.202.63.33:443 91.201.215.208:443 88.150.223.226:443 93.125.31.162:443 109.200.0.101:443 37.220.22.122:443 88.150.185.42:443 185.104.211.7:443 178.248.233.37:443 185.104.209.6:443 185.104.208.3:443 93.189.57.35:443 52.29.64.231:16869 91.202.63.17:443 63.221.87.71:443 91.216.220.14:443 91.216.220.4:443 83.138.162.147:443 188.227.184.20:443 176.227.213.18:443 188.227.184.19:443 88.150.223.229:443 88.150.185.44:443 5.152.220.100:443 185.104.209.14:443 37.220.4.155:443 5.152.220.99:443 185.104.208.13:443 109.200.0.100:443 52.49.168.126:16869 52.28.27.206:16869 149.202.99.105:4001 149.202.99.105:4002 149.202.99.105:5000 149.202.99.106:4001 149.202.99.106:4002 149.202.99.106:5000 149.202.99.107:4001 149.202.99.107:4002 149.202.99.107:5000 149.202.99.108:4001 149.202.99.108:4002 149.202.99.108:5000 136.243.253.129, 6/0xfe 148.251.140.112, 6/0xfe 148.251.140.113, 6/0xfe 148.251.140.114, 6/0xfe 148.251.140.123, 6/0xfe 77.87.181.70, 6/0xfe 77.87.181.71, 6/0xfe 77.87.179.65, 6/0xfe 77.87.179.64, 6/0xfe 77.87.178.74, 6/0xfe 77.87.178.133, 6/0xfe 77.87.178.137, 6/0xfe 77.87.178.68, 6/0xfe 77.87.179.250, 6/0xfe 77.87.179.164, 6/0xfe 77.87.178.69, 6/0xfe 77.87.179.171, 6/0xfe 77.87.178.168, 6/0xfe 77.87.179.165, 6/0xfe 77.87.179.170, 6/0xfe 77.87.178.161, 6/0xfe 77.87.179.104, 6/0xfe 77.87.179.73, 6/0xfe 77.87.178.58, 6/0xfe скопировал начало. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 18 декабря, 2018 · Жалоба 19 часов назад, MUY_68 сказал: Не получается настроить блокировку IP адресов, все остальное блокируется. Как проверяли доступность ip адресов? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MUY_68 Опубликовано 18 декабря, 2018 · Жалоба Ревизор видит доступность. Я проверяю вот так: root@srv-filter:/usr/local/etc/extfilter# curl -Is 72.2.114.104 | head -1 HTTP/1.1 200 OK root@srv-filter:/usr/local/etc/extfilter# curl -Is 165.225.156.231 | head -1 HTTP/1.1 200 OK Эти IP в файле "hosts" имеются. Спасибо за отзывчивость. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 18 декабря, 2018 · Жалоба Вы с сервера с фильтром проверяете? Подключитесь к порту subscribers. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MUY_68 Опубликовано 18 декабря, 2018 · Жалоба Проверял я с основного фильтра, который работает в режиме "mirror" и данный момент "ходит" в интернет через порт subscribers второго (дополнительного, для ревизора и оффиса) фильтра. Проверил на другом сервере, который тоже получает интернет с порта subscribers второго фильтра. root@srv-ns3:/home/mut# curl -Is 165.225.156.231 | head -1 HTTP/1.1 200 OK Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 18 декабря, 2018 · Жалоба Посмотрите в логе фильтра, есть ли какие-то ошибки. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MUY_68 Опубликовано 18 декабря, 2018 · Жалоба В логе (extfilter.log) при подаче сигнала HUP проскакивает ошибка Error ACL, OS Ubuntu Server 16.04.3. С чем это может быть связано? 2018-12-18 22:18:34.041 [14386] Information Application - Port 0 input packets 23766405, input errors: 0, mbuf errors: 0, missed packets: 0 2018-12-18 22:18:34.041 [14386] Information Application - Port 1 input packets 28165342, input errors: 0, mbuf errors: 0, missed packets: 0 2018-12-18 22:18:34.041 [14386] Information Application - Worker thread on core 1 statistics: 2018-12-18 22:18:34.041 [14386] Information Application - Thread seen packets: 23766438, IP packets: 23762924 (IPv4 packets: 23762924, IPv6 packets: 0), seen bytes: 1905896637, Average packet size: 80 bytes, Traffic throughput: 126.15 pps 2018-12-18 22:18:34.041 [14386] Information Application - Thread IPv4 fragments: 3, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-18 22:18:34.041 [14386] Information Application - Thread matched by ip/port: 0, ssl SNI: 12346, ssl/ip: 0, http IPv4: 107880, http IPv6: 0 2018-12-18 22:18:34.042 [14386] Information Application - Thread redirected blocked http IPv4: 107880, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 12349, rst sended IPv6: 0 2018-12-18 22:18:34.042 [14386] Information Application - Thread packets latency all packets: 571 cycles (220 ns), unblocked packets: 526 cycles (202 ns), blocked packets: 9384 (3609 ns) 2018-12-18 22:18:34.042 [14386] Information Application - Worker thread on core 2 statistics: 2018-12-18 22:18:34.042 [14386] Information Application - Thread seen packets: 28165342, IP packets: 0 (IPv4 packets: 0, IPv6 packets: 0), seen bytes: 0, Average packet size: 0 bytes, Traffic throughput: 129.23 pps 2018-12-18 22:18:34.042 [14386] Information Application - Thread IPv4 fragments: 0, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-18 22:18:34.042 [14386] Information Application - Thread matched by ip/port: 0, ssl SNI: 0, ssl/ip: 0, http IPv4: 0, http IPv6: 0 2018-12-18 22:18:34.042 [14386] Information Application - Thread redirected blocked http IPv4: 0, redirected http IPv6: 0, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 0, rst sended IPv6: 0 2018-12-18 22:18:34.042 [14386] Information Application - All worker threads seen packets: 51931780, IP packets: 23762924 (IPv4 packets: 23762924, IPv6 packets: 0), seen bytes: 1905896637, traffic throughtput: 255.38 pps 2018-12-18 22:18:34.042 [14386] Information Application - All worker IPv4 fragments: 3, IPv6 fragments: 0, IPv4 short packets: 0 2018-12-18 22:18:34.042 [14386] Information Application - All worker threads matched by ip/port: 0, matched by ssl SNI: 12346, matched by ssl/ip: 0, matched by HTTP: 107880 2018-12-18 22:18:34.042 [14386] Information Application - All worker threads redirected blocked http: 107880, sended forbidden IPv4: 0, sended forbidden IPv6: 0, rst sended IPv4: 12349, rst sended IPv6: 0 2018-12-18 22:18:42.196 [14386] Information Application - Got HUP signal - reload data 2018-12-18 22:18:42.196 [14386] Information ReloadTask - Reloading data from files... 2018-12-18 22:18:42.504 [14386] Information ACL - Preparing 125911 rules for IPv4 ACL 2018-12-18 22:18:42.512 [14386] Information ACL - Preparing 8388 rules for IPv6 ACL 2018-12-18 22:18:42.513 [14386] Error ACL - Add rules failed 2018-12-18 22:18:42.514 [14386] Error ACL - Setup acl for ipv4 with socketid 0 failed, keeping previous rules for that socket 2018-12-18 22:18:42.704 [14386] Information ReloadTask - ACLs successfully loaded 2018-12-18 22:18:42.721 [14386] Information TriesControl - Loaded 72773 lines from the domains file '/usr/local/etc/extfilter/domains' 2018-12-18 22:18:42.732 [14386] Information TriesControl - Loaded 43633 lines from the urls file '/usr/local/etc/extfilter/urls' 2018-12-18 22:18:42.738 [14386] Information TriesControl - Masked domains: #keys 7677, #nodes 10788 2018-12-18 22:18:42.850 [14386] Information TriesControl - URLS: #keys 116367, #nodes 165658 2018-12-18 22:18:42.850 [14386] Information TriesControl - Set active trie in the slot 0 2018-12-18 22:18:43.851 [14386] Information TriesControl - Deleting trie in the slot 1 2018-12-18 22:18:43.863 [14386] Information TriesControl - Loaded 76837 lines from the domains file '/usr/local/etc/extfilter/ssl_host' 2018-12-18 22:18:43.869 [14386] Information TriesControl - Masked domains: #keys 7677, #nodes 10788 2018-12-18 22:18:43.930 [14386] Information TriesControl - URLS: #keys 76656, #nodes 108349 2018-12-18 22:18:43.930 [14386] Information TriesControl - Set active trie in the slot 0 2018-12-18 22:18:44.930 [14386] Information TriesControl - Deleting trie in the slot 1 2018-12-18 22:18:44.930 [14386] Information ReloadTask - Blacklists successfully loaded Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
MUY_68 Опубликовано 18 декабря, 2018 · Жалоба Отключил "Блокировать ssl по ip" (block_ssl_no_sni = false) и блокировка IP заработала! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 19 декабря, 2018 · Жалоба 11 часов назад, MUY_68 сказал: Отключил "Блокировать ssl по ip" (block_ssl_no_sni = false) и блокировка IP заработала! Конечно, в случае включения данной опции, количество записей превышает 100000 (максимальное количество). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 20 декабря, 2018 · Жалоба Сегодня начала выскакивать ошибка Error occured while working with registry: Can't call method "ip" on an undefined value at /opt/zapret/zapret.pl line 1561. Опять что-то в реестре поломали походу Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 20 декабря, 2018 · Жалоба 50 минут назад, Antares сказал: Сегодня начала выскакивать ошибка Error occured while working with registry: Can't call method "ip" on an undefined value at /opt/zapret/zapret.pl line 1561. Опять что-то в реестре поломали походу Да, ipv6 не осилили. Внесли в реестр Цитата 2001:067c:28fc:0195:0020:0009:0063:: Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 20 декабря, 2018 · Жалоба ***..уроды Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 20 декабря, 2018 · Жалоба А какой id записи? Не нахожу такого адреса в дампе. Все IPv6 адреса из дампа: 2001:470:1:189::1:2:3 2606:4700:30::6818:6456 2606:4700:30::6818:6556 2606:4700:30::6818:7672 2606:4700:30::6818:7772 2606:4700:30::681b:86c3 2606:4700:30::681b:87c3 2606:4700:30::681b:9863 2606:4700:30::681b:9963 2606:4700:30::681b:b458 2606:4700:30::681b:b558 2606:4700:30::681f:428f 2606:4700:30::681f:438f Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bbapkk Опубликовано 20 декабря, 2018 · Жалоба 3 minutes ago, alibek said: А какой id записи? Не нахожу такого адреса в дампе. Все IPv6 адреса из дампа: 2001:470:1:189::1:2:3 2606:4700:30::6818:6456 2606:4700:30::6818:6556 2606:4700:30::6818:7672 2606:4700:30::6818:7772 2606:4700:30::681b:86c3 2606:4700:30::681b:87c3 2606:4700:30::681b:9863 2606:4700:30::681b:9963 2606:4700:30::681b:b458 2606:4700:30::681b:b558 2606:4700:30::681f:428f 2606:4700:30::681f:438f <content id="1131697" includeTime="2018-10-05T13:16:18" entryType="1" hash="432595A0F2D34C149E56F37E77E0793A" ts="2018-12-20T10:05:00+03:00"> <decision date="2018-10-01" number="2018-10-01-883" org="<CC><C2><C4>"/> <url><![CDATA[http://www.evoluent.nl/verify]]></url> <domain><![CDATA[www.evoluent.nl]]></domain> <ip>195.20.9.30</ip> <ip ts="2018-12-20T10:05:00+03:00">195.20.9.63</ip> <ipv6 ts="2018-12-20T10:05:00+03:00">2001:67c:28fc:195:20:9:63::</ipv6> </content> Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 20 декабря, 2018 · Жалоба Выложил обновление zapret.pl Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alibek Опубликовано 20 декабря, 2018 · Жалоба Да, такое есть: <content id="1131697" includeTime="2018-10-05T13:16:18" entryType="1" hash="432595A0F2D34C149E56F37E77E0793A" ts="2018-12-20T10:05:00+03:00"> <decision date="2018-10-01" number="2018-10-01-883" org="МВД"/> <url><![CDATA[http://www.evoluent.nl/verify]]></url> <domain><![CDATA[www.evoluent.nl]]></domain> <ip>195.20.9.30</ip> <ip ts="2018-12-20T10:05:00+03:00">195.20.9.63</ip> <ipv6 ts="2018-12-20T10:05:00+03:00">2001:67c:28fc:195:20:9:63::</ipv6> </content> Только ведь здесь тип блокировки не ip, а url. IP-адреса там в информационных целях, я их вообще не обрабатываю. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 20 декабря, 2018 · Жалоба 32 минуты назад, max1976 сказал: Выложил обновление zapret.pl Спасибо Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
layNiko Опубликовано 20 декабря, 2018 · Жалоба @max1976 Подскажи пожалуйста. Поменял сетевую и перешел на обновленный фильтр. HTTPS - блокирует на ура, а вот HTTP пропускает. Фильтр одним портом подключен к зеркалу, а вторым в свободный порт центрального шлюза. В конфиге фильтра вписан MAC порта шлюза. Но редиректы не доходят до "клиента" Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 20 декабря, 2018 · Жалоба 10 минут назад, layNiko сказал: Подскажи пожалуйста. Поменял сетевую и перешел на обновленный фильтр. HTTPS - блокирует на ура, а вот HTTP пропускает. Фильтр одним портом подключен к зеркалу, а вторым в свободный порт центрального шлюза. В конфиге фильтра вписан MAC порта шлюза. Но редиректы не доходят до "клиента" Этот порт центрально шлюза имеет IP адрес? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
layNiko Опубликовано 20 декабря, 2018 · Жалоба @arhead Читал твой пост. Пробовал и с IP и без - нет разницы Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 20 декабря, 2018 · Жалоба Только что, layNiko сказал: Читал твой пост. Пробовал и с IP и без - нет разницы Настройки покажи. А то так не сильно понятно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...