1. Для блокировка используем

[IMPERATOR]

Привет всем !

так же возник вопрос по поводу quagga

 

У нас все это дело стоит на другом сервере под Freebsd, так что скрипт явно не подходит , кто может выложить или обьяснить работу скрипта, что бы сделать под Freebsd , или например засунуть ip в таблицу и блочить через ipfw

 

и что вот это такое , в информации при выводе статуса systemctl status extfilter

дек 15 11:29:34 extfilter pcapplusplusapp[10373]: EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles !

Изменено 15 декабря, 2016 пользователем IMPERATOR

[myth]

скрипт должен стоять на сервере, где стоит фильтр

[max1976]

Подскажите, пожалуйста, в каком файле смотреть?

Файл worker.cpp функция

bool WorkerThread::analyzePacket(struct rte_mbuf* m, uint64_t timestamp)

[dnvk]

 

Я так понимаю с этим процом работать не будет???

а собирали на каком проце?

[Antares]

 

Я так понимаю с этим процом работать не будет???

а собирали на каком проце?

dpdk собрана на другой машине (i7), остальное на этой

[YuryD]

Подскажите, как часто надо резолвить запрещенные домены на предмет смены IP?

Как успеет ваш резолвер. Если вас напрягли ревизором, то он по dhcp получает от вас и IP и DNS. Если блокировка по domain/url, то блочьте по своему отрезолвленному ip. Хотя это плохая дорога.

[dnvk]

Antares, попробуйте собрать всё на одной.

[swelf]

Приветсвую, есть урл

http://*********/core/cnt/index.php?k=650&f=adv_one&t=Cмеси%2B79068086545+порошки+в+Уфе.+?+2500

как видно в середине урла у нас последовательность %2B которая кодирует "+".

суть проблемы, нужно сделать нормальизацию урла, оставить все + в виде +, последовательность %2B оставить в виде %2B т.е. получить

http://******/core/cnt/index.php?k=650&f=adv_one&t=C%D0%BC%D0%B5%D1%81%D0%B8%2B79068086545+%D0%BF%D0%BE%D1%80%D0%BE%D1%88%D0%BA%D0%B8+%D0%B2+%D0%A3%D1%84%D0%B5.+?+2500

казалось бы делаем

>>> url='index.php?k=650&f=adv_one&t=Cмеси%2B79068086545+порошки+в+Уфе.+?+2500'
>>> urllib.quote(url,safe='+?*=&%')
'index.php?k=650&f=adv_one&t=C%D0%BC%D0%B5%D1%81%D0%B8%2B79068086545+%D0%BF%D0%BE%D1%80%D0%BE%D1%88%D0%BA%D0%B8+%D0%B2+%D0%A3%D1%84%D0%B5.+?+2500'

и все получаем, но тут возникает проблема с уром вида

>>> url='http:ya.ru/%f/'
>>> urllib.quote(url,safe='+?*=&%/:')
'http:ya.ru/%f/'

т.е. знак процента не экранируется.

[Antares]

Antares, попробуйте собрать всё на одной.

Попробую, как сетевуха интеловская придёт, а то на bnx2 не взлетает, dpdk не компилится, я так понимаю из-за этого

/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: В функции «igb_ndo_bridge_getlink»:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2290:2: ошибка: слишком мало аргументов в вызове функции «ndo_dflt_bridge_getlink»
 return ndo_dflt_bridge_getlink(skb, pid, seq, dev, mode, 0, 0);
 ^
In file included from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/net/dst.h:13:0,
                from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/net/sock.h:72,
                from /usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/linux/tcp.h:23,
                from /install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:34:
/usr/src/kernels/3.10.0-514.2.2.el7.x86_64/include/linux/rtnetlink.h:100:12: замечание: declared here
extern int ndo_dflt_bridge_getlink(struct sk_buff *skb, u32 pid, u32 seq,
           ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: На верхнем уровне:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2339:2: ошибка: несовместимый тип указателя в инициализации [-Werror]
 .ndo_fdb_add  = igb_ndo_fdb_add,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2339:2: ошибка: (где-то рядом с инициализацией для «igb_netdev_ops.<anonymous>.ndo_fdb_add») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2346:2: ошибка: несовместимый тип указателя в инициализации [-Werror]
 .ndo_bridge_setlink = igb_ndo_bridge_setlink,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2346:2: ошибка: (где-то рядом с инициализацией для «igb_netdev_ops.<anonymous>.ndo_bridge_setlink») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2347:2: ошибка: несовместимый тип указателя в инициализации [-Werror]
 .ndo_bridge_getlink = igb_ndo_bridge_getlink,
 ^
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2347:2: ошибка: (где-то рядом с инициализацией для «igb_netdev_ops.<anonymous>.ndo_bridge_getlink») [-Werror]
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c: В функции «igb_ndo_bridge_getlink»:
/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.c:2295:1: ошибка: control reaches end of non-void function [-Werror=return-type]
}
^
cc1: all warnings being treated as errors
make[8]: *** [/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni/igb_main.o] Ошибка 1
make[7]: *** [_module_/install/dpdk-stable-16.07.2/build/build/lib/librte_eal/linuxapp/kni] Ошибка 2
make[6]: *** [sub-make] Ошибка 2
make[5]: *** [rte_kni.ko] Ошибка 2
make[4]: *** [kni] Ошибка 2
make[3]: *** [linuxapp] Ошибка 2
make[2]: *** [librte_eal] Ошибка 2
make[1]: *** [lib] Ошибка 2
make: *** [all] Ошибка 2

[micol]

обьяснить работу скрипта

 

цепляемся к базе MySQL, берем все ip адреса из zap2_only_ips в человеческом виде типа SELECT DISTINCT(INET_NTOA(CONV(hex(ip),16,10))) FROM zap2_only_ips;

 

далее делайте с ними что хотите на вашем BSD

[arhead]

So***toe.org в отчетах ревизора прошел. Но он с маленькой буквой, а в реестре с большой. В файлах есть он с большой буквы. РКН чудит

Изменено 19 декабря, 2016 пользователем arhead

[swelf]

Так хост при запросе всегда будет маленькими буквами, так что в списке урлов можно все(всмысле домены) принудительно переводить нижний регистр. Но только доменную часть, сам урл конечно может быть и маленькими и большими.

[duckhawk]

Вижу, что все ушли на extfilter, но, все же, может подскажете?

Есть такой урл:

 

**me.club/show_song_F%21%3A%3A47Y5ycUKFi6u+bF5M3G7cwNhKll61+69MOQsrKitg=.html

 

Urlencode вроде не требуется, но nfqfilter его упорно не ловит. В каком месте его нужно переделать, чтобы ловило?

[swelf]

duckhawk

***me.club/show_song_F!%3A%3A47Y5ycUKFi6u+bF5M3G7cwNhKll61+69MOQsrKitg=.html
***e.club/show_song_F%21%3A%3A47Y5ycUKFi6u+bF5M3G7cwNhKll61+69MOQsrKitg=.html
***me.club/show_song_F!::47Y5ycUKFi6u+bF5M3G7cwNhKll61+69MOQsrKitg=.html
***e.club/show_song_F!::47Y5ycUKFi6u%20bF5M3G7cwNhKll61%2069MOQsrKitg=.html

нашел такие записи в urls, файл делался make_files.pl, https://github.com/max197616/nfqfilter_config

блокируется.

Но, есть другой вопрос

есть урл

http://www.**timsite.net/individualki/.

он вышеназыванным скриптом преобразуется в

http://www.**timsite.net/individualki

что не верно - надо

http://www.**timsite.net/individualki/

т.е. слеш убирать не надо.

Изменено 20 декабря, 2016 пользователем swelf

[Igor Diakonov]

Какая-то непонятная бага ядра обнаружилась - периодически (раз в 1-3 часа) уходит в kernel panic при num_threads > 1.

Без nfqfilter, либо с num_threads = 1 падений нет...

На 4.2 и 4.7 проявлялось на НЕКОТОРЫХ машинах.

У нас десяток плюс минус одинаковых (с точки зрения настроек, железо - разное) машин, падает на 2-х, закономерность выявить не удалось.

 

Чё-то фантазии не хватает в какую сторону копать:

 

Dec 19 18:49:51 nat-serv [ 3396.252741] ------------[ cut here ]------------
Dec 19 18:49:51 nat-serv [ 3396.252766] kernel BUG at /home/zumbi/linux-4.2.3/net/netfilter/nf_nat_core.c:391!
Dec 19 18:49:51 nat-serv [ 3396.252794] invalid opcode: 0000 [#1] 
Dec 19 18:49:51 nat-serv  
Dec 19 18:49:51 nat-serv [ 3396.252820] Modules linked in:
Dec 19 18:49:51 nat-serv  nfnetlink_queue
Dec 19 18:49:51 nat-serv  netconsole
Dec 19 18:49:51 nat-serv  configfs
Dec 19 18:49:51 nat-serv  xt_hashlimit
Dec 19 18:49:51 nat-serv  xt_conntrack
Dec 19 18:49:51 nat-serv  iptable_filter
Dec 19 18:49:51 nat-serv  xt_nat
Dec 19 18:49:51 nat-serv  xt_REDIRECT
Dec 19 18:49:51 nat-serv  nf_nat_redirect
Dec 19 18:49:51 nat-serv  ipt_MASQUERADE
Dec 19 18:49:51 nat-serv  nf_nat_masquerade_ipv4
Dec 19 18:49:51 nat-serv  iptable_nat
Dec 19 18:49:51 nat-serv  nf_conntrack_ipv4
Dec 19 18:49:51 nat-serv  nf_defrag_ipv4
Dec 19 18:49:51 nat-serv  nf_nat_ipv4
Dec 19 18:49:51 nat-serv  xt_tcpudp
Dec 19 18:49:51 nat-serv  xt_NFQUEUE
Dec 19 18:49:51 nat-serv  iptable_mangle
Dec 19 18:49:51 nat-serv  ip_tables
Dec 19 18:49:51 nat-serv  nf_nat_pptp
Dec 19 18:49:51 nat-serv  nf_nat_proto_gre
Dec 19 18:49:51 nat-serv  nf_conntrack_pptp
Dec 19 18:49:51 nat-serv  nf_conntrack_proto_gre
Dec 19 18:49:51 nat-serv  nf_nat_ftp
Dec 19 18:49:51 nat-serv  nf_conntrack_ftp
Dec 19 18:49:51 nat-serv  nf_nat
Dec 19 18:49:51 nat-serv  nf_conntrack
Dec 19 18:49:51 nat-serv  ip_set_hash_ip
Dec 19 18:49:51 nat-serv  ip_set_hash_net
Dec 19 18:49:51 nat-serv  xt_set
Dec 19 18:49:51 nat-serv  ip_set
Dec 19 18:49:51 nat-serv  nfnetlink
Dec 19 18:49:51 nat-serv  ipt_NETFLOW(O)
Dec 19 18:49:51 nat-serv  x_tables
Dec 19 18:49:51 nat-serv  binfmt_misc
Dec 19 18:49:51 nat-serv  cpufreq_powersave
Dec 19 18:49:51 nat-serv  cpufreq_userspace
Dec 19 18:49:51 nat-serv  cpufreq_stats
Dec 19 18:49:51 nat-serv  cpufreq_conservative
Dec 19 18:49:51 nat-serv  nfsd
Dec 19 18:49:51 nat-serv  auth_rpcgss
Dec 19 18:49:51 nat-serv  oid_registry
Dec 19 18:49:51 nat-serv  nfs_acl
Dec 19 18:49:51 nat-serv  nfs
Dec 19 18:49:51 nat-serv  lockd
Dec 19 18:49:51 nat-serv  grace
Dec 19 18:49:51 nat-serv  fscache
Dec 19 18:49:51 nat-serv  sunrpc
Dec 19 18:49:51 nat-serv  8021q
Dec 19 18:49:51 nat-serv  garp
Dec 19 18:49:51 nat-serv  mrp
Dec 19 18:49:51 nat-serv  stp
Dec 19 18:49:51 nat-serv  llc
Dec 19 18:49:51 nat-serv  bonding
Dec 19 18:49:51 nat-serv  intel_powerclamp
Dec 19 18:49:51 nat-serv  coretemp
Dec 19 18:49:51 nat-serv  kvm
Dec 19 18:49:51 nat-serv  crct10dif_pclmul
Dec 19 18:49:51 nat-serv  crc32_pclmul
Dec 19 18:49:51 nat-serv  ghash_clmulni_intel
Dec 19 18:49:51 nat-serv  sha256_ssse3
Dec 19 18:49:51 nat-serv  sha256_generic
Dec 19 18:49:51 nat-serv  hmac
Dec 19 18:49:51 nat-serv  drbg
Dec 19 18:49:51 nat-serv  ansi_cprng
Dec 19 18:49:51 nat-serv  ttm
Dec 19 18:49:51 nat-serv  drm_kms_helper
Dec 19 18:49:51 nat-serv  aesni_intel
Dec 19 18:49:51 nat-serv  drm
Dec 19 18:49:51 nat-serv  iTCO_wdt
Dec 19 18:49:51 nat-serv  iTCO_vendor_support
Dec 19 18:49:51 nat-serv  aes_x86_64
Dec 19 18:49:51 nat-serv  lrw
Dec 19 18:49:51 nat-serv  joydev
Dec 19 18:49:51 nat-serv  evdev
Dec 19 18:49:51 nat-serv  gf128mul
Dec 19 18:49:51 nat-serv  lpc_ich
Dec 19 18:49:51 nat-serv  glue_helper
Dec 19 18:49:51 nat-serv  mfd_core
Dec 19 18:49:51 nat-serv  ablk_helper
Dec 19 18:49:51 nat-serv  cryptd
Dec 19 18:49:51 nat-serv  pcspkr
Dec 19 18:49:51 nat-serv  ac
Dec 19 18:49:51 nat-serv  tpm_tis
Dec 19 18:49:51 nat-serv  i2c_i801
Dec 19 18:49:51 nat-serv  tpm
Dec 19 18:49:51 nat-serv  i7core_edac
Dec 19 18:49:51 nat-serv  edac_core
Dec 19 18:49:51 nat-serv  acpi_power_meter
Dec 19 18:49:51 nat-serv  8250_fintek
Dec 19 18:49:51 nat-serv  ioatdma
Dec 19 18:49:51 nat-serv  button
Dec 19 18:49:51 nat-serv  wmi
Dec 19 18:49:51 nat-serv  shpchp
Dec 19 18:49:51 nat-serv  acpi_cpufreq
Dec 19 18:49:51 nat-serv  processor
Dec 19 18:49:51 nat-serv  thermal_sys
Dec 19 18:49:51 nat-serv  loop
Dec 19 18:49:51 nat-serv  ipmi_watchdog
Dec 19 18:49:51 nat-serv  ipmi_si
Dec 19 18:49:51 nat-serv  ipmi_poweroff
Dec 19 18:49:51 nat-serv  ipmi_devintf
Dec 19 18:49:51 nat-serv  ipmi_msghandler
Dec 19 18:49:51 nat-serv  autofs4
Dec 19 18:49:51 nat-serv  ext4
Dec 19 18:49:51 nat-serv  crc16
Dec 19 18:49:51 nat-serv  mbcache
Dec 19 18:49:51 nat-serv  jbd2
Dec 19 18:49:51 nat-serv  sg
Dec 19 18:49:51 nat-serv  sr_mod
Dec 19 18:49:51 nat-serv  sd_mod
Dec 19 18:49:51 nat-serv  cdrom
Dec 19 18:49:51 nat-serv  uas
Dec 19 18:49:51 nat-serv  usb_storage
Dec 19 18:49:51 nat-serv  hid_generic
Dec 19 18:49:51 nat-serv  ata_generic
Dec 19 18:49:51 nat-serv  usbhid
Dec 19 18:49:51 nat-serv  hid
Dec 19 18:49:51 nat-serv  crc32c_intel
Dec 19 18:49:51 nat-serv  ata_piix
Dec 19 18:49:51 nat-serv  libata
Dec 19 18:49:51 nat-serv  scsi_mod
Dec 19 18:49:51 nat-serv  uhci_hcd
Dec 19 18:49:51 nat-serv  ehci_pci
Dec 19 18:49:51 nat-serv  ehci_hcd
Dec 19 18:49:51 nat-serv  usbcore
Dec 19 18:49:51 nat-serv  usb_common
Dec 19 18:49:51 nat-serv  igb
Dec 19 18:49:51 nat-serv  i2c_algo_bit
Dec 19 18:49:51 nat-serv  dca
Dec 19 18:49:51 nat-serv  ptp
Dec 19 18:49:51 nat-serv  pps_core
Dec 19 18:49:51 nat-serv  
Dec 19 18:49:51 nat-serv [ 3396.254001] CPU: 5 PID: 25167 Comm: nfqfilter Tainted: G           O    4.2.0-0.bpo.1-amd64 #1 Debian 4.2.3-2~bpo8+1
Dec 19 18:49:51 nat-serv [ 3396.254092] Hardware name: Cisco Systems Inc R200-1120402W/R200-1120402W, BIOS C200.1.4.3k.0.071720130648 07/17/2013
Dec 19 18:49:51 nat-serv [ 3396.254185] task: ffff880262394600 ti: ffff880240054000 task.ti: ffff880240054000
Dec 19 18:49:51 nat-serv [ 3396.254266] RIP: 0010:[<ffffffffa06fa235>] 
Dec 19 18:49:51 nat-serv  [<ffffffffa06fa235>] nf_nat_setup_info+0x315/0x320 [nf_nat]
Dec 19 18:49:51 nat-serv [ 3396.254359] RSP: 0018:ffff8802400576a8  EFLAGS: 00010202
Dec 19 18:49:51 nat-serv [ 3396.254407] RAX: 0000000000000100 RBX: ffffffff81ad7f80 RCX: 0000000000000000
Dec 19 18:49:51 nat-serv [ 3396.254462] RDX: 0000000000000040 RSI: ffff880240057758 RDI: ffff88023e3a4898
Dec 19 18:49:51 nat-serv [ 3396.254516] RBP: ffff88023e3a4898 R08: 0000000000000000 R09: ffff8802413650c8
Dec 19 18:49:51 nat-serv [ 3396.254570] R10: 00000000abb1b755 R11: 000000000d0b930a R12: 0000000000000080
Dec 19 18:49:51 nat-serv [ 3396.254625] R13: 0000000000000000 R14: ffff880240057758 R15: ffffc90011943160
Dec 19 18:49:51 nat-serv [ 3396.254679] FS:  00007f0b2f7fe700(0000) GS:ffff8802672a0000(0000) knlGS:0000000000000000
Dec 19 18:49:51 nat-serv [ 3396.254763] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Dec 19 18:49:51 nat-serv [ 3396.254813] CR2: 00007fce01686d70 CR3: 000000023bb3b000 CR4: 00000000000006e0
Dec 19 18:49:51 nat-serv [ 3396.254867] Stack:
Dec 19 18:49:51 nat-serv [ 3396.254904]  ffff880262b4f800
Dec 19 18:49:51 nat-serv  ffffffffa06c70df
Dec 19 18:49:51 nat-serv  ffff8802622cf2ac
Dec 19 18:49:51 nat-serv  0d0b930a00000246
Dec 19 18:49:51 nat-serv  
Dec 19 18:49:51 nat-serv [ 3396.254997]  0000000000000001
Dec 19 18:49:51 nat-serv  00000000000000ad
Dec 19 18:49:51 nat-serv  00000000ffffffff
Dec 19 18:49:51 nat-serv  0000000000000000
Dec 19 18:49:51 nat-serv  
Dec 19 18:49:51 nat-serv [ 3396.255089]  0000000000000000
Dec 19 18:49:51 nat-serv  0000000000000246
Dec 19 18:49:51 nat-serv  ffff8802625c22c0
Dec 19 18:49:51 nat-serv  ffffffffa06b2990
Dec 19 18:49:51 nat-serv  
Dec 19 18:49:51 nat-serv [ 3396.255182] Call Trace:
Dec 19 18:49:51 nat-serv [ 3396.255224]  [<ffffffffa06c70df>] ? hash_ip4_kadt+0x9f/0xb0 [ip_set_hash_ip]
Dec 19 18:49:51 nat-serv [ 3396.255280]  [<ffffffffa06b2990>] ? ip_set_test+0xc0/0x1b0 [ip_set]
Dec 19 18:49:51 nat-serv [ 3396.255333]  [<ffffffffa075b0b5>] ? xt_snat_target_v0+0x75/0x90 [xt_nat]
Dec 19 18:49:51 nat-serv [ 3396.255388]  [<ffffffffa0715d12>] ? ipt_do_table+0x312/0x700 [ip_tables]
Dec 19 18:49:51 nat-serv [ 3396.255444]  [<ffffffffa072e7a6>] ? nf_nat_ipv4_fn+0x176/0x210 [nf_nat_ipv4]
Dec 19 18:49:51 nat-serv [ 3396.255499]  [<ffffffffa0742020>] ? iptable_nat_ipv4_fn+0x20/0x20 [iptable_nat]
Dec 19 18:49:51 nat-serv [ 3396.255581]  [<ffffffffa072e904>] ? nf_nat_ipv4_out+0x44/0xf0 [nf_nat_ipv4]
Dec 19 18:49:51 nat-serv [ 3396.255638]  [<ffffffff8149029c>] ? nf_iterate+0x4c/0x80
Dec 19 18:49:51 nat-serv [ 3396.255688]  [<ffffffff81490336>] ? nf_hook_slow+0x66/0xc0
Dec 19 18:49:51 nat-serv [ 3396.255739]  [<ffffffff8149c84f>] ? ip_output+0xaf/0xc0
Dec 19 18:49:51 nat-serv [ 3396.255788]  [<ffffffff8149b820>] ? ip_fragment.constprop.50+0x90/0x90
Dec 19 18:49:51 nat-serv [ 3396.255841]  [<ffffffff814987d0>] ? ip_forward+0x380/0x470
Dec 19 18:49:51 nat-serv [ 3396.255891]  [<ffffffff814983c0>] ? ip_frag_mem+0x40/0x40
Dec 19 18:49:51 nat-serv [ 3396.255940]  [<ffffffff814913ed>] ? nf_reinject+0x9d/0x140
Dec 19 18:49:51 nat-serv [ 3396.255991]  [<ffffffffa0784a65>] ? nfqnl_recv_verdict+0x225/0x2f0 [nfnetlink_queue]
Dec 19 18:49:51 nat-serv [ 3396.256075]  [<ffffffff812eea9b>] ? nla_parse+0x9b/0x100
Dec 19 18:49:51 nat-serv [ 3396.256126]  [<ffffffffa069039a>] ? nfnetlink_rcv_msg+0x14a/0x230 [nfnetlink]
Dec 19 18:49:51 nat-serv [ 3396.256182]  [<ffffffffa0690250>] ? nfnetlink_net_exit_batch+0x70/0x70 [nfnetlink]
Dec 19 18:49:51 nat-serv [ 3396.256265]  [<ffffffff8148df51>] ? netlink_rcv_skb+0xa1/0xc0
Dec 19 18:49:51 nat-serv [ 3396.256315]  [<ffffffff8148d750>] ? netlink_unicast+0x100/0x180
Dec 19 18:49:51 nat-serv [ 3396.256366]  [<ffffffff8148dc9b>] ? netlink_sendmsg+0x4cb/0x5e0
Dec 19 18:49:51 nat-serv [ 3396.256419]  [<ffffffff81444088>] ? sock_sendmsg+0x38/0x50
Dec 19 18:49:51 nat-serv [ 3396.256469]  [<ffffffff81444b2f>] ? ___sys_sendmsg+0x25f/0x270
Dec 19 18:49:51 nat-serv [ 3396.256522]  [<ffffffff810e2c48>] ? do_futex+0x108/0xae0
Dec 19 18:49:51 nat-serv [ 3396.256572]  [<ffffffff8109e857>] ? set_next_entity+0x67/0x460
Dec 19 18:49:51 nat-serv [ 3396.256625]  [<ffffffff811d6f77>] ? __fget_light+0x17/0x50
Dec 19 18:49:51 nat-serv [ 3396.256675]  [<ffffffff8144525e>] ? __sys_sendmsg+0x3e/0x70
Dec 19 18:49:51 nat-serv [ 3396.256727]  [<ffffffff815533f2>] ? system_call_fast_compare_end+0xc/0x6b
Dec 19 18:49:51 nat-serv [ 3396.256781] Code: 
Dec 19 18:49:51 89  
Dec 19 18:49:51 nat-serv  
Dec 19 18:49:51 nat-serv [ 3396.257191] RIP 
Dec 19 18:49:51 nat-serv  [<ffffffffa06fa235>] nf_nat_setup_info+0x315/0x320 [nf_nat]
Dec 19 18:49:51 nat-serv [ 3396.257249]  RSP <ffff8802400576a8>
Dec 19 18:49:51 nat-serv [ 3396.257752] ---[ end trace 98f2a50575e72a08 ]---
Dec 19 18:49:51 nat-serv [ 3396.261148] Kernel panic - not syncing: Fatal exception in interrupt
Dec 19 18:49:51 nat-serv [ 3396.261266] Kernel Offset: disabled
Dec 19 18:49:51 nat-serv [ 3396.268266] Rebooting in 30 seconds..
Dec 19 18:50:20 nat-serv  
Dec 19 18:50:20 nat-serv [ 3426.015541] ACPI MEMORY or I/O RESET_REG.

---

Dec 17 01:33:38 nat2 [ 3513.591867] ------------[ cut here ]------------
Dec 17 01:33:38 nat2 [ 3513.591887] kernel BUG at /build/linux-lVEVrl/linux-4.7.8/net/netfilter/nf_nat_core.c:401!
Dec 17 01:33:38 nat2 [ 3513.591905] invalid opcode: 0000 [#1] SMP
Dec 17 01:33:38 nat2 [ 3513.591915] Modules linked in:
Dec 17 01:33:38 nat2  netconsole
Dec 17 01:33:38 nat2  configfs
Dec 17 01:33:38 nat2  xt_DSCP
Dec 17 01:33:38 nat2  xt_NFQUEUE
Dec 17 01:33:38 nat2  iptable_mangle
Dec 17 01:33:38 nat2  xt_ratelimit(OE)
Dec 17 01:33:38 nat2  xt_comment
Dec 17 01:33:38 nat2  xt_multiport
Dec 17 01:33:38 nat2  xt_conntrack
Dec 17 01:33:38 nat2  iptable_filter
Dec 17 01:33:38 nat2  xt_REDIRECT
Dec 17 01:33:38 nat2  nf_nat_redirect
Dec 17 01:33:38 nat2  xt_tcpudp
Dec 17 01:33:38 nat2  xt_nat
Dec 17 01:33:38 nat2  nfnetlink_queue
Dec 17 01:33:38 nat2  ip_set_hash_net
Dec 17 01:33:38 nat2  ip_set_hash_ip
Dec 17 01:33:38 nat2  nf_nat_pptp
Dec 17 01:33:38 nat2  nf_nat_proto_gre
Dec 17 01:33:38 nat2  nf_conntrack_pptp
Dec 17 01:33:38 nat2  nf_conntrack_proto_gre
Dec 17 01:33:38 nat2  nf_nat_ftp
Dec 17 01:33:38 nat2  nf_conntrack_ftp
Dec 17 01:33:38 nat2  ipt_NETFLOW(OE)
Dec 17 01:33:38 nat2  8021q
Dec 17 01:33:38 nat2  garp
Dec 17 01:33:38 nat2  mrp
Dec 17 01:33:38 nat2  stp
Dec 17 01:33:38 nat2  llc
Dec 17 01:33:38 nat2  ip6table_mangle
Dec 17 01:33:38 nat2  ip6table_filter
Dec 17 01:33:38 nat2  ip6_tables
Dec 17 01:33:38 nat2  xt_set
Dec 17 01:33:38 nat2  ip_set
Dec 17 01:33:38 nat2  nfnetlink
Dec 17 01:33:38 nat2  bonding
Dec 17 01:33:38 nat2  iptable_nat
Dec 17 01:33:38 nat2  nf_conntrack_ipv4
Dec 17 01:33:38 nat2  nf_defrag_ipv4
Dec 17 01:33:38 nat2  nf_nat_ipv4
Dec 17 01:33:38 nat2  nf_nat
Dec 17 01:33:38 nat2  nf_conntrack
Dec 17 01:33:38 nat2  ip_tables
Dec 17 01:33:38 nat2  x_tables
Dec 17 01:33:38 nat2  intel_rapl
Dec 17 01:33:38 nat2  x86_pkg_temp_thermal
Dec 17 01:33:38 nat2  intel_powerclamp
Dec 17 01:33:38 nat2  coretemp
Dec 17 01:33:38 nat2  kvm_intel
Dec 17 01:33:38 nat2  kvm
Dec 17 01:33:38 nat2  irqbypass
Dec 17 01:33:38 nat2  crct10dif_pclmul
Dec 17 01:33:38 nat2  crc32_pclmul
Dec 17 01:33:38 nat2  ghash_clmulni_intel
Dec 17 01:33:38 nat2  hmac
Dec 17 01:33:38 nat2  drbg
Dec 17 01:33:38 nat2  ansi_cprng
Dec 17 01:33:38 nat2  aesni_intel
Dec 17 01:33:38 nat2  iTCO_wdt
Dec 17 01:33:38 nat2  iTCO_vendor_support
Dec 17 01:33:38 nat2  aes_x86_64
Dec 17 01:33:38 nat2  mgag200
Dec 17 01:33:38 nat2  lrw
Dec 17 01:33:38 nat2  ttm
Dec 17 01:33:38 nat2  gf128mul
Dec 17 01:33:38 nat2  joydev
Dec 17 01:33:38 nat2  evdev
Dec 17 01:33:38 nat2  drm_kms_helper
Dec 17 01:33:38 nat2  glue_helper
Dec 17 01:33:38 nat2  ablk_helper
Dec 17 01:33:38 nat2  drm
Dec 17 01:33:38 nat2  lpc_ich
Dec 17 01:33:38 nat2  mfd_core
Dec 17 01:33:38 nat2  pcspkr
Dec 17 01:33:38 nat2  serio_raw
Dec 17 01:33:38 nat2  cryptd
Dec 17 01:33:38 nat2  tpm_tis
Dec 17 01:33:38 nat2  tpm
Dec 17 01:33:38 nat2  ie31200_edac
Dec 17 01:33:38 nat2  edac_core
Dec 17 01:33:38 nat2  video
Dec 17 01:33:38 nat2  shpchp
Dec 17 01:33:38 nat2  i2c_i801
Dec 17 01:33:38 nat2  battery
Dec 17 01:33:38 nat2  button
Dec 17 01:33:38 nat2  ipmi_watchdog
Dec 17 01:33:38 nat2  ipmi_si
Dec 17 01:33:38 nat2  ipmi_poweroff
Dec 17 01:33:38 nat2  ipmi_devintf
Dec 17 01:33:38 nat2  ipmi_msghandler
Dec 17 01:33:38 nat2  fuse
Dec 17 01:33:38 nat2  autofs4
Dec 17 01:33:38 nat2  ext4
Dec 17 01:33:38 nat2  crc16
Dec 17 01:33:38 nat2  jbd2
Dec 17 01:33:38 nat2  mbcache
Dec 17 01:33:38 nat2  hid_generic
Dec 17 01:33:38 nat2  usbhid
Dec 17 01:33:38 nat2  hid
Dec 17 01:33:38 nat2  dm_mod
Dec 17 01:33:38 nat2  raid1
Dec 17 01:33:38 nat2  md_mod
Dec 17 01:33:38 nat2  sg
Dec 17 01:33:38 nat2  sd_mod
Dec 17 01:33:38 nat2  ahci
Dec 17 01:33:38 nat2  libahci
Dec 17 01:33:38 nat2  libata
Dec 17 01:33:38 nat2  ehci_pci
Dec 17 01:33:38 nat2  scsi_mod
Dec 17 01:33:38 nat2  ehci_hcd
Dec 17 01:33:38 nat2  psmouse
Dec 17 01:33:38 nat2  crc32c_intel
Dec 17 01:33:38 nat2  usbcore
Dec 17 01:33:38 nat2  igb
Dec 17 01:33:38 nat2  e1000e
Dec 17 01:33:38 nat2  i2c_algo_bit
Dec 17 01:33:38 nat2  dca
Dec 17 01:33:38 nat2  ptp
Dec 17 01:33:38 nat2  usb_common
Dec 17 01:33:38 nat2  pps_core
Dec 17 01:33:38 nat2  thermal
Dec 17 01:33:38 nat2  fan
Dec 17 01:33:38 nat2  fjes
Dec 17 01:33:38 nat2
Dec 17 01:33:38 nat2 [ 3513.592327] CPU: 1 PID: 2242 Comm: nfqfilter Tainted: G           OE   4.7.0-0.bpo.1-amd64 #1 Debian 4.7.8-1~bpo8+1
Dec 17 01:33:38 nat2 [ 3513.592348] Hardware name: Supermicro X9SCL/X9SCM/X9SCL/X9SCM, BIOS 2.0a 06/08/2012
Dec 17 01:33:38 nat2 [ 3513.592364] task: ffff8800d82ab140 ti: ffff880203404000 task.ti: ffff880203404000
Dec 17 01:33:38 nat2 [ 3513.592380] RIP: 0010:[<ffffffffc07972a8>]
Dec 17 01:33:38 nat2  [<ffffffffc07972a8>] nf_nat_setup_info+0x318/0x350 [nf_nat]
Dec 17 01:33:38 nat2 [ 3513.592405] RSP: 0018:ffff8802034076b8  EFLAGS: 00010202
Dec 17 01:33:38 nat2 [ 3513.592417] RAX: 0000000000000080 RBX: ffffffff88ee5b80 RCX: 0000000000000000
Dec 17 01:33:38 nat2 [ 3513.592431] RDX: 0000000000000080 RSI: ffff880203407768 RDI: ffff8801ec8c0af8
Dec 17 01:33:38 nat2 [ 3513.592452] RBP: ffff8801ec8c0af8 R08: 0000000000000000 R09: ffff88020bbb1528
Dec 17 01:33:38 nat2 [ 3513.592472] R10: 0000000012ab55ae R11: 000000000726060a R12: 0000000000000000
Dec 17 01:33:38 nat2 [ 3513.592487] R13: ffff880203407768 R14: ffffc9000d5a45b0 R15: ffffffffc073f5d8
Dec 17 01:33:38 nat2 [ 3513.592503] FS:  00007fa983fff700(0000) GS:ffff88021fc40000(0000) knlGS:0000000000000000
Dec 17 01:33:38 nat2 [ 3513.592519] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Dec 17 01:33:38 nat2 [ 3513.592531] CR2: 00007fa5257fe000 CR3: 0000000212e93000 CR4: 00000000001406e0
Dec 17 01:33:38 nat2 [ 3513.592546] Stack:
Dec 17 01:33:38 nat2 [ 3513.592552]  ffff880203407748
Dec 17 01:33:38 nat2  ffff880203407860
Dec 17 01:33:38 nat2  ffffffffc09730ef
Dec 17 01:33:38 nat2  0726060a1508c000
Dec 17 01:33:38 nat2
Dec 17 01:33:38 nat2 [ 3513.592573]  0000000000000001
Dec 17 01:33:38 nat2  000000000000058c
Dec 17 01:33:38 nat2  00000000ffffffff
Dec 17 01:33:38 nat2  0000000000000000
Dec 17 01:33:38 nat2
Dec 17 01:33:38 nat2 [ 3513.592594]  0000000000000000
Dec 17 01:33:38 nat2  0000000000000246
Dec 17 01:33:38 nat2  ffff88020bb4b680
Dec 17 01:33:38 nat2  ffffffffc08b5c8e
Dec 17 01:33:38 nat2
Dec 17 01:33:38 nat2 [ 3513.592614] Call Trace:
Dec 17 01:33:38 nat2 [ 3513.592624]  [<ffffffffc09730ef>] ? hash_ip4_kadt+0xaf/0xe0 [ip_set_hash_ip]
Dec 17 01:33:38 nat2 [ 3513.592641]  [<ffffffffc08b5c8e>] ? ip_set_test+0xae/0x190 [ip_set]
Dec 17 01:33:38 nat2 [ 3513.592656]  [<ffffffffc09980b5>] ? xt_snat_target_v0+0x75/0x90 [xt_nat]
Dec 17 01:33:38 nat2 [ 3513.592671]  [<ffffffffc073bc5e>] ? ipt_do_table+0x30e/0x640 [ip_tables]
Dec 17 01:33:38 nat2 [ 3513.592692]  [<ffffffffc07ef050>] ? iptable_nat_ipv4_fn+0x20/0x20 [iptable_nat]
Dec 17 01:33:38 nat2 [ 3513.592709]  [<ffffffffc077f6d2>] ? nf_nat_ipv4_fn+0x172/0x210 [nf_nat_ipv4]
Dec 17 01:33:38 nat2 [ 3513.592725]  [<ffffffffc077f835>] ? nf_nat_ipv4_out+0x45/0xf0 [nf_nat_ipv4]
Dec 17 01:33:38 nat2 [ 3513.592742]  [<ffffffff88916a84>] ? nf_iterate+0x54/0x70
Dec 17 01:33:38 nat2 [ 3513.592755]  [<ffffffff88916b0d>] ? nf_hook_slow+0x6d/0xc0
Dec 17 01:33:38 nat2 [ 3513.592768]  [<ffffffff889236e0>] ? ip_output+0xe0/0x100
Dec 17 01:33:38 nat2 [ 3513.592780]  [<ffffffff88921f70>] ? ip_fragment.constprop.51+0x80/0x80
Dec 17 01:33:38 nat2 [ 3513.592795]  [<ffffffff8891f82c>] ? ip_forward+0x38c/0x4a0
Dec 17 01:33:38 nat2 [ 3513.592807]  [<ffffffff8891f430>] ? ip_frag_mem+0x40/0x40
Dec 17 01:33:38 nat2 [ 3513.593426]  [<ffffffff88917b93>] ? nf_reinject+0xc3/0x170
Dec 17 01:33:38 nat2 [ 3513.594026]  [<ffffffffc098e9f7>] ? nfqnl_recv_verdict+0x267/0x450 [nfnetlink_queue]
Dec 17 01:33:38 nat2 [ 3513.594628]  [<ffffffff8872adb9>] ? memset_erms+0x9/0x10
Dec 17 01:33:38 nat2 [ 3513.595222]  [<ffffffff888a1daf>] ? get_target_pstate_use_performance+0x7f/0xa0
Dec 17 01:33:38 nat2 [ 3513.595817]  [<ffffffffc080b32c>] ? nfnetlink_rcv_msg+0x12c/0x220 [nfnetlink]
Dec 17 01:33:38 nat2 [ 3513.596405]  [<ffffffffc080b200>] ? nfnetlink_net_exit_batch+0x60/0x60 [nfnetlink]
Dec 17 01:33:38 nat2 [ 3513.596973]  [<ffffffff88914281>] ? netlink_rcv_skb+0xa1/0xc0
Dec 17 01:33:38 nat2 [ 3513.597553]  [<ffffffff88913c37>] ? netlink_unicast+0x177/0x220
Dec 17 01:33:38 nat2 [ 3513.598142]  [<ffffffff88914033>] ? netlink_sendmsg+0x353/0x3d0
Dec 17 01:33:38 nat2 [ 3513.598675]  [<ffffffff888c2910>] ? sock_sendmsg+0x30/0x40
Dec 17 01:33:38 nat2 [ 3513.599188]  [<ffffffff888c346b>] ? ___sys_sendmsg+0x27b/0x290
Dec 17 01:33:38 nat2 [ 3513.599699]  [<ffffffff884f9833>] ? futex_wake+0x93/0x170
Dec 17 01:33:38 nat2 [ 3513.600189]  [<ffffffff884fb673>] ? do_futex+0x2d3/0xb20
Dec 17 01:33:38 nat2 [ 3513.600667]  [<ffffffff888c3bb1>] ? __sys_sendmsg+0x51/0x90
Dec 17 01:33:38 nat2 [ 3513.601140]  [<ffffffff889df5b6>] ? system_call_fast_compare_end+0xc/0x96
Dec 17 01:33:38 nat2 [ 3513.601593] Code:
Dec 17 01:33:38 nat2  <0f>
Dec 17 01:33:38 nat2
Dec 17 01:33:38 nat2 [ 3513.602585] RIP
Dec 17 01:33:38 nat2  [<ffffffffc07972a8>] nf_nat_setup_info+0x318/0x350 [nf_nat]
Dec 17 01:33:38 nat2 [ 3513.603031]  RSP <ffff8802034076b8>
Dec 17 01:33:38 nat2 [ 3513.605429] ---[ end trace 4cf60e5e9c0d3dc5 ]---
Dec 17 01:33:38 nat2 [ 3513.795789] Kernel panic - not syncing: Fatal exception in interrupt
Dec 17 01:33:38 nat2 [ 3513.797277] Kernel Offset: 0x7400000 from 0xffffffff81000000 (relocation range: 0xffffffff80000000-0xffffffffbfffffff)
Dec 17 01:33:38 nat2 [ 3513.942167] Rebooting in 30 seconds..

[duckhawk]

нашел такие записи в urls, файл делался make_files.pl, https://github.com/m...fqfilter_config

блокируется.

Именно так и добавлено, пакеты на сервере фильтрующем вижу, но nfqfilter именно на этот url пропускает.

Можете, пожалуйста, поделиться конфигурационным файлом с урлами?

[yadvlz]

Какая-то непонятная бага ядра обнаружилась - периодически (раз в 1-3 часа) уходит в kernel panic при num_threads > 1.

Без nfqfilter, либо с num_threads = 1 падений нет...

 

Аналогичная проблема, только, как мне кажется, частота зависит от нагрузки.

Так, если пустить весь 80-ый порт через nfqfilter, падать начинает активнее, но не в 100% случаев.

[zhenya`]

Запускайте несколько инстансов..

 

Я тоже видел паники, но не смог понять откуда они.

[baronzzz]

Уважаемые коллеги, поясните. Каким образом заинсталить сей мега супер девайс в сеть (я про extfilter?)

 

Понятно что один интерфейс в сторону щеркала, а другой куда? В сеть управления?

И что далее делать если у меня к приаеру SE100?

 

Т.е. не могу пока уловить принцип взаимодействия exrfiltr и бордера...подскажите пжл..

[igor_al]

Какая-то непонятная бага ядра обнаружилась - периодически (раз в 1-3 часа) уходит в kernel panic при num_threads > 1.

Без nfqfilter, либо с num_threads = 1 падений нет...

 

Аналогичная проблема, только, как мне кажется, частота зависит от нагрузки.

Так, если пустить весь 80-ый порт через nfqfilter, падать начинает активнее, но не в 100% случаев.

Да, проблема есть и действительно зависит от количества запросов

[swelf]

duckhawk

ничего вроде интересного

queue = 0
domainlist = /root/tmp/nfqfilter/etc/domains
urllist = /root/tmp/nfqfilter/etc/urls
ssllist = /root/tmp/nfqfilter/etc/ssl_host
hostlist = /root/tmp/nfqfilter/etc/hosts

redirect_url = http://1.1.1.1/?
http_code = 302 Moved Temporarily
url_additional_info=url

protocols = protos
statistic_interval = 300
send_rst = true
mark_value = 17
block_undetected_ssl = true
sslips = /root/tmp/nfqfilter/etc/ssl_ips
match_url_exactly = true
match_host_exactly = false

[logging]

 

Может просто трафик этого ip не перенаправляется в очередь?

Изменено 21 декабря, 2016 пользователем swelf

[swelf]

проскакивает url через nfqfilter, непонятно почему, спецсимволов нету, он прям в таком виде прописан в файле urls.

ua.****.ua:8081/politika/20110920_vseukrainskaya-politicheskaya-partiya-bratstvo-bratstvo

[Tem]

а можно както к nfq прикрутить статистику с графиками ?

[swelf]

Вобщем все урлы, в которых присутствует порт через двоеточие - не блокируются. Может че в конфиге не то? Это в nfqfilter

[AN111]

а можно както к nfq прикрутить статистику с графиками ?

В примитиве - парсер nfqfilter.log, запускаемый по cron

+ zabbix-agent для zabbix (или snmpd с придуманными OID и скриптами к этому OID)