myth Опубликовано 25 июня, 2017 · Жалоба Эти инструкции кстати поддерживает любой современный процессор. Да, но не у каждого есть 4 физических ядра Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 25 июня, 2017 · Жалоба Эти инструкции кстати поддерживает любой современный процессор. Да, но не у каждого есть 4 физических ядра А зачем 4 ядра? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 25 июня, 2017 · Жалоба by design 1 ядро под ос, еще одно под dpdk, еще одно(два) под worker Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 25 июня, 2017 · Жалоба by design 1 ядро под ос, еще одно под dpdk, еще одно(два) под worker А если у процессора всего два ядра? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 25 июня, 2017 · Жалоба extfilter не заведется. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 июня, 2017 · Жалоба extfilter не заведется. Заведется на 2х ядрах - одно системное, другое под worker. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 25 июня, 2017 · Жалоба а dpdk? Когда я пытался запустить на 2 ядерном процессоре - не заводилось Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 июня, 2017 · Жалоба а dpdk? Когда я пытался запустить на 2 ядерном процессоре - не заводилось В ранних версиях был другой алгоритм работы. Теперь запускается и на двух ядрах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 25 июня, 2017 (изменено) · Жалоба а dpdk? Когда я пытался запустить на 2 ядерном процессоре - не заводилось В ранних версиях был другой алгоритм работы. Теперь запускается и на двух ядрах. А на одном ядре? А как запускать тогда на виртуальных машинах? Изменено 25 июня, 2017 пользователем ne-vlezay80 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
max1976 Опубликовано 25 июня, 2017 · Жалоба А на одном ядре? А как запускать тогда на виртуальных машинах? На одном нельзя. Как я писал выше - одно ядро для ОС, другое для worker'а. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 25 июня, 2017 · Жалоба А на одном ядре? А как запускать тогда на виртуальных машинах? На одном нельзя. Как я писал выше - одно ядро для ОС, другое для worker'а. А на процессоре без ssse3 и ssse4, ssse4.2 Вот мой процессор: ne-vlezay80@ne-vlezay80:~$ cat /proc/cpuinfo processor : 0 vendor_id : AuthenticAMD cpu family : 16 model : 4 model name : AMD Phenom(tm) II X4 965 Processor stepping : 3 microcode : 0x10000c8 cpu MHz : 3400.000 cache size : 512 KB physical id : 0 siblings : 4 core id : 0 cpu cores : 4 apicid : 0 initial apicid : 0 fpu : yes fpu_exception : yes cpuid level : 5 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nopl nonstop_tsc extd_apicid eagerfpu pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt nodeid_msr hw_pstate vmmcall npt lbrv svm_lock nrip_save bugs : tlb_mmatch fxsave_leak sysret_ss_attrs null_seg amd_e400 bogomips : 7140.04 TLB size : 1024 4K pages clflush size : 64 cache_alignment : 64 address sizes : 48 bits physical, 48 bits virtual power management: ts ttp tm stc 100mhzsteps hwpstate processor : 1 vendor_id : AuthenticAMD cpu family : 16 model : 4 model name : AMD Phenom(tm) II X4 965 Processor stepping : 3 microcode : 0x10000c8 cpu MHz : 3400.000 cache size : 512 KB physical id : 0 siblings : 4 core id : 1 cpu cores : 4 apicid : 1 initial apicid : 1 fpu : yes fpu_exception : yes cpuid level : 5 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nopl nonstop_tsc extd_apicid eagerfpu pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt nodeid_msr hw_pstate vmmcall npt lbrv svm_lock nrip_save bugs : tlb_mmatch fxsave_leak sysret_ss_attrs null_seg amd_e400 bogomips : 7139.82 TLB size : 1024 4K pages clflush size : 64 cache_alignment : 64 address sizes : 48 bits physical, 48 bits virtual power management: ts ttp tm stc 100mhzsteps hwpstate processor : 2 vendor_id : AuthenticAMD cpu family : 16 model : 4 model name : AMD Phenom(tm) II X4 965 Processor stepping : 3 microcode : 0x10000c8 cpu MHz : 3400.000 cache size : 512 KB physical id : 0 siblings : 4 core id : 2 cpu cores : 4 apicid : 2 initial apicid : 2 fpu : yes fpu_exception : yes cpuid level : 5 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nopl nonstop_tsc extd_apicid eagerfpu pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt nodeid_msr hw_pstate vmmcall npt lbrv svm_lock nrip_save bugs : tlb_mmatch fxsave_leak sysret_ss_attrs null_seg amd_e400 bogomips : 7139.92 TLB size : 1024 4K pages clflush size : 64 cache_alignment : 64 address sizes : 48 bits physical, 48 bits virtual power management: ts ttp tm stc 100mhzsteps hwpstate processor : 3 vendor_id : AuthenticAMD cpu family : 16 model : 4 model name : AMD Phenom(tm) II X4 965 Processor stepping : 3 microcode : 0x10000c8 cpu MHz : 3400.000 cache size : 512 KB physical id : 0 siblings : 4 core id : 3 cpu cores : 4 apicid : 3 initial apicid : 3 fpu : yes fpu_exception : yes cpuid level : 5 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nopl nonstop_tsc extd_apicid eagerfpu pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt nodeid_msr hw_pstate vmmcall npt lbrv svm_lock nrip_save bugs : tlb_mmatch fxsave_leak sysret_ss_attrs null_seg amd_e400 bogomips : 7139.86 TLB size : 1024 4K pages clflush size : 64 cache_alignment : 64 address sizes : 48 bits physical, 48 bits virtual power management: ts ttp tm stc 100mhzsteps hwpstate Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 25 июня, 2017 · Жалоба А и правда запускается на 2 ядрах) Займусь внедрением)) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
ne-vlezay80 Опубликовано 25 июня, 2017 · Жалоба А и правда запускается на 2 ядрах) Займусь внедрением)) А где процессоры с sse3 и sse4.2 брать будешь? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 26 июня, 2017 · Жалоба processor : 1 vendor_id : GenuineIntel cpu family : 6 model : 94 model name : Intel(R) Pentium(R) CPU G4400 @ 3.30GHz stepping : 3 microcode : 0x8a cpu MHz : 3299.871 cache size : 3072 KB physical id : 0 siblings : 2 core id : 1 cpu cores : 2 apicid : 2 initial apicid : 2 fpu : yes fpu_exception : yes cpuid level : 22 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 sdbg cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave rdrand lahf_lm abm 3dnowprefetch intel_pt tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust erms invpcid rdseed smap clflushopt xsaveopt xsavec xgetbv1 dtherm arat pln pts hwp hwp_notify hwp_act_window hwp_epp bugs : bogomips : 6624.15 clflush size : 64 cache_alignment : 64 address sizes : 39 bits physical, 48 bits virtual power management: Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
borcat Опубликовано 26 июня, 2017 · Жалоба Упорно пропускает http://ua.golos.ua:8081/politika/20110920_vseukrainskaya-politicheskaya-partiya-bratstvo-bratstvo точнее он получает там редирект на http://ru.golos.ua:8081/politika/20110920_vseukrainskaya-politicheskaya-partiya-bratstvo-bratstvo а уже его не пропускает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 26 июня, 2017 · Жалоба Упорно пропускает http://ua.golos.ua:8081/politika/20110920_vseukrainskaya-politicheskaya-partiya-bratstvo-bratstvo точнее он получает там редирект на http://ru.golos.ua:8081/politika/20110920_vseukrainskaya-politicheskaya-partiya-bratstvo-bratstvo а уже его не пропускает Чем фильтруете?? У меня extfilter блочит первую ссылку, а второй нету в реестре Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 26 июня, 2017 · Жалоба А как можно организовать зеркало трафика(1г медь) без активного оборудования? И при этом лить только tx Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
borcat Опубликовано 26 июня, 2017 · Жалоба Чем фильтруете?? У меня extfilter блочит первую ссылку, а второй нету в реестре nfqfilter от myth11 причём она единственная "пробегающая" Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 27 июня, 2017 · Жалоба Помогите разобраться, не запускается новый extfilter. EAL: Detected 4 lcore(s) EAL: invalid coremask [port 0] queues = 0,1; 1,2 core_mask = 12 cat /usr/lib/tuned/dpdk-tune/tuned.conf [main] include=latency-performance [bootloader] cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=2 4х ядерный Xeon E5310 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
AN111 Опубликовано 27 июня, 2017 · Жалоба core_mask = 12 cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=2 для isolcpus=1,2,3 coremask=7 (счет от 0, 3-младший рязряд)) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 27 июня, 2017 · Жалоба Помогите разобраться, не запускается новый extfilter. EAL: Detected 4 lcore(s) EAL: invalid coremask [port 0] queues = 0,1; 1,2 core_mask = 12 cat /usr/lib/tuned/dpdk-tune/tuned.conf [main] include=latency-performance [bootloader] cmdline=isolcpus=1,2,3 default_hugepagesz=1G hugepagesz=1G hugepages=2 4х ядерный Xeon E5310 Забудь про этого денозавра, пробовал запускать на таком, были пропуски ну а по сути у меня было так core_mask = 13 [port 0] queues = 0,2; 1,3 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 27 июня, 2017 (изменено) · Жалоба EAL: Detected 4 lcore(s) EAL: Probing VFIO support... EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles ! EAL: PCI device 0000:06:00.0 on NUMA socket -1 EAL: probe driver: 8086:105e net_e1000_em EAL: PCI device 0000:06:00.1 on NUMA socket -1 EAL: probe driver: 8086:105e net_e1000_em Exception: Configuration error ; Переводить имя хоста в прописные буквы. lower_host = true domainlist = /root/rkn-data-scripts/files/domains urllist = /root/rkn-data-scripts/files/urls ssllist = /root/rkn-data-scripts/files/ssl_host ;hostlist = /root/rkn-data-scripts/files/hosts ; Файл с портами для nDPI. ;protocols = /usr/local/etc/extfilter/protos ; Список ip адресов/сетей для блокировки ssl если нет server_name в ssl hello пакете. Загружается если block_undetected_ssl = true. sslips = /root/rkn-data-scripts/files/ssl_ips ; если false, то будет послан rst пакет вместо редиректа. Default: false http_redirect = true redirect_url = http://local.isp/ ; HTTP код ответа. default: 302 Moved Temporarily http_code = 301 Moved Permanently ; Что добавлять в redirect_url, line - строка из файла url, url - запрещенный url, none - ничего url_additional_info = none ; посылать tcp rst в сторону сервера от имени клиента. Default: false rst_to_server = true ; Default: 0 - disable statistic_interval = 60 ; Default: false match_url_exactly = false ; Default: false block_undetected_ssl = true ; Какие ядра использовать. Default: все ядра, кроме management. core_mask = 7 ; файл статистики (для extfilter-cacti) statisticsfile = /var/run/extFilter_stat ; mtu на интерфейсе для отправки пакетов в сторону абонентов. Default: 1500 ; out_mtu = 1500 ; Количество flow, обрабатываемых программой. Должно быть кратно 2. ; flowhash_size = 1048576 ; количество тредов для отсылки уведомлений о блокировке ; num_of_senders = 1 ; делать ли нормализацию url url_normalization = true ; удалять ли точку в конце имени хоста remove_dot = true ; CLI для управления или сбора статистики extfilter ; cli_port = 9999 ; cli_address = 127.0.0.1 ; Количество каналов памяти (для DPDK) ; memory_channels = 2 ; notify_enabled = false ; Формат файла ip/mask @group_id, где group_id группа оповещения. Например: ; 192.168.0.0/24 @0 ; 10.0.0.0/24 @0 ; 10.20.0.0/24 @1 ; notify_acl_file = /usr/local/etc/extfilter/notify_acl ; здесь задаются порты, с которых необходимо снимать трафик ; формат: ; [port n] ; queues = a,b; a1,b1... ; n - номер порта dpdk ; a - номер очереди ; b - ядро, обрабатывающее очередь a ; Пример: [port 0] queues = 0,1; 1,2 ; Группа оповещения 0 ;[notify 0] ;http_code = 302 Found ;redirect_url = http://announce.example.com/? ;rst_to_server = false ; через какое время делать редирект (секунды) ;period = 1800 ; количество редиректов, если 0 - не ограничено ;repeat = 0 [logging] loggers.root.level = information loggers.root.level = debug loggers.root.channel = fileChannel channels.fileChannel.class = FileChannel channels.fileChannel.path = /var/log/extFilter.log channels.fileChannel.rotation = 1 M channels.fileChannel.purgeCount = 4 channels.fileChannel.archive = timestamp channels.fileChannel.formatter.class = PatternFormatter channels.fileChannel.formatter.pattern = %Y-%m-%d %H:%M:%S.%i [%P] %p %s - %t channels.fileChannel.formatter.times = local 2017-06-27 16:15:47.217 [14428] Information Application - Flow hash size per worker 1048576 for port 0 2017-06-27 16:15:47.217 [14428] Error Application - Invalid queue number: 1 (nic supported maximum 1) Network devices using DPDK-compatible driver ============================================ 0000:06:00.0 '82571EB Gigabit Ethernet Controller' drv=igb_uio unused= Network devices using kernel driver =================================== 0000:04:00.0 '80003ES2LAN Gigabit Ethernet Controller (Copper)' if=enp4s0f0 drv=e1000e unused=igb_uio 0000:04:00.1 '80003ES2LAN Gigabit Ethernet Controller (Copper)' if=enp4s0f1 drv=e1000e unused=igb_uio *Active* 0000:06:00.1 '82571EB Gigabit Ethernet Controller' if=enp6s0f1 drv=e1000e unused=igb_uio Other network devices ===================== <none> Изменено 27 июня, 2017 пользователем flow-control Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Rick Опубликовано 27 июня, 2017 · Жалоба 2017-06-27 16:15:47.217 [14428] Information Application - Flow hash size per worker 1048576 for port 0 2017-06-27 16:15:47.217 [14428] Error Application - Invalid queue number: 1 (nic supported maximum 1) На этой карте похоже поддержка только одной очереди, то есть в конфиге надо к примеру queues = 0,1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
myth Опубликовано 27 июня, 2017 · Жалоба А какой объем памяти рекомендуется выделять под Huge? Сейчас выделил 2 страницы по 1г. Не мало? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
flow-control Опубликовано 27 июня, 2017 · Жалоба 2017-06-27 16:15:47.217 [14428] Information Application - Flow hash size per worker 1048576 for port 0 2017-06-27 16:15:47.217 [14428] Error Application - Invalid queue number: 1 (nic supported maximum 1) На этой карте похоже поддержка только одной очереди, то есть в конфиге надо к примеру queues = 0,1 спасибо, запустил Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
