Jump to content
Калькуляторы

Linux softrouter

Провел тесты без бондинга, с одной картой. Прерывания раскиданы на оба процессора.  

Загрузка ЦП в целом упала на 5-7%,

Распределение нагрузки по ядрам стало ещё более равномерным.

Но проблема осталась.

Хотя удалось кое что выяснить.

Проблемы начинаются когда загрузка ЦП начинает превышать 35-40%  

При такой  нагрузке я пробовал переносить все прерывания на 1 процессор чтобы посмотреть что произойдёт. Естественно его загрузка практически удваивалась.

В результате все работало ещё хуже, хотя трафик был таким же.

Из этого следует что проблемы зависят от загрузки ЦП, а не от трафика или числа сессий.

 

 

По поводу графиков conntrack, снизил значения тайм аутов  time_wait и syn_sent со 120 до 30
График стал похож на нормальный, как на боевых серверах. 

Странно, на старых системах стоит 120 и всё работает без корректировок 

Edited by mirk

Share this post


Link to post
Share on other sites

Работаю с opnsense.

Уже который день пытаюсь получить выход в мир через сетевую карту (OPT (intel350t4v2)). Шлюз пингуется, а дальше шлюза пингов нет.

Через WAN (встроенных два порта в сервер определились как WAN/LAN) с аналогичными настройками работает всё корректно. И сеть дальше распределяется по машинам через LAN порт.

Подключение выполнено напрямую, без посредников. Схема желаемых подключений:

 

Spoiler

hjO0BLC.png


Что у меня есть
Spoiler


Opnsense 18.1.6

 

2 идентичных сервера HP Proliant 360G6 с прошивкой всего до последних версий CPU:

intel x5670 x2

Network cards: intel 350t4 v2

RAM: 16Gb

HDD Hw Raid 1 (p410i no battery): 300 Gb

2 провайдера:

1 prov BGP Community

2 prov standard, без BGP и прочего

 

 

Что планирую

 

Spoiler

 

opnsense + suricata + сигнатуры от snort;

добавить поддержку двух провайдеров:

1 prov подключить в 0 port сетевой карты intel 350 t4v2;

2 prov подключить в 1 port сетевой карты intel 350 t4v2;

Из двух других свободных портов сетевых карт подключиться к свитчу.

Лановским портом синхронизировать сервера - кластер.

Всё это добро обернуть NATом.

 

 

Edited by JetA

Share this post


Link to post
Share on other sites

Где-то встречал обсуждение какие ядра хороши для PPPoE, а на каких система крашится время от времени, но сейчас найти не могу.

Подскажите что актуально на сегодня?

3.18 или еще старее?

Share this post


Link to post
Share on other sites

@kayot Актуален accel-ppp. С pppd/pppoe-server все пришли к консенсусу еще году в 2010: не для провайдинга, закопать

Share this post


Link to post
Share on other sites

@jffulcrum 

Это и ежу понятно. Но pppoe то ядерный, на кривых ядрах падает и на accel-ppp.

Share this post


Link to post
Share on other sites
В 03.01.2019 в 23:31, kayot сказал:

3.18 или еще старее?

вроде начиная с 3.17 крашилось. 3.10 - точно работает стабильно. 3.14 - если при дисконнекте прибивать шейпера на ифейсе, тоже крашилось.

проверить 4.14 пока руки не дошли, но ядрокот вроде писал что в 4.9 что ли уже почти все краши пофиксили.

 

В 05.01.2019 в 09:51, kayot сказал:

Но pppoe то ядерный, на кривых ядрах падает и на accel-ppp.

более того - на кривых ядрах падал именно аксель, rp-pppoe вроде как работал :)

 

Share this post


Link to post
Share on other sites
В 06.01.2019 в 16:18, NiTr0 сказал:

в 4.9 что ли уже почти все краши пофиксили.

На брасах стоят 4.9.х, полет нормальный (единственное, шейпер реализован не средствами accel)

Share this post


Link to post
Share on other sites
В 06.01.2019 в 11:18, NiTr0 сказал:

более того - на кривых ядрах падал именно аксель, rp-pppoe вроде как работал :)

так конечно, rp-pppoe плодит процесс pppd на каждого клиента, а у accel-pppd один процесс. pppd тоже скорее всего падает, но, видимо, это не заметно на общем фоне

Share this post


Link to post
Share on other sites
9 часов назад, s.lobanov сказал:

pppd тоже скорее всего падает, но, видимо, это не заметно на общем фоне

падает не pppd а ядро. вернее - не намертво, а частично окукливается.

 

связано с тем, что pppd не пытается прибивать туннели, оставляя это ядру, а аксель - пытается. и оно-то пофиг было пока все было синхронным, но когда деинициализацию пппое начали выносить в асинхронные обработчики (около 3.18) - полезли тараканы со всех щелей при попытке прибить повторно уже полуприбитый интерфейс.

Share this post


Link to post
Share on other sites

4.14.92, как показал тест, с пппое + шейпером + натом почему-то странно таращит:

[ 3692.907265] ------------[ cut here ]------------
[ 3692.907274] WARNING: CPU: 1 PID: 0 at /var/testpoint/LEAF/source/x86_64-unknown-linux-uclibc/linux/linux-4.14/include/net/dst.h:256 nf_xfrm_me_harder+0x131/0x140 [nf_nat]
[ 3692.907274] Modules linked in: xt_nat iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 iptable_filter xt_length xt_TCPMSS xt_tcpudp xt_mark xt_dscp iptable_mangle ip_tables x_tables nf_nat_pptp nf_conntrack_pptp nf_conntrack_proto_gre nf_nat_proto_gre nf_nat nf_conntrack libcrc32c sch_sfq sch_htb cls_u32 sch_ingress sch_prio sch_tbf cls_flow cls_fw parport_pc act_police parport ifb 8021q mrp garp stp llc softdog pppoe pppox ppp_generic k10temp slhc igb(O) asus_atk0110 i2c_nforce2 i2c_core thermal hwmon dca ptp pps_core nv_tco fan
[ 3692.907299] CPU: 1 PID: 0 Comm: swapper/1 Tainted: G        W  O    4.14.92-x86_64 #1
[ 3692.907300] Hardware name: System manufacturer System Product Name/M2N-E, BIOS ASUS M2N-E ACPI BIOS Revision 5001 03/23/2010
[ 3692.907301] task: ffff88807d14aa00 task.stack: ffffc9000006c000
[ 3692.907303] RIP: 0010:nf_xfrm_me_harder+0x131/0x140 [nf_nat]
[ 3692.907304] RSP: 0018:ffff88807fa83b08 EFLAGS: 00010246
[ 3692.907305] RAX: 0000000000000000 RBX: ffffffff820a98c0 RCX: 0000000000000002
[ 3692.907306] RDX: 0000000000000000 RSI: ffff88807348dc00 RDI: ffff88807fa83b48
[ 3692.907307] RBP: ffff88807fa83b80 R08: 0000000000000018 R09: ffff88805aabec00
[ 3692.907308] R10: 0000000000000001 R11: 0000000000000001 R12: ffff888074cf5e00
[ 3692.907308] R13: ffff88807fa83c00 R14: ffff88807c443a80 R15: ffff88805aabec56
[ 3692.907309] FS:  0000000000000000(0000) GS:ffff88807fa80000(0000) knlGS:0000000000000000
[ 3692.907310] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[ 3692.907311] CR2: 00000000023d91b0 CR3: 000000007975c000 CR4: 00000000000006e0
[ 3692.907312] Call Trace:
[ 3692.907313]  <IRQ>
[ 3692.907316]  ? nf_nat_packet+0xe0/0x110 [nf_nat]
[ 3692.907320]  nf_nat_ipv4_out+0xb4/0xe0 [nf_nat_ipv4]
[ 3692.907322]  iptable_nat_ipv4_out+0x15/0x20 [iptable_nat]
[ 3692.907325]  nf_hook_slow+0x48/0xd0
[ 3692.907326]  ip_output+0xe0/0xf0
[ 3692.907328]  ? ip_fragment.constprop.5+0x80/0x80
[ 3692.907329]  ip_forward_finish+0x49/0x70
[ 3692.907330]  ip_forward+0x3ca/0x4a0
[ 3692.907332]  ? ip_check_defrag+0x1f0/0x1f0
[ 3692.907334]  ip_rcv_finish+0x203/0x410
[ 3692.907335]  ip_rcv+0x2d4/0x360
[ 3692.907337]  ? ip_local_deliver_finish+0x200/0x200
[ 3692.907340]  __netif_receive_skb_core+0x8ae/0xbf0
[ 3692.907341]  __netif_receive_skb+0x18/0x60
[ 3692.907342]  ? __netif_receive_skb+0x18/0x60
[ 3692.907343]  process_backlog+0x95/0x150
[ 3692.907345]  net_rx_action+0x271/0x3d0
[ 3692.907347]  __do_softirq+0x10c/0x2b0
[ 3692.907350]  irq_exit+0xc4/0xd0
[ 3692.907351]  do_IRQ+0x4f/0xe0
[ 3692.907352]  common_interrupt+0x84/0x84
[ 3692.907353]  </IRQ>
[ 3692.907355] RIP: 0010:native_safe_halt+0x6/0x10
[ 3692.907356] RSP: 0018:ffffc9000006fe70 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff1e
[ 3692.907357] RAX: ffffffff816c5690 RBX: ffff88807d14aa00 RCX: 0000000000000000
[ 3692.907357] RDX: 0000000000000000 RSI: 0000000000000000 RDI: 0000000000000000
[ 3692.907358] RBP: ffffc9000006fe70 R08: 0000000000000000 R09: 0000000000000002
[ 3692.907359] R10: ffffc9000006fe10 R11: 0000000000000001 R12: 0000000000000001
[ 3692.907359] R13: ffff88807d14aa00 R14: 0000000000000000 R15: 0000000000000000
[ 3692.907361]  ? __sched_text_end+0x3/0x3
[ 3692.907363]  default_idle+0x20/0x100
[ 3692.907366]  arch_cpu_idle+0x15/0x20
[ 3692.907367]  default_idle_call+0x23/0x30
[ 3692.907369]  do_idle+0x188/0x1b0
[ 3692.907370]  cpu_startup_entry+0x73/0x80
[ 3692.907372]  start_secondary+0x1a3/0x1e0
[ 3692.907373]  secondary_startup_64+0xa5/0xb0
[ 3692.907374] Code: ff ff ff eb cc 48 83 e7 fe 48 89 45 88 e8 28 46 46 e1 48 8b 45 88 eb 90 85 c0 74 0f 8d 50 01 f0 0f b1 11 0f 84 53 ff ff ff eb ed <0f> 0b e9 4a ff ff ff e8 b3 c0 ed e0 0f 1f 00 0f 1f 44 00 00 55 
[ 3692.907394] ---[ end trace 77290dbe6664c982 ]---
[ 3692.907406] dst_release: dst:ffff88807348dc00 refcnt:-1

+ при росте нагрузки ребутается по кернел паник.

 

попробую откатиться наверное на 4.9...

Share this post


Link to post
Share on other sites

в общем на 4.9 вроде как все ок, посмотрим как оно в продакшне себя покажет.

Share this post


Link to post
Share on other sites

@NiTr0 

Я по рекомендациям последний PPPoE терминатор на крайнем 3.10 собрал, но как-то оно медленнее даже чем рядом стоящие собратья на 2.6.32.

e3-1220 2.6.32 - 1500 сессий 1.5 гига - 15% загрузка

e3-1240 3.10.108 - 1500 сессий 1.5 гига - 40% загрузка

Все идентично, фаервол с ipset, шейпер HTB.

В perf top все красиво и там и там, в топе 5-7% iptables да и все.

Но в топе на новом сервер много %si.

Share this post


Link to post
Share on other sites

подскажите :

собрал резервный nas ( ipt-netflow+ipt_ratelimit+nat ) на машине с  Intel(R) Core(TM) i7 CPU X 980 @ 3.33GHz


 

Скрытый текст

 

processor    : 0
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 0
cpu cores    : 6
apicid        : 0
initial apicid    : 0
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

processor    : 1
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 1
cpu cores    : 6
apicid        : 2
initial apicid    : 2
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

processor    : 2
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 2
cpu cores    : 6
apicid        : 4
initial apicid    : 4
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

processor    : 3
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 8
cpu cores    : 6
apicid        : 16
initial apicid    : 16
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

processor    : 4
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 9
cpu cores    : 6
apicid        : 18
initial apicid    : 18
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

processor    : 5
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 10
cpu cores    : 6
apicid        : 20
initial apicid    : 20
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

processor    : 6
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 0
cpu cores    : 6
apicid        : 1
initial apicid    : 1
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

processor    : 7
vendor_id    : GenuineIntel
cpu family    : 6
model        : 44
model name    : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
stepping    : 2
microcode    : 0xc
cpu MHz        : 3334.000
cache size    : 12288 KB
physical id    : 0
siblings    : 8
core id        : 1
cpu cores    : 6
apicid        : 3
initial apicid    : 3
fdiv_bug    : no
f00f_bug    : no
coma_bug    : no
fpu        : yes
fpu_exception    : yes
cpuid level    : 11
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt aes lahf_lm tpr_shadow vnmi flexpriority ept vpid dtherm ida arat
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf
bogomips    : 6682.08
clflush size    : 64
cache_alignment    : 64
address sizes    : 36 bits physical, 48 bits virtual
power management:

 

 

 

 

 

Скрытый текст

 

cat /proc/interrupts 
           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       
  0:        137          0          0          0          0          0          0          0   IO-APIC   2-edge      timer
  1:          1          0          0          4          0          0          0          0   IO-APIC   1-edge      i8042
  8:          0          0          0          1          0          0          0          0   IO-APIC   8-edge      rtc0
  9:          0          0          0          0          0          0          0          0   IO-APIC   9-fasteoi   acpi
 12:          1          0          0          5          0          0          0          0   IO-APIC  12-edge      i8042
...

 

 

Скрытый текст

 

/root/cpu.sh 
cpu0: [Package #0, Core #0]
  same package as 0-7
  same core as    0,6
  L1 Data:        32K 8-way with 64 byte lines
                  [shared with 0,6]
  L1 Instruction: 32K 4-way with 64 byte lines
                  [shared with 0,6]
  L2 Unified:     256K 8-way with 64 byte lines
                  [shared with 0,6]
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

cpu1: [Package #0, Core #1]
  same package as 0-7
  same core as    1,7
  L1 Data:        32K 8-way with 64 byte lines
                  [shared with 1,7]
  L1 Instruction: 32K 4-way with 64 byte lines
                  [shared with 1,7]
  L2 Unified:     256K 8-way with 64 byte lines
                  [shared with 1,7]
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

cpu2: [Package #0, Core #2]
  same package as 0-7
  L1 Data:        32K 8-way with 64 byte lines
  L1 Instruction: 32K 4-way with 64 byte lines
  L2 Unified:     256K 8-way with 64 byte lines
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

cpu3: [Package #0, Core #8]
  same package as 0-7
  L1 Data:        32K 8-way with 64 byte lines
  L1 Instruction: 32K 4-way with 64 byte lines
  L2 Unified:     256K 8-way with 64 byte lines
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

cpu4: [Package #0, Core #9]
  same package as 0-7
  L1 Data:        32K 8-way with 64 byte lines
  L1 Instruction: 32K 4-way with 64 byte lines
  L2 Unified:     256K 8-way with 64 byte lines
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

cpu5: [Package #0, Core #10]
  same package as 0-7
  L1 Data:        32K 8-way with 64 byte lines
  L1 Instruction: 32K 4-way with 64 byte lines
  L2 Unified:     256K 8-way with 64 byte lines
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

cpu6: [Package #0, Core #0]
  same package as 0-7
  same core as    0,6
  L1 Data:        32K 8-way with 64 byte lines
                  [shared with 0,6]
  L1 Instruction: 32K 4-way with 64 byte lines
                  [shared with 0,6]
  L2 Unified:     256K 8-way with 64 byte lines
                  [shared with 0,6]
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

cpu7: [Package #0, Core #1]
  same package as 0-7
  same core as    1,7
  L1 Data:        32K 8-way with 64 byte lines
                  [shared with 1,7]
  L1 Instruction: 32K 4-way with 64 byte lines
                  [shared with 1,7]
  L2 Unified:     256K 8-way with 64 byte lines
                  [shared with 1,7]
  L3 Unified:     12288K 16-way with 64 byte lines
                  [shared with 0-7]

 


 

 

Ядро 4.9.137-i686. 

Почему то вместо 6 ядер, отображает 8. В чём может быть дело?

 

 

HT выключен. 
но вот тут как-то не так:
...
siblings    : 8
cpu cores    : 6
...
 

Edited by alex39x

Share this post


Link to post
Share on other sites

HT выключен где? В BIOS'е ? А надо в BIOS'е
Этот проц по мнению Intel (и, вероятно, производитель знает лучше) имеет 6 ядер+HT.
Может CONFIG_NR_CPUS у вас стоит 8 ?

Share this post


Link to post
Share on other sites
46 минут назад, passer сказал:

HT выключен где? В BIOS'е ? А надо в BIOS'е
Этот проц по мнению Intel (и, вероятно, производитель знает лучше) имеет 6 ядер+HT.
Может CONFIG_NR_CPUS у вас стоит 8 ?

Да

CONFIG_NR_CPUS=8
Похоже HT не выключился. Будем выключать. passer спасибо.

Share this post


Link to post
Share on other sites

Постоянно приглядываюсь к теме тазиков,но я к сожалению не умею их готовить (((.

 

Существует ли какая-то методология по выбору процессора и памяти под опередленную нагрузку: количество ядер,тактовая частота,типа памяти,количество памяти? Вот валяется у меня в углу писюк с core i3,если вставить в него правильную сетевушку,как понять\рассчитать сколько он потянет? Тут где-то промелькивало что-то вроде 1гбит/с на ядро (могу что-то спутать)?

 

Также интересен такой зверь как AMD FX-8350 (8 ядер по 4Мгц),все к нему приглядываюсь: любопытно,сколько потянет в купе с хорошей сетевушкой. Нет ни у кого таких данных? ))

Share this post


Link to post
Share on other sites
2 часа назад, zdutpdzi сказал:

ли вставить в него правильную сетевушку,как понять\рассчитать сколько он потянет? Тут где-то промелькивало что-то вроде 1гбит/с на ядро (могу что-то спутать)?

ну где-то примерно так. хотя зависит от того что на него вешать. если голый роутинг с маршрутизацией с фуллвью и немного ната - то больше (порядка 1.5-2 гбит на ядро). пппое терминация - где-то около гбита на ядро.

 

2 часа назад, zdutpdzi сказал:

Также интересен такой зверь как AMD FX-8350 (8 ядер по 4Мгц),все к нему приглядываюсь: любопытно,сколько потянет в купе с хорошей сетевушкой

там все не сильно радужно из-за большой латентности кешей/памяти.

а вот у свежей рязани с этим все куда лучше (сравнимо с лга1155 интелами).

Share this post


Link to post
Share on other sites
Just now, NiTr0 said:

ну где-то примерно так. хотя зависит от того что на него вешать. если голый роутинг с маршрутизацией с фуллвью и немного ната - то больше (порядка 1.5-2 гбит на ядро). пппое терминация - где-то около гбита на ядро.

а частота какая должна быть минимальная у ядер?

 

Just now, NiTr0 said:

а вот у свежей рязани с этим все куда лучше (сравнимо с лга1155 интелами).

интересно бы вообще увидеть тесты каких-нибудь тазиков на amd (насколько хуже)

Share this post


Link to post
Share on other sites
2 часа назад, zdutpdzi сказал:

а частота какая должна быть минимальная у ядер?

пофиг. от частоты/латентности зависит производительность, а так - никто и на пне 1 не мешает все поднять (правда работать будет меееедленно и пережует несколько десятков мбит)

 

или вам чтобы гигабит ядро пережевало?

 

2 часа назад, zdutpdzi сказал:

интересно бы вообще увидеть тесты каких-нибудь тазиков на amd (насколько хуже)

феном 945 где-то сравним с целероном G530 (может чуть быстрее, % на 20).

Share this post


Link to post
Share on other sites
3 minutes ago, NiTr0 said:

пофиг. от частоты/латентности зависит производительность, а так - никто и на пне 1

То есть основным фактором определяющим производительность обработки сетевого трафика являются кэши,и подбирать нужно по их параметрам?

 

10 minutes ago, NiTr0 said:

или вам чтобы гигабит ядро пережевало?

да я пытаюсь понять,как процессор (и память) выбирается исходя из требований по пропускной. Например,какой проц взять для 100Мбит/с,для 500Мбит/с,1Гбит/с итд. Если у меня завалялся в кладовке старый проц и он потянет,зачем мне покупать тот,который потянет эту нагрузку и больше? )))

Share this post


Link to post
Share on other sites

потому что сегодня у тебя 100 мбит, а завтра 300. послезавтра уже гигабит. опять же энергоэффективность. 

 

Share this post


Link to post
Share on other sites
1 час назад, zdutpdzi сказал:

То есть основным фактором определяющим производительность обработки сетевого трафика являются кэши,и подбирать нужно по их параметрам?

 

да я пытаюсь понять,как процессор (и память) выбирается исходя из требований по пропускной. Например,какой проц взять для 100Мбит/с,для 500Мбит/с,1Гбит/с итд. Если у меня завалялся в кладовке старый проц и он потянет,зачем мне покупать тот,который потянет эту нагрузку и больше? )))

В чем тогда проблема, собирайте из того что есть и тестируйте трафик генератором. Смотрите на сколько с запасом хватит производительности и устраивает ли вас эта система.

 

Кэши в процессорах? - как Вы подберете? Чем больший кэш тем лучше. Большие кэши у современных процессоров.

В этой ветке есть какие то тесты систем, даже я в свое время (2012год) постил.

Share this post


Link to post
Share on other sites
8 часов назад, zdutpdzi сказал:

То есть основным фактором определяющим производительность обработки сетевого трафика являются кэши,и подбирать нужно по их параметрам?

в основном - да, кеш + подсистема памяти. потому как нагрузка - memory-intensive (пакет сначала кладется в системную память через DMA, если повезет и система поддерживает DCA - он при этом окажется и в л3 кеше, после чего - поиск по таблице коннтрака которая целиком в л3 кеш обычно не вмещается, про л1-л2 вообще молчу, после чего - поиск по таблице маршрутизации, а если еще инкапсуляция/декапсуляция - это копирование содержимого пакета в новое место с новыми заголовками, после - копирование в tx ring buffer... это только то, что в голову пришло. при этом средний размер пакета - в районе 700-800 байт.

 

8 часов назад, zdutpdzi сказал:

да я пытаюсь понять,как процессор (и память) выбирается исходя из требований по пропускной. Например,какой проц взять для 100Мбит/с,для 500Мбит/с,1Гбит/с итд. Если у меня завалялся в кладовке старый проц и он потянет,зачем мне покупать тот,который потянет эту нагрузку и больше? )))

память - двухканал + задержки пониже (ЕСС на роутерах не слишком критична хоть и не помешает), проц - интел (лучше - лга1156 или свежее, можно с атомами свежими поэкспериментировать на малом трафике), ну или амд свежий (зен ядро).

 

7 часов назад, QWE сказал:

Чем больший кэш тем лучше

не в размере счастье. целерон с его смешным кешем тягается с феномами, у которых и кеша больше, и ядер больше.

Share this post


Link to post
Share on other sites
11 hours ago, QWE said:

Кэши в процессорах? - как Вы подберете? Чем больший кэш тем лучше. Большие кэши у современных процессоров. 

Да,я имел ввиду,что нужно ориентироваться на кэш,а не на частоту при выборе. То есть,лучше брать с большим L3/L3-кэшем и меньшей частотой,чем с большей частотой и меньшим кэшем.

 

4 hours ago, NiTr0 said:

в основном - да, кеш + подсистема памяти. потому как нагрузка - memory-intensive (пакет сначала кладется в системную память через DMA, если повезет и система поддерживает DCA - он при этом окажется и в л3 кеше, после чего - поиск по таблице коннтрака которая целиком в л3 кеш обычно не вмещается, про л1-л2 вообще молчу, после чего - поиск по таблице маршрутизации, а если еще инкапсуляция/декапсуляция - это копирование содержимого пакета в новое место с новыми заголовками, после - копирование в tx ring buffer... это только то, что в голову пришло. при этом средний размер пакета - в районе 700-800 байт.

 

память - двухканал + задержки пониже (ЕСС на роутерах не слишком критична хоть и не помешает), проц - интел (лучше - лга1156 или свежее, можно с атомами свежими поэкспериментировать на малом трафике), ну или амд свежий (зен ядро).

 

не в размере счастье. целерон с его смешным кешем тягается с феномами, у которых и кеша больше, и ядер больше.

О,спс. Более-менее проясняется ))). Память очевидно уже лучше ставить DDR4. )))

 

12 hours ago, zhenya` said:

потому что сегодня у тебя 100 мбит, а завтра 300. послезавтра уже гигабит. опять же энергоэффективность.

 

Это понятно. Вопрос-то,куда хлам старый пристроить ))).

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now