Jump to content
Калькуляторы

Linux softrouter

В 3.18.37 поломали память. Ставьте 3.18.36

 

Спасибо.

Share this post


Link to post
Share on other sites

Вопрос.

top говорит

top - 18:47:02 up 134 days,  3:53,  1 user,  load average: 0.31, 0.29, 0.25
Tasks:  89 total,   2 running,  87 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.3 sy,  0.0 ni, 43.1 id,  0.0 wa,  0.0 hi, 56.6 si,  0.0 st
KiB Mem:   8107888 total,  1642604 used,  6465284 free,   194820 buffers
KiB Swap:   367612 total,        0 used,   367612 free,   241532 cached

mpstat -P ALL

Linux 3.18.19 (border)  11/17/2016      _x86_64_        (4 CPU)
06:48:01 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
06:48:01 PM  all    0.04    0.00    0.27    0.00    0.01   17.80    0.00    0.00   81.88
06:48:01 PM    0    0.04    0.00    0.27    0.00    0.01   16.06    0.00    0.00   83.62
06:48:01 PM    1    0.03    0.00    0.28    0.00    0.01   20.74    0.00    0.00   78.94
06:48:01 PM    2    0.06    0.00    0.27    0.00    0.01   17.45    0.00    0.00   82.22
06:48:01 PM    3    0.04    0.00    0.27    0.00    0.01   16.77    0.00    0.00   82.92

htop

0.png

Кому верить?

Share this post


Link to post
Share on other sites

1,3 гига на 120kpps, NAT + развесистый шейпер на хэш таблицах.

Share this post


Link to post
Share on other sites

1,3 гига на 120kpps, NAT + развесистый шейпер на хэш таблицах.

Всего-то??? Я уж не спрашиваю про прерывания и сетевухи, а камень какой...может пакость какая с сети летит???

Share this post


Link to post
Share on other sites

Прерывания прибиты ручками

grep eth /proc/interrupts
37:        185          0 3683550659          0  IR-PCI-MSI-edge      eth2
39: 3378761923          0          0          0  IR-PCI-MSI-edge      eth3-TxRx-0
40:         11 2661373899          0          0  IR-PCI-MSI-edge      eth3-TxRx-1
41:         11          0 2286664005          0  IR-PCI-MSI-edge      eth3-TxRx-2
42:         11          0          0  393875341  IR-PCI-MSI-edge      eth3-TxRx-3
43:          4          0    2600846          0  IR-PCI-MSI-edge      eth3
44: 2781318421          0          0          0  IR-PCI-MSI-edge      eth1-TxRx-0
45:       1537 1921257971          0          0  IR-PCI-MSI-edge      eth1-TxRx-1
46:       1535          0 1847948850          0  IR-PCI-MSI-edge      eth1-TxRx-2
47:       1737          0          0 2432712391  IR-PCI-MSI-edge      eth1-TxRx-3
48:          4     645587          0          0  IR-PCI-MSI-edge      eth1
49:          1          0          0          1  IR-PCI-MSI-edge      eth0
50: 2545843818          0          0          0  IR-PCI-MSI-edge      eth0-rx-0
51:          4 2744180406          0          0  IR-PCI-MSI-edge      eth0-rx-1
52:          4          0 2879646725          0  IR-PCI-MSI-edge      eth0-rx-2
53:          4          0          0 2598659653  IR-PCI-MSI-edge      eth0-rx-3
54:  182377006          0          0          0  IR-PCI-MSI-edge      eth0-tx-0
55:          4  354442852          0          0  IR-PCI-MSI-edge      eth0-tx-1
56:          4          0   91830624          0  IR-PCI-MSI-edge      eth0-tx-2
57:          4          0          0   78784072  IR-PCI-MSI-edge      eth0-tx-3

сетевухи хорошие

lspci | grep Ether

01:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)

01:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)

02:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

02:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 0c)

камень тоже

grep name /proc/cpuinfo
model name      : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz
model name      : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz
model name      : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz
model name      : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz

На пакость не похоже, perf вот что кажет

 58.36%  [kernel]             [k] cpu_startup_entry
 9.29%  [cls_u32]            [k] u32_classify
 7.97%  [kernel]             [k] do_raw_spin_lock
 2.38%  [kernel]             [k] tc_classify_compat
 1.24%  libc-2.13.so         [.] 0x88221
 1.19%  [kernel]             [k] irq_entries_start
 1.13%  [ixgbe]              [k] ixgbe_clean_rx_irq
 1.08%  [kernel]             [k] native_write_msr_safe
 0.76%  perf_3.2             [.] rb_next
 0.74%  [kernel]             [k] fib_rules_lookup
 0.69%  [nf_conntrack]       [k] __nf_ct_ext_find
 0.64%  [kernel]             [k] get_page_from_freelist
 0.62%  [kernel]             [k] __do_softirq
 0.62%  perf_3.2             [.] 0x41ad3
 0.61%  [kernel]             [k] module_get_kallsym
 0.61%  [kernel]             [k] __netdev_alloc_skb
 0.55%  [nf_nat_ipv4]        [k] nf_nat_ipv4_manip_pkt
 0.54%  [ixgbe]              [k] ixgbe_poll

Хотя в моменты ЧНН в топе были do_raw_spin_lock и cpu_startup_entry

Share this post


Link to post
Share on other sites

В загрузке: intel_idle.max_cstate=0 processor.max_cstate=1

И конечно

echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor

echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor

echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor

echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor

echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor

echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor

echo performance >/sys/devices/system/cpu/cpu7/cpufreq/scaling_governor

Share this post


Link to post
Share on other sites

Спасибо ребят, шейпер это. Отключил нах - 4-5% на ядро. Вобщем буду переходить на полисер. Просто у нас есть тарифы на 0,5мбит, им будет некомфортно.

Ядрокот, это само собой, а перфоманс я поставил в конфиг ядра.

Share this post


Link to post
Share on other sites

pppoetest

Может шейпер неверно работает? Можете показать вывод

tc -s -d filter show dev XXX

Share this post


Link to post
Share on other sites

Вполне может. Нарезаем 4-мя таблицами по октету, затем классифицируем icmp/http,https/остальное

sudo /sbin/tc  -s -d f show dev eth1 | wc -l
64556
sudo /sbin/tc  -s -d f show dev eth1 | head -n58
filter parent 1: protocol ip pref 1 u32
filter parent 1: protocol ip pref 1 u32 fh 80a: ht divisor 1
filter parent 1: protocol ip pref 1 u32 fh 80a::800 order 2048 key ht 80a bkt 0 flowid 1:21  (rule hit 5233482755 success 26145)
 match 0a0401f7/ffffffff at 16 (success 26145 )
filter parent 1: protocol ip pref 1 u32 fh 80a::801 order 2049 key ht 80a bkt 0 flowid 1:22  (rule hit 5233456321 success 26124)
 match 0a0401f9/ffffffff at 16 (success 26124 )
filter parent 1: protocol ip pref 1 u32 fh 80a::802 order 2050 key ht 80a bkt 0 flowid 1:23  (rule hit 5233429868 success 0)
 match 0a0601fa/ffffffff at 16 (success 0 )
filter parent 1: protocol ip pref 1 u32 fh 80a::803 order 2051 key ht 80a bkt 0 flowid 1:24  (rule hit 5233429574 success 0)
 match 0a0502fa/ffffffff at 16 (success 0 )
filter parent 1: protocol ip pref 1 u32 fh 80a::804 order 2052 key ht 80a bkt 0 flowid 1:25  (rule hit 5233429271 success 2236202)
 match XXXXXXXX/ffffffff at 16 (success 2236202 )
filter parent 1: protocol ip pref 1 u32 fh 80a::805 order 2053 key ht 80a bkt 0 flowid 1:26  (rule hit 5231192743 success 770)
 match 0a0601fd/ffffffff at 16 (success 770 )
filter parent 1: protocol ip pref 1 u32 fh 80a::806 order 2054 key ht 80a bkt 0 flowid 1:27  (rule hit 5231191680 success 1645631)
 match 0a0601fe/ffffffff at 16 (success 1645631 )
filter parent 1: protocol ip pref 1 u32 fh 80a::807 order 2055 key ht 80a bkt 0 flowid 1:28  (rule hit 5229545712 success 1647193)
 match 0a0301fa/ffffffff at 16 (success 1647193 )
filter parent 1: protocol ip pref 1 u32 fh 80a::808 order 2056 key ht 80a bkt 0 flowid 1:29  (rule hit 5227898197 success 17645302)
 match 0a0601f9/ffffffff at 16 (success 17645302 )
filter parent 1: protocol ip pref 1 u32 fh 80a::809 order 2057 key ht 80a bkt 0 flowid 1:30  (rule hit 5210252620 success 0)
 match 0a050102/ffffffff at 16 (success 0 )
filter parent 1: protocol ip pref 1 u32 fh 80a::80a order 2058 key ht 80a bkt 0 flowid 1:31  (rule hit 5210252385 success 0)
 match 0a050202/ffffffff at 16 (success 0 )
filter parent 1: protocol ip pref 1 u32 fh 80a::80b order 2059 key ht 80a bkt 0 flowid 1:32  (rule hit 5210252042 success 72)
 match 0a0501fa/ffffffff at 16 (success 72 )
filter parent 1: protocol ip pref 1 u32 fh 80a::80c order 2060 key ht 80a bkt 0 flowid 1:33  (rule hit 5210251656 success 511130)
 match c0a80002/ffffffff at 16 (success 511130 )
filter parent 1: protocol ip pref 1 u32 fh 80a::80d order 2061 key ht 80a bkt 0 flowid 1:34  (rule hit 5209740209 success 9626181)
 match 0a0601f8/ffffffff at 16 (success 9626181 )
filter parent 1: protocol ip pref 1 u32 fh 80a::80e order 2062 key ht 80a bkt 0 flowid 1:35  (rule hit 5200113737 success 5990)
 match XXXXXXXX/ffffffff at 16 (success 5990 )
filter parent 1: protocol ip pref 2 u32
filter parent 1: protocol ip pref 2 u32 fh 80b: ht divisor 1
filter parent 1: protocol ip pref 3 u32
filter parent 1: protocol ip pref 3 u32 fh 80c: ht divisor 1
filter parent 1: protocol ip pref 4 u32
filter parent 1: protocol ip pref 4 u32 fh 80d: ht divisor 1
filter parent 1: protocol ip pref 48636 u32
filter parent 1: protocol ip pref 48636 u32 fh a09: ht divisor 1
filter parent 1: protocol ip pref 48637 u32
filter parent 1: protocol ip pref 48637 u32 fh 562: ht divisor 256
filter parent 1: protocol ip pref 48637 u32 fh 562:41:800 order 2048 key ht 562 bkt 41 flowid 1:39aa  (rule hit 0 success 0)
 match 0a0b6241/ffffffff at 16 (success 0 )
 match 00010000/00ff0000 at 8 (success 0 )
filter parent 1: protocol ip pref 48637 u32 fh 562:41:801 order 2049 key ht 562 bkt 41 flowid 1:39ab  (rule hit 0 success 0)
 match 0a0b6241/ffffffff at 16 (success 0 )
 match 00060000/00ff0000 at 8 (success 0 )
 match 00000000/e0000000 at 20 (success 0 )
filter parent 1: protocol ip pref 48637 u32 fh 562:41:802 order 2050 key ht 562 bkt 41 flowid 1:39ac  (rule hit 0 success 0)
 match 0a0b6241/ffffffff at 16 (success 0 )
 match 00060000/00ff0000 at 8 (success 0 )
 match fffe0000/ffff0000 at 20 (success 0 )
filter parent 1: protocol ip pref 48637 u32 fh 562:41:803 order 2051 key ht 562 bkt 41 flowid 1:39ad  (rule hit 0 success 0)
 match 0a0b6241/ffffffff at 16 (success 0 )
filter parent 1: protocol ip pref 48637 u32 fh 562:42:800 order 2048 key ht 562 bkt 42 flowid 1:3af4  (rule hit 521075 success 5018)
 match 0a0b6242/ffffffff at 16 (success 521075 )
 match 00010000/00ff0000 at 8 (success 5018 )

Share this post


Link to post
Share on other sites

А можно чуть больше вывода, чтобы был хотя бы десяток клиентских классов.

И в этом выводе нет ни одного правила с hashkey.

Edited by SABRE

Share this post


Link to post
Share on other sites

Выкладываю всю портянку.

ЗЫ. Может проще выложить то, что скармливается "tc -b" ?

Переименуйте в *.7z, архивы форум не разрешает аттачить.

log.txt

Share this post


Link to post
Share on other sites

Итак, вкратце - уберите сразу хеширование по первому октету - он у вас всегда 10. Не в этом проблема, но лучше точно станет.

Главное - добавляйте все правила tc filter add с параметром pref N, иначе создается много экземпляров фильтра u32, в этом как раз и кроется проблема.

Исправьте это - должно стать намного легче, и я бы попросил Вас протестировать разницу между хешированием по сторому октету и двумя незаисимыми фильтрами(академический интерес), но это уже после того как добавите во все фильтры pref 10 (например)

Edited by SABRE

Share this post


Link to post
Share on other sites
уберите сразу хеширование по первому октету - он у вас всегда 10.

Не всегда, есть несколько диапазонов !10/8, просто я их убрал из конфига.

добавляйте все правила tc filter add с параметром pref N, иначе создается много экземпляров фильтра u32, в этом как раз и кроется проблема.

Согласно документации

tc filter add dev IF [ protocol PROTO ]

[ (preference|priority) PRIO ]

[ parent CBQ ]

 

The protocol field describes protocol that the filter will be applied to. We will only discuss case of ip protocol. The preference field (priority can be used alternatively) sets the priority of currently defined filter.

так вот, приоритет у меня задаётся, на один ip вешается 4 фильтра, с prio [1-4]

Примерно так

filter add dev eth2 parent 1:0 protocol ip prio 1 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 match ip protocol 1 0xff flowid 1:d72

filter add dev eth2 parent 1:0 protocol ip prio 2 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 match ip protocol 6 0xff match ip sport 0 0xe000 flowid 1:d73

filter add dev eth2 parent 1:0 protocol ip prio 3 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 match ip protocol 6 0xff match ip sport 65534 0xffff flowid 1:d74

filter add dev eth2 parent 1:0 protocol ip prio 4 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 flowid 1:d75

Share this post


Link to post
Share on other sites

Просто сделайте у всех правил pref 10, если нужно будет в результате изменить приоритет - разберёмся. И выложите после дамп tc -s -d. Увы документация на подсистему контроля трафика ядра очень поверхностна и часто не отображает реального положения вещей.

Share this post


Link to post
Share on other sites

Хорошо, попробую в понедельник. Спасибо за помощь.

Share this post


Link to post
Share on other sites

Есть еще вариант размапить вот так:

ipset create shape-skb4 nethash family inet skbinfo

ipset add shape-skb4 192.168.0.5 skbprio 1:11

iptables -t mangle -I POSTROUTING -o vlan* -j SET --map-set shape-skb4 dst --map-prio

Но лично я на производительность пока еще не тестировал.

Share this post


Link to post
Share on other sites

Выражаю сердечную благодарность SABRE, за участие и помощь. От денежного вознаграждения отказался. Вся проблема была в, цитирую:

вместо инициализации одного фильтра u32 без pref инициализировалось огромное количество фильтров типа u32 с разными приоритетами
и при классификации трафика они переключались между собой. Параметр pref задает приоритет фильтров (как вы знаете их 
большое количество - u32, flow, fwmark и т.д) и вместо использования одного их была куча

Установка приоритета в одинаковое значение для всех фильтров снизило нагрузку в 3 раза. Кто столкнётся - имейте ввиду.

Share this post


Link to post
Share on other sites

Добрый день, дабы не плодить темы задам более опытным гражданам вопрос тут.

 

Есть Linux Soft router (да да)

 

Intel® Xeon® CPU E5645 @ 2.40GHz

RAM 32Gb

OS: Ubuntu 12.04.5

Карта: Intel Corporation 82599EB SFI/SFP+ Network Connection (rev 01) (двух головая)

драйвер карты ixgbe version: 4.4.6 (драйвер с сайта intel собран)

ядро 3.8.0-44-generic

 

Задачи у него стандартные: Routing+NAT

NAT порядка 500 правил (режем серую сеть по /24 и натим во внешний адрес)

входящего трафика 2.9 2.8 Gbit/s исходящего около 500 мегабит +-

 

conntrack кол-во записей держится в районе 300к 400к каких то перекосов (абонентов с кучей записей нет)

 

net.netfilter.nf_conntrack_acct = 0
net.netfilter.nf_conntrack_buckets = 1048576
net.netfilter.nf_conntrack_checksum = 1
net.netfilter.nf_conntrack_events = 1
net.netfilter.nf_conntrack_events_retry_timeout = 15
net.netfilter.nf_conntrack_expect_max = 256
net.netfilter.nf_conntrack_generic_timeout = 60
net.netfilter.nf_conntrack_helper = 1
net.netfilter.nf_conntrack_icmp_timeout = 1
net.netfilter.nf_conntrack_log_invalid = 0
net.netfilter.nf_conntrack_max = 6553600
net.netfilter.nf_conntrack_tcp_be_liberal = 0
net.netfilter.nf_conntrack_tcp_loose = 0
net.netfilter.nf_conntrack_tcp_max_retrans = 3
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 20
net.netfilter.nf_conntrack_tcp_timeout_established = 90
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 30
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 30
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 15
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 40
net.netfilter.nf_conntrack_timestamp = 0
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 45

 

Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

 

Прерывания руками распределены равномерно на каждое ядро

Загрузка проца в районе 65-70% вечером что мне кажется много (ошибаюсь ?) Хотелось бы услушать какие то рекомендации может.

Share this post


Link to post
Share on other sites

Добрый день, дабы не плодить темы задам более опытным гражданам вопрос тут.

 

Есть Linux Soft router (да да)

 

Intel® Xeon® CPU E5645 @ 2.40GHz

RAM 32Gb

OS: Ubuntu 12.04.5

Карта: Intel Corporation 82599EB SFI/SFP+ Network Connection (rev 01) (двух головая)

драйвер карты ixgbe version: 4.4.6 (драйвер с сайта intel собран)

ядро 3.8.0-44-generic

 

Задачи у него стандартные: Routing+NAT

NAT порядка 500 правил (режем серую сеть по /24 и натим во внешний адрес)

входящего трафика 2.9 2.8 Gbit/s исходящего около 500 мегабит +-

 

conntrack кол-во записей держится в районе 300к 400к каких то перекосов (абонентов с кучей записей нет)

 

net.netfilter.nf_conntrack_acct = 0
net.netfilter.nf_conntrack_buckets = 1048576
net.netfilter.nf_conntrack_checksum = 1
net.netfilter.nf_conntrack_events = 1
net.netfilter.nf_conntrack_events_retry_timeout = 15
net.netfilter.nf_conntrack_expect_max = 256
net.netfilter.nf_conntrack_generic_timeout = 60
net.netfilter.nf_conntrack_helper = 1
net.netfilter.nf_conntrack_icmp_timeout = 1
net.netfilter.nf_conntrack_log_invalid = 0
net.netfilter.nf_conntrack_max = 6553600
net.netfilter.nf_conntrack_tcp_be_liberal = 0
net.netfilter.nf_conntrack_tcp_loose = 0
net.netfilter.nf_conntrack_tcp_max_retrans = 3
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 20
net.netfilter.nf_conntrack_tcp_timeout_established = 90
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 30
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 30
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 15
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 40
net.netfilter.nf_conntrack_timestamp = 0
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 45

 

Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

 

Прерывания руками распределены равномерно на каждое ядро

Загрузка проца в районе 65-70% вечером что мне кажется много (ошибаюсь ?) Хотелось бы услушать какие то рекомендации может.

Получается у вас один проц с 6-ю ядрами?

У меня проц Intel® Xeon® CPU E5-2430 0 @ 2.20GHz - 2шт (12 ядер всего) . Карта как у вас 82599. Rouning и nat. Ядро 3.13.0-40-generic. Трафик до 5гбит на вход и 1.5 гбит на выход.

В час пик по 55% на ядро.

 

Скприт тюнинга у меня.

 


#!/bin/bash

sysctl net.netfilter.nf_conntrack_max=1966080 


   echo 16384 >/proc/sys/net/ipv4/neigh/default/gc_thresh1
   echo 32768 >/proc/sys/net/ipv4/neigh/default/gc_thresh2
   echo 32768 >/proc/sys/net/ipv4/neigh/default/gc_thresh3

ip link show | grep " eth[0-9]: " | awk '{print $2}' | sed 's/://g' | sed 's/eth//' | while read int
do

ifconfig eth$int  txqueuelen 10000

ethtool -G eth$int tx 4096
ethtool -G eth$int rx 4096

ethtool -K eth$int tso off  gso off gro off lro off
#flow control disable
ethtool -A eth$int autoneg off rx off tx off
done


#Sysctl Tuning
sysctl net.ipv4.neigh.default.gc_thresh1=16384
sysctl net.ipv4.neigh.default.gc_thresh2=32768
sysctl net.ipv4.neigh.default.gc_thresh3=32768
sysctl net.ipv4.ip_local_port_range="1024 65000"
sysctl net.netfilter.nf_conntrack_generic_timeout=120
sysctl net.ipv4.conf.default.rp_filter=0
sysctl net.ipv4.conf.all.rp_filter=0
sysctl net.ipv4.tcp_sack=0
sysctl net.ipv4.tcp_timestamps=0

sysctl net.core.rmem_max=524287
sysctl net.core.wmem_max=524287
sysctl net.core.rmem_default=524287
sysctl net.core.wmem_default=524287
sysctl net.core.optmem_max=524287
sysctl net.core.netdev_max_backlog=300000

sysctl net.ipv4.tcp_rmem="10000000 10000000 10000000"
sysctl net.ipv4.tcp_wmem="10000000 10000000 10000000"
sysctl net.ipv4.tcp_mem="10000000 10000000 10000000"
sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_sent
sysctl net.netfilter.nf_conntrack_generic_timeout=60
sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_sent=15
#sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_sent2=15
sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_recv=30
sysctl net.netfilter.nf_conntrack_tcp_timeout_established=900
sysctl net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30
sysctl net.netfilter.nf_conntrack_tcp_timeout_close_wait=20
sysctl net.netfilter.nf_conntrack_tcp_timeout_last_ack=30
sysctl net.netfilter.nf_conntrack_tcp_timeout_time_wait=30
sysctl net.netfilter.nf_conntrack_tcp_timeout_close=10
sysctl net.netfilter.nf_conntrack_udp_timeout=30
sysctl net.netfilter.nf_conntrack_udp_timeout_stream=45
sysctl net.netfilter.nf_conntrack_icmp_timeout=10

post-88211-076369900 1480065818_thumb.png

Edited by roysbike

Share this post


Link to post
Share on other sites

Два раза дублируется gc_thresh ?

 

net.netfilter.nf_conntrack_tcp_timeout_syn_sent

- пусто.

 

Еще можно на 3.13 подкрутить

net.netfilter.nf_conntrack_events_retry_timeout = 15

 

rp_filter разве на брасе отключают?

Edited by hsvt

Share this post


Link to post
Share on other sites

Два раза дублируется gc_thresh ?

 

net.netfilter.nf_conntrack_tcp_timeout_syn_sent - пусто.

 

Еще можно на 3.13 подкрутить

net.netfilter.nf_conntrack_events_retry_timeout = 15

 

rp_filter разве на брасе отключают?

У меня заходит 2 провайдера и нет BGP. Балансирую с помощью iptables и ip rule

Edited by roysbike

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now