hsvt Опубликовано 1 августа, 2016 · Жалоба В 3.18.37 поломали память. Ставьте 3.18.36 Спасибо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 17 ноября, 2016 · Жалоба Вопрос. top говорит top - 18:47:02 up 134 days, 3:53, 1 user, load average: 0.31, 0.29, 0.25 Tasks: 89 total, 2 running, 87 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.0 us, 0.3 sy, 0.0 ni, 43.1 id, 0.0 wa, 0.0 hi, 56.6 si, 0.0 st KiB Mem: 8107888 total, 1642604 used, 6465284 free, 194820 buffers KiB Swap: 367612 total, 0 used, 367612 free, 241532 cached mpstat -P ALL Linux 3.18.19 (border) 11/17/2016 _x86_64_ (4 CPU) 06:48:01 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 06:48:01 PM all 0.04 0.00 0.27 0.00 0.01 17.80 0.00 0.00 81.88 06:48:01 PM 0 0.04 0.00 0.27 0.00 0.01 16.06 0.00 0.00 83.62 06:48:01 PM 1 0.03 0.00 0.28 0.00 0.01 20.74 0.00 0.00 78.94 06:48:01 PM 2 0.06 0.00 0.27 0.00 0.01 17.45 0.00 0.00 82.22 06:48:01 PM 3 0.04 0.00 0.27 0.00 0.01 16.77 0.00 0.00 82.92 htop Кому верить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 17 ноября, 2016 · Жалоба А по htop кто грузит?? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 17 ноября, 2016 · Жалоба ksoftirq Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 17 ноября, 2016 · Жалоба Трафика сколько? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 17 ноября, 2016 · Жалоба 1,3 гига на 120kpps, NAT + развесистый шейпер на хэш таблицах. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 18 ноября, 2016 · Жалоба 1,3 гига на 120kpps, NAT + развесистый шейпер на хэш таблицах. Всего-то??? Я уж не спрашиваю про прерывания и сетевухи, а камень какой...может пакость какая с сети летит??? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 18 ноября, 2016 · Жалоба Прерывания прибиты ручками grep eth /proc/interrupts 37: 185 0 3683550659 0 IR-PCI-MSI-edge eth2 39: 3378761923 0 0 0 IR-PCI-MSI-edge eth3-TxRx-0 40: 11 2661373899 0 0 IR-PCI-MSI-edge eth3-TxRx-1 41: 11 0 2286664005 0 IR-PCI-MSI-edge eth3-TxRx-2 42: 11 0 0 393875341 IR-PCI-MSI-edge eth3-TxRx-3 43: 4 0 2600846 0 IR-PCI-MSI-edge eth3 44: 2781318421 0 0 0 IR-PCI-MSI-edge eth1-TxRx-0 45: 1537 1921257971 0 0 IR-PCI-MSI-edge eth1-TxRx-1 46: 1535 0 1847948850 0 IR-PCI-MSI-edge eth1-TxRx-2 47: 1737 0 0 2432712391 IR-PCI-MSI-edge eth1-TxRx-3 48: 4 645587 0 0 IR-PCI-MSI-edge eth1 49: 1 0 0 1 IR-PCI-MSI-edge eth0 50: 2545843818 0 0 0 IR-PCI-MSI-edge eth0-rx-0 51: 4 2744180406 0 0 IR-PCI-MSI-edge eth0-rx-1 52: 4 0 2879646725 0 IR-PCI-MSI-edge eth0-rx-2 53: 4 0 0 2598659653 IR-PCI-MSI-edge eth0-rx-3 54: 182377006 0 0 0 IR-PCI-MSI-edge eth0-tx-0 55: 4 354442852 0 0 IR-PCI-MSI-edge eth0-tx-1 56: 4 0 91830624 0 IR-PCI-MSI-edge eth0-tx-2 57: 4 0 0 78784072 IR-PCI-MSI-edge eth0-tx-3 сетевухи хорошие lspci | grep Ether 01:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)01:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) 02:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 02:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 0c) камень тоже grep name /proc/cpuinfo model name : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz model name : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz model name : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz model name : Intel(R) Core(TM) i7-4770 CPU @ 3.40GHz На пакость не похоже, perf вот что кажет 58.36% [kernel] [k] cpu_startup_entry 9.29% [cls_u32] [k] u32_classify 7.97% [kernel] [k] do_raw_spin_lock 2.38% [kernel] [k] tc_classify_compat 1.24% libc-2.13.so [.] 0x88221 1.19% [kernel] [k] irq_entries_start 1.13% [ixgbe] [k] ixgbe_clean_rx_irq 1.08% [kernel] [k] native_write_msr_safe 0.76% perf_3.2 [.] rb_next 0.74% [kernel] [k] fib_rules_lookup 0.69% [nf_conntrack] [k] __nf_ct_ext_find 0.64% [kernel] [k] get_page_from_freelist 0.62% [kernel] [k] __do_softirq 0.62% perf_3.2 [.] 0x41ad3 0.61% [kernel] [k] module_get_kallsym 0.61% [kernel] [k] __netdev_alloc_skb 0.55% [nf_nat_ipv4] [k] nf_nat_ipv4_manip_pkt 0.54% [ixgbe] [k] ixgbe_poll Хотя в моменты ЧНН в топе были do_raw_spin_lock и cpu_startup_entry Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 18 ноября, 2016 · Жалоба А если шейпер отключить?? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 18 ноября, 2016 · Жалоба В загрузке: intel_idle.max_cstate=0 processor.max_cstate=1 И конечно echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor echo performance >/sys/devices/system/cpu/cpu7/cpufreq/scaling_governor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 18 ноября, 2016 · Жалоба Спасибо ребят, шейпер это. Отключил нах - 4-5% на ядро. Вобщем буду переходить на полисер. Просто у нас есть тарифы на 0,5мбит, им будет некомфортно. Ядрокот, это само собой, а перфоманс я поставил в конфиг ядра. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SABRE Опубликовано 18 ноября, 2016 · Жалоба pppoetest Может шейпер неверно работает? Можете показать вывод tc -s -d filter show dev XXX Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 18 ноября, 2016 · Жалоба Вполне может. Нарезаем 4-мя таблицами по октету, затем классифицируем icmp/http,https/остальное sudo /sbin/tc -s -d f show dev eth1 | wc -l 64556 sudo /sbin/tc -s -d f show dev eth1 | head -n58 filter parent 1: protocol ip pref 1 u32 filter parent 1: protocol ip pref 1 u32 fh 80a: ht divisor 1 filter parent 1: protocol ip pref 1 u32 fh 80a::800 order 2048 key ht 80a bkt 0 flowid 1:21 (rule hit 5233482755 success 26145) match 0a0401f7/ffffffff at 16 (success 26145 ) filter parent 1: protocol ip pref 1 u32 fh 80a::801 order 2049 key ht 80a bkt 0 flowid 1:22 (rule hit 5233456321 success 26124) match 0a0401f9/ffffffff at 16 (success 26124 ) filter parent 1: protocol ip pref 1 u32 fh 80a::802 order 2050 key ht 80a bkt 0 flowid 1:23 (rule hit 5233429868 success 0) match 0a0601fa/ffffffff at 16 (success 0 ) filter parent 1: protocol ip pref 1 u32 fh 80a::803 order 2051 key ht 80a bkt 0 flowid 1:24 (rule hit 5233429574 success 0) match 0a0502fa/ffffffff at 16 (success 0 ) filter parent 1: protocol ip pref 1 u32 fh 80a::804 order 2052 key ht 80a bkt 0 flowid 1:25 (rule hit 5233429271 success 2236202) match XXXXXXXX/ffffffff at 16 (success 2236202 ) filter parent 1: protocol ip pref 1 u32 fh 80a::805 order 2053 key ht 80a bkt 0 flowid 1:26 (rule hit 5231192743 success 770) match 0a0601fd/ffffffff at 16 (success 770 ) filter parent 1: protocol ip pref 1 u32 fh 80a::806 order 2054 key ht 80a bkt 0 flowid 1:27 (rule hit 5231191680 success 1645631) match 0a0601fe/ffffffff at 16 (success 1645631 ) filter parent 1: protocol ip pref 1 u32 fh 80a::807 order 2055 key ht 80a bkt 0 flowid 1:28 (rule hit 5229545712 success 1647193) match 0a0301fa/ffffffff at 16 (success 1647193 ) filter parent 1: protocol ip pref 1 u32 fh 80a::808 order 2056 key ht 80a bkt 0 flowid 1:29 (rule hit 5227898197 success 17645302) match 0a0601f9/ffffffff at 16 (success 17645302 ) filter parent 1: protocol ip pref 1 u32 fh 80a::809 order 2057 key ht 80a bkt 0 flowid 1:30 (rule hit 5210252620 success 0) match 0a050102/ffffffff at 16 (success 0 ) filter parent 1: protocol ip pref 1 u32 fh 80a::80a order 2058 key ht 80a bkt 0 flowid 1:31 (rule hit 5210252385 success 0) match 0a050202/ffffffff at 16 (success 0 ) filter parent 1: protocol ip pref 1 u32 fh 80a::80b order 2059 key ht 80a bkt 0 flowid 1:32 (rule hit 5210252042 success 72) match 0a0501fa/ffffffff at 16 (success 72 ) filter parent 1: protocol ip pref 1 u32 fh 80a::80c order 2060 key ht 80a bkt 0 flowid 1:33 (rule hit 5210251656 success 511130) match c0a80002/ffffffff at 16 (success 511130 ) filter parent 1: protocol ip pref 1 u32 fh 80a::80d order 2061 key ht 80a bkt 0 flowid 1:34 (rule hit 5209740209 success 9626181) match 0a0601f8/ffffffff at 16 (success 9626181 ) filter parent 1: protocol ip pref 1 u32 fh 80a::80e order 2062 key ht 80a bkt 0 flowid 1:35 (rule hit 5200113737 success 5990) match XXXXXXXX/ffffffff at 16 (success 5990 ) filter parent 1: protocol ip pref 2 u32 filter parent 1: protocol ip pref 2 u32 fh 80b: ht divisor 1 filter parent 1: protocol ip pref 3 u32 filter parent 1: protocol ip pref 3 u32 fh 80c: ht divisor 1 filter parent 1: protocol ip pref 4 u32 filter parent 1: protocol ip pref 4 u32 fh 80d: ht divisor 1 filter parent 1: protocol ip pref 48636 u32 filter parent 1: protocol ip pref 48636 u32 fh a09: ht divisor 1 filter parent 1: protocol ip pref 48637 u32 filter parent 1: protocol ip pref 48637 u32 fh 562: ht divisor 256 filter parent 1: protocol ip pref 48637 u32 fh 562:41:800 order 2048 key ht 562 bkt 41 flowid 1:39aa (rule hit 0 success 0) match 0a0b6241/ffffffff at 16 (success 0 ) match 00010000/00ff0000 at 8 (success 0 ) filter parent 1: protocol ip pref 48637 u32 fh 562:41:801 order 2049 key ht 562 bkt 41 flowid 1:39ab (rule hit 0 success 0) match 0a0b6241/ffffffff at 16 (success 0 ) match 00060000/00ff0000 at 8 (success 0 ) match 00000000/e0000000 at 20 (success 0 ) filter parent 1: protocol ip pref 48637 u32 fh 562:41:802 order 2050 key ht 562 bkt 41 flowid 1:39ac (rule hit 0 success 0) match 0a0b6241/ffffffff at 16 (success 0 ) match 00060000/00ff0000 at 8 (success 0 ) match fffe0000/ffff0000 at 20 (success 0 ) filter parent 1: protocol ip pref 48637 u32 fh 562:41:803 order 2051 key ht 562 bkt 41 flowid 1:39ad (rule hit 0 success 0) match 0a0b6241/ffffffff at 16 (success 0 ) filter parent 1: protocol ip pref 48637 u32 fh 562:42:800 order 2048 key ht 562 bkt 42 flowid 1:3af4 (rule hit 521075 success 5018) match 0a0b6242/ffffffff at 16 (success 521075 ) match 00010000/00ff0000 at 8 (success 5018 ) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SABRE Опубликовано 18 ноября, 2016 (изменено) · Жалоба А можно чуть больше вывода, чтобы был хотя бы десяток клиентских классов. И в этом выводе нет ни одного правила с hashkey. Изменено 18 ноября, 2016 пользователем SABRE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 18 ноября, 2016 · Жалоба Выкладываю всю портянку. ЗЫ. Может проще выложить то, что скармливается "tc -b" ? Переименуйте в *.7z, архивы форум не разрешает аттачить. log.txt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SABRE Опубликовано 19 ноября, 2016 (изменено) · Жалоба Итак, вкратце - уберите сразу хеширование по первому октету - он у вас всегда 10. Не в этом проблема, но лучше точно станет. Главное - добавляйте все правила tc filter add с параметром pref N, иначе создается много экземпляров фильтра u32, в этом как раз и кроется проблема. Исправьте это - должно стать намного легче, и я бы попросил Вас протестировать разницу между хешированием по сторому октету и двумя незаисимыми фильтрами(академический интерес), но это уже после того как добавите во все фильтры pref 10 (например) Изменено 19 ноября, 2016 пользователем SABRE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 19 ноября, 2016 · Жалоба уберите сразу хеширование по первому октету - он у вас всегда 10. Не всегда, есть несколько диапазонов !10/8, просто я их убрал из конфига. добавляйте все правила tc filter add с параметром pref N, иначе создается много экземпляров фильтра u32, в этом как раз и кроется проблема. Согласно документации tc filter add dev IF [ protocol PROTO ] [ (preference|priority) PRIO ] [ parent CBQ ] The protocol field describes protocol that the filter will be applied to. We will only discuss case of ip protocol. The preference field (priority can be used alternatively) sets the priority of currently defined filter. так вот, приоритет у меня задаётся, на один ip вешается 4 фильтра, с prio [1-4] Примерно так filter add dev eth2 parent 1:0 protocol ip prio 1 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 match ip protocol 1 0xff flowid 1:d72filter add dev eth2 parent 1:0 protocol ip prio 2 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 match ip protocol 6 0xff match ip sport 0 0xe000 flowid 1:d73 filter add dev eth2 parent 1:0 protocol ip prio 3 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 match ip protocol 6 0xff match ip sport 65534 0xffff flowid 1:d74 filter add dev eth2 parent 1:0 protocol ip prio 4 u32 ht 401:41: match ip dst 10.10.1.65/32 hashkey mask 0x0 at 16 flowid 1:d75 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
SABRE Опубликовано 19 ноября, 2016 · Жалоба Просто сделайте у всех правил pref 10, если нужно будет в результате изменить приоритет - разберёмся. И выложите после дамп tc -s -d. Увы документация на подсистему контроля трафика ядра очень поверхностна и часто не отображает реального положения вещей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 19 ноября, 2016 · Жалоба Хорошо, попробую в понедельник. Спасибо за помощь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 20 ноября, 2016 · Жалоба Есть еще вариант размапить вот так: ipset create shape-skb4 nethash family inet skbinfo ipset add shape-skb4 192.168.0.5 skbprio 1:11 iptables -t mangle -I POSTROUTING -o vlan* -j SET --map-set shape-skb4 dst --map-prio Но лично я на производительность пока еще не тестировал. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 20 ноября, 2016 · Жалоба Выражаю сердечную благодарность SABRE, за участие и помощь. От денежного вознаграждения отказался. Вся проблема была в, цитирую: вместо инициализации одного фильтра u32 без pref инициализировалось огромное количество фильтров типа u32 с разными приоритетами и при классификации трафика они переключались между собой. Параметр pref задает приоритет фильтров (как вы знаете их большое количество - u32, flow, fwmark и т.д) и вместо использования одного их была куча Установка приоритета в одинаковое значение для всех фильтров снизило нагрузку в 3 раза. Кто столкнётся - имейте ввиду. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wiredom Опубликовано 25 ноября, 2016 · Жалоба Добрый день, дабы не плодить темы задам более опытным гражданам вопрос тут. Есть Linux Soft router (да да) Intel® Xeon® CPU E5645 @ 2.40GHz RAM 32Gb OS: Ubuntu 12.04.5 Карта: Intel Corporation 82599EB SFI/SFP+ Network Connection (rev 01) (двух головая) драйвер карты ixgbe version: 4.4.6 (драйвер с сайта intel собран) ядро 3.8.0-44-generic Задачи у него стандартные: Routing+NAT NAT порядка 500 правил (режем серую сеть по /24 и натим во внешний адрес) входящего трафика 2.9 2.8 Gbit/s исходящего около 500 мегабит +- conntrack кол-во записей держится в районе 300к 400к каких то перекосов (абонентов с кучей записей нет) net.netfilter.nf_conntrack_acct = 0 net.netfilter.nf_conntrack_buckets = 1048576 net.netfilter.nf_conntrack_checksum = 1 net.netfilter.nf_conntrack_events = 1 net.netfilter.nf_conntrack_events_retry_timeout = 15 net.netfilter.nf_conntrack_expect_max = 256 net.netfilter.nf_conntrack_generic_timeout = 60 net.netfilter.nf_conntrack_helper = 1 net.netfilter.nf_conntrack_icmp_timeout = 1 net.netfilter.nf_conntrack_log_invalid = 0 net.netfilter.nf_conntrack_max = 6553600 net.netfilter.nf_conntrack_tcp_be_liberal = 0 net.netfilter.nf_conntrack_tcp_loose = 0 net.netfilter.nf_conntrack_tcp_max_retrans = 3 net.netfilter.nf_conntrack_tcp_timeout_close = 10 net.netfilter.nf_conntrack_tcp_timeout_close_wait = 20 net.netfilter.nf_conntrack_tcp_timeout_established = 90 net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30 net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30 net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 30 net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 30 net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 15 net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30 net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 40 net.netfilter.nf_conntrack_timestamp = 0 net.netfilter.nf_conntrack_udp_timeout = 30 net.netfilter.nf_conntrack_udp_timeout_stream = 45 Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Прерывания руками распределены равномерно на каждое ядро Загрузка проца в районе 65-70% вечером что мне кажется много (ошибаюсь ?) Хотелось бы услушать какие то рекомендации может. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 25 ноября, 2016 (изменено) · Жалоба Добрый день, дабы не плодить темы задам более опытным гражданам вопрос тут. Есть Linux Soft router (да да) Intel® Xeon® CPU E5645 @ 2.40GHz RAM 32Gb OS: Ubuntu 12.04.5 Карта: Intel Corporation 82599EB SFI/SFP+ Network Connection (rev 01) (двух головая) драйвер карты ixgbe version: 4.4.6 (драйвер с сайта intel собран) ядро 3.8.0-44-generic Задачи у него стандартные: Routing+NAT NAT порядка 500 правил (режем серую сеть по /24 и натим во внешний адрес) входящего трафика 2.9 2.8 Gbit/s исходящего около 500 мегабит +- conntrack кол-во записей держится в районе 300к 400к каких то перекосов (абонентов с кучей записей нет) net.netfilter.nf_conntrack_acct = 0 net.netfilter.nf_conntrack_buckets = 1048576 net.netfilter.nf_conntrack_checksum = 1 net.netfilter.nf_conntrack_events = 1 net.netfilter.nf_conntrack_events_retry_timeout = 15 net.netfilter.nf_conntrack_expect_max = 256 net.netfilter.nf_conntrack_generic_timeout = 60 net.netfilter.nf_conntrack_helper = 1 net.netfilter.nf_conntrack_icmp_timeout = 1 net.netfilter.nf_conntrack_log_invalid = 0 net.netfilter.nf_conntrack_max = 6553600 net.netfilter.nf_conntrack_tcp_be_liberal = 0 net.netfilter.nf_conntrack_tcp_loose = 0 net.netfilter.nf_conntrack_tcp_max_retrans = 3 net.netfilter.nf_conntrack_tcp_timeout_close = 10 net.netfilter.nf_conntrack_tcp_timeout_close_wait = 20 net.netfilter.nf_conntrack_tcp_timeout_established = 90 net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30 net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30 net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 30 net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 30 net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 15 net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30 net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 40 net.netfilter.nf_conntrack_timestamp = 0 net.netfilter.nf_conntrack_udp_timeout = 30 net.netfilter.nf_conntrack_udp_timeout_stream = 45 Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Прерывания руками распределены равномерно на каждое ядро Загрузка проца в районе 65-70% вечером что мне кажется много (ошибаюсь ?) Хотелось бы услушать какие то рекомендации может. Получается у вас один проц с 6-ю ядрами? У меня проц Intel® Xeon® CPU E5-2430 0 @ 2.20GHz - 2шт (12 ядер всего) . Карта как у вас 82599. Rouning и nat. Ядро 3.13.0-40-generic. Трафик до 5гбит на вход и 1.5 гбит на выход. В час пик по 55% на ядро. Скприт тюнинга у меня. #!/bin/bash sysctl net.netfilter.nf_conntrack_max=1966080 echo 16384 >/proc/sys/net/ipv4/neigh/default/gc_thresh1 echo 32768 >/proc/sys/net/ipv4/neigh/default/gc_thresh2 echo 32768 >/proc/sys/net/ipv4/neigh/default/gc_thresh3 ip link show | grep " eth[0-9]: " | awk '{print $2}' | sed 's/://g' | sed 's/eth//' | while read int do ifconfig eth$int txqueuelen 10000 ethtool -G eth$int tx 4096 ethtool -G eth$int rx 4096 ethtool -K eth$int tso off gso off gro off lro off #flow control disable ethtool -A eth$int autoneg off rx off tx off done #Sysctl Tuning sysctl net.ipv4.neigh.default.gc_thresh1=16384 sysctl net.ipv4.neigh.default.gc_thresh2=32768 sysctl net.ipv4.neigh.default.gc_thresh3=32768 sysctl net.ipv4.ip_local_port_range="1024 65000" sysctl net.netfilter.nf_conntrack_generic_timeout=120 sysctl net.ipv4.conf.default.rp_filter=0 sysctl net.ipv4.conf.all.rp_filter=0 sysctl net.ipv4.tcp_sack=0 sysctl net.ipv4.tcp_timestamps=0 sysctl net.core.rmem_max=524287 sysctl net.core.wmem_max=524287 sysctl net.core.rmem_default=524287 sysctl net.core.wmem_default=524287 sysctl net.core.optmem_max=524287 sysctl net.core.netdev_max_backlog=300000 sysctl net.ipv4.tcp_rmem="10000000 10000000 10000000" sysctl net.ipv4.tcp_wmem="10000000 10000000 10000000" sysctl net.ipv4.tcp_mem="10000000 10000000 10000000" sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_sent sysctl net.netfilter.nf_conntrack_generic_timeout=60 sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_sent=15 #sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_sent2=15 sysctl net.netfilter.nf_conntrack_tcp_timeout_syn_recv=30 sysctl net.netfilter.nf_conntrack_tcp_timeout_established=900 sysctl net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30 sysctl net.netfilter.nf_conntrack_tcp_timeout_close_wait=20 sysctl net.netfilter.nf_conntrack_tcp_timeout_last_ack=30 sysctl net.netfilter.nf_conntrack_tcp_timeout_time_wait=30 sysctl net.netfilter.nf_conntrack_tcp_timeout_close=10 sysctl net.netfilter.nf_conntrack_udp_timeout=30 sysctl net.netfilter.nf_conntrack_udp_timeout_stream=45 sysctl net.netfilter.nf_conntrack_icmp_timeout=10 Изменено 25 ноября, 2016 пользователем roysbike Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 25 ноября, 2016 (изменено) · Жалоба Два раза дублируется gc_thresh ? net.netfilter.nf_conntrack_tcp_timeout_syn_sent - пусто. Еще можно на 3.13 подкрутить net.netfilter.nf_conntrack_events_retry_timeout = 15 rp_filter разве на брасе отключают? Изменено 25 ноября, 2016 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 25 ноября, 2016 (изменено) · Жалоба Два раза дублируется gc_thresh ? net.netfilter.nf_conntrack_tcp_timeout_syn_sent - пусто. Еще можно на 3.13 подкрутить net.netfilter.nf_conntrack_events_retry_timeout = 15 rp_filter разве на брасе отключают? У меня заходит 2 провайдера и нет BGP. Балансирую с помощью iptables и ip rule Изменено 25 ноября, 2016 пользователем roysbike Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...