sirmax Опубликовано 25 ноября, 2014 · Жалоба Доброго дня! Внезапно выросла нагрузка на роутере: perf top 33.64% [kernel] [k] __netif_receive_skb_core 32.87% [kernel] [k] dev_queue_xmit_nit ethtool -i eth4 driver: ixgbe version: 3.19.1-k firmware-version: 0x61c10001 bus-info: 0000:05:00.0 supports-statistics: yes supports-test: yes supports-eeprom-access: yes supports-register-dump: yes supports-priv-flags: no На сервере около 300 вланов, шейперов и ната практически нет. По сути почти голый роутинг. Помоветуйте в какую сторону копать? Что проверить? Беглое гугление ничего не дало. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 25 ноября, 2014 · Жалоба По одновленным данным - серевер перезагружался. но это и все. больше вроде бы никто ничего не менял Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 25 ноября, 2014 · Жалоба не волнуйтесь, NSA загрузило свой payload. А если серьезно - может что-то в boot флагах было или версия ядра ранее была другой? Или может ядро апнулось сами, при апдейте пакетов. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 26 ноября, 2014 · Жалоба не волнуйтесь, NSA загрузило свой payload. А если серьезно - может что-то в boot флагах было или версия ядра ранее была другой? Или может ядро апнулось сами, при апдейте пакетов. В том то и дело что вроде бы ничего не менялось ( Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 26 ноября, 2014 (изменено) · Жалоба Тут вариантов очень много. Если ничего не менялось в софте, значит изменилось снаружи. Если есть автоматизированные скрипты ( например добавление вланов ) возможно они дали сбой и нагенерили кучу хлама. Вырос трафик? DDoS? По двум приведенным строчкам из перфа не понятно что случилось и тем более что изменилось в неизвестной системе. Изменено 26 ноября, 2014 пользователем Dark_Angel Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 26 ноября, 2014 · Жалоба Dark_Angel Сформулирую по другому - я не знаю и пока не могу найти что изменилось. Потому буду рад советам что и как подебагать и в какую сторону смотреть. Траффик не вырос, вланов не добавилось - проверил. Т.е. на первый взгляд ничего не изменилось. Возможно было что-то натюнено и это что-то ушло с ребутом, потому вопрос - что попробовать потюнить? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 26 ноября, 2014 · Жалоба Боюсь в ситуации как ваша, надо всё начинать разбирать сначала, т.е. показывать параметры системы, полный перф и другую информацию которая поможет понять как сделать хорошо. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dimka88 Опубликовано 26 ноября, 2014 · Жалоба А с прерываниями все нормально? С какими параметрами ixgbe загрузился? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 26 ноября, 2014 · Жалоба Боюсь в ситуации как ваша, надо всё начинать разбирать сначала, т.е. показывать параметры системы, полный перф и другую информацию которая поможет понять как сделать хорошо. Хм, дык нечего особо показывать-то. uname -a Linux 3.16.1-1.el6.elrepo.x86_64 #1 SMP Thu Aug 14 13:46:29 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux 05:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter X520-2 Flags: bus master, fast devsel, latency 0, IRQ 42 Memory at f9680000 (64-bit, prefetchable) [size=512K] I/O ports at e020 [size=32] Memory at f9704000 (64-bit, prefetchable) [size=16K] Capabilities: [40] Power Management version 3 Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+ Capabilities: [70] MSI-X: Enable+ Count=64 Masked- Capabilities: [a0] Express Endpoint, MSI 00 Capabilities: [100] Advanced Error Reporting Capabilities: [140] Device Serial Number 90-e2-ba-ff-ff-4a-d3-3c Capabilities: [150] Alternative Routing-ID Interpretation (ARI) Capabilities: [160] Single Root I/O Virtualization (SR-IOV) Kernel driver in use: ixgbe 05:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter X520-2 Flags: bus master, fast devsel, latency 0, IRQ 45 Memory at f9600000 (64-bit, prefetchable) [size=512K] I/O ports at e000 [size=32] Memory at f9700000 (64-bit, prefetchable) [size=16K] Capabilities: [40] Power Management version 3 Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+ Capabilities: [70] MSI-X: Enable+ Count=64 Masked- Capabilities: [a0] Express Endpoint, MSI 00 Capabilities: [100] Advanced Error Reporting Capabilities: [140] Device Serial Number 90-e2-ba-ff-ff-4a-d3-3c Capabilities: [150] Alternative Routing-ID Interpretation (ARI) Capabilities: [160] Single Root I/O Virtualization (SR-IOV) Kernel driver in use: ixgbe conntrack -L | wc -l 4622 ethtool -S eth4 | grep -v ': 0' NIC statistics: rx_packets: 1179723073 tx_packets: 1175907528 rx_bytes: 1053135272517 tx_bytes: 1052413435002 rx_pkts_nic: 1179293290 tx_pkts_nic: 1175481690 rx_bytes_nic: 1062030634750 tx_bytes_nic: 1061691652606 lsc_int: 10 multicast: 395873 broadcast: 210180 fdir_match: 38555211 fdir_miss: 1133799521 fdir_overflow: 121 rx_missed_errors: 1600 tx_restart_queue: 28 tx_flow_control_xon: 6 tx_flow_control_xoff: 968 rx_csum_offload_errors: 1147 tx_queue_0_packets: 246647978 tx_queue_0_bytes: 221817614874 tx_queue_1_packets: 232433061 tx_queue_1_bytes: 196096651757 tx_queue_2_packets: 249276095 tx_queue_2_bytes: 218975206664 tx_queue_3_packets: 239667684 tx_queue_3_bytes: 215043927353 tx_queue_4_packets: 206799120 tx_queue_4_bytes: 200309475377 tx_queue_5_packets: 1083590 tx_queue_5_bytes: 170558977 rx_queue_0_packets: 212209733 rx_queue_0_bytes: 190327506664 rx_queue_1_packets: 189224376 rx_queue_1_bytes: 158337718243 rx_queue_2_packets: 199146939 rx_queue_2_bytes: 170014528632 rx_queue_3_packets: 191494193 rx_queue_3_bytes: 171227087645 rx_queue_4_packets: 208129799 rx_queue_4_bytes: 200487754886 rx_queue_5_packets: 179518033 rx_queue_5_bytes: 162740676447 ethtool -k eth4 Features for eth4: rx-checksumming: on tx-checksumming: on tx-checksum-ipv4: on tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: on tx-checksum-fcoe-crc: on [fixed] tx-checksum-sctp: on scatter-gather: on tx-scatter-gather: on tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: on tx-tcp-segmentation: on tx-tcp-ecn-segmentation: off [fixed] tx-tcp6-segmentation: on udp-fragmentation-offload: off [fixed] generic-segmentation-offload: on generic-receive-offload: on large-receive-offload: off rx-vlan-offload: on tx-vlan-offload: on ntuple-filters: on receive-hashing: on highdma: on [fixed] rx-vlan-filter: off vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: on [fixed] tx-gre-segmentation: off [fixed] tx-ipip-segmentation: off [fixed] tx-sit-segmentation: off [fixed] tx-udp_tnl-segmentation: off [fixed] tx-mpls-segmentation: off [fixed] fcoe-mtu: off [fixed] tx-nocache-copy: off loopback: off [fixed] rx-fcs: off [fixed] rx-all: off tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] l2-fwd-offload: off busy-poll: on [fixed] ifconfig | grep 'eth4.' | wc -l 315 ethtool -g eth4 Ring parameters for eth4: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 1024 RX Mini: 0 RX Jumbo: 0 TX: 1024 ethtool -a eth4 Pause parameters for eth4: Autonegotiate: off RX: off TX: off Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nuclearcat Опубликовано 26 ноября, 2014 · Жалоба tcp-segmentation-offload: on generic-segmentation-offload: on generic-receive-offload: on IMHO на роутере это плохо Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 26 ноября, 2014 · Жалоба tcp-segmentation-offload: on generic-segmentation-offload: on generic-receive-offload: on IMHO на роутере это плохо Выключил: ethtool -k eth4 | grep offload tcp-segmentation-offload: off udp-fragmentation-offload: off [fixed] generic-segmentation-offload: off generic-receive-offload: off large-receive-offload: off rx-vlan-offload: on tx-vlan-offload: on l2-fwd-offload: off Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g3fox Опубликовано 26 ноября, 2014 · Жалоба mpstat -P ALL 1 10 cat /proc/interrupts Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 26 ноября, 2014 · Жалоба mpstat -P ALL 1 10 cat /proc/interrupts mpstat -P ALL 1 10 Linux 3.16.1-1.el6.elrepo.x86_64 11/26/2014 _x86_64_ (6 CPU) 02:45:20 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:21 PM all 5.84 0.00 13.37 0.00 0.00 66.29 0.00 0.00 14.50 02:45:21 PM 0 1.11 0.00 0.00 0.00 0.00 80.00 0.00 0.00 18.89 02:45:21 PM 1 0.00 0.00 0.00 0.00 0.00 95.60 0.00 0.00 4.40 02:45:21 PM 2 0.00 0.00 0.00 0.00 0.00 82.93 0.00 0.00 17.07 02:45:21 PM 3 0.00 0.00 0.00 0.00 0.00 90.80 0.00 0.00 9.20 02:45:21 PM 4 0.00 0.00 0.00 0.00 0.00 56.58 0.00 0.00 43.42 02:45:21 PM 5 30.00 0.00 70.00 0.00 0.00 0.00 0.00 0.00 0.00 02:45:21 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:22 PM all 6.15 0.00 13.22 0.00 0.00 65.18 0.00 0.00 15.46 02:45:22 PM 0 0.00 0.00 1.15 0.00 0.00 80.46 0.00 0.00 18.39 02:45:22 PM 1 1.20 0.00 0.00 0.00 0.00 83.13 0.00 0.00 15.66 02:45:22 PM 2 0.00 0.00 0.00 0.00 0.00 86.21 0.00 0.00 13.79 02:45:22 PM 3 0.00 0.00 0.00 0.00 0.00 92.31 0.00 0.00 7.69 02:45:22 PM 4 1.11 0.00 1.11 0.00 0.00 58.89 0.00 0.00 38.89 02:45:22 PM 5 31.31 0.00 68.69 0.00 0.00 0.00 0.00 0.00 0.00 02:45:22 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:23 PM all 5.80 0.00 14.12 0.00 0.00 62.67 0.00 0.00 17.41 02:45:23 PM 0 0.00 0.00 0.00 0.00 0.00 78.31 0.00 0.00 21.69 02:45:23 PM 1 0.00 0.00 1.20 0.00 0.00 81.93 0.00 0.00 16.87 02:45:23 PM 2 1.23 0.00 0.00 0.00 0.00 69.14 0.00 0.00 29.63 02:45:23 PM 3 0.00 0.00 0.00 0.00 0.00 91.95 0.00 0.00 8.05 02:45:23 PM 4 0.00 0.00 0.00 0.00 0.00 67.47 0.00 0.00 32.53 02:45:23 PM 5 28.00 0.00 72.00 0.00 0.00 0.00 0.00 0.00 0.00 02:45:23 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:24 PM all 6.26 0.00 13.70 0.39 0.00 61.45 0.00 0.00 18.20 02:45:24 PM 0 1.23 0.00 1.23 0.00 0.00 75.31 0.00 0.00 22.22 02:45:24 PM 1 0.00 0.00 0.00 0.00 0.00 78.05 0.00 0.00 21.95 02:45:24 PM 2 0.00 0.00 1.30 2.60 0.00 68.83 0.00 0.00 27.27 02:45:24 PM 3 0.00 0.00 0.00 0.00 0.00 95.60 0.00 0.00 4.40 02:45:24 PM 4 1.20 0.00 0.00 0.00 0.00 60.24 0.00 0.00 38.55 02:45:24 PM 5 31.00 0.00 69.00 0.00 0.00 0.00 0.00 0.00 0.00 02:45:24 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:25 PM all 6.46 0.00 13.70 0.00 0.00 57.93 0.00 0.00 21.92 02:45:25 PM 0 0.00 0.00 0.00 0.00 0.00 88.24 0.00 0.00 11.76 02:45:25 PM 1 0.00 0.00 0.00 0.00 0.00 73.97 0.00 0.00 26.03 02:45:25 PM 2 1.18 0.00 0.00 0.00 0.00 70.59 0.00 0.00 28.24 02:45:25 PM 3 0.00 0.00 0.00 0.00 0.00 82.72 0.00 0.00 17.28 02:45:25 PM 4 0.00 0.00 1.18 0.00 0.00 45.88 0.00 0.00 52.94 02:45:25 PM 5 32.67 0.00 67.33 0.00 0.00 0.00 0.00 0.00 0.00 02:45:25 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:26 PM all 6.57 0.00 13.94 0.00 0.00 61.75 0.00 0.00 17.73 02:45:26 PM 0 0.00 0.00 0.00 0.00 0.00 82.28 0.00 0.00 17.72 02:45:26 PM 1 0.00 0.00 0.00 0.00 0.00 85.00 0.00 0.00 15.00 02:45:26 PM 2 0.00 0.00 1.28 0.00 0.00 70.51 0.00 0.00 28.21 02:45:26 PM 3 0.00 0.00 1.19 0.00 0.00 86.90 0.00 0.00 11.90 02:45:26 PM 4 1.27 0.00 0.00 0.00 0.00 60.76 0.00 0.00 37.97 02:45:26 PM 5 31.00 0.00 69.00 0.00 0.00 0.00 0.00 0.00 0.00 02:45:26 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:27 PM all 7.13 0.00 13.07 0.00 0.00 62.18 0.00 0.00 17.62 02:45:27 PM 0 0.00 0.00 0.00 0.00 0.00 88.24 0.00 0.00 11.76 02:45:27 PM 1 1.19 0.00 0.00 0.00 0.00 76.19 0.00 0.00 22.62 02:45:27 PM 2 0.00 0.00 0.00 0.00 0.00 72.22 0.00 0.00 27.78 02:45:27 PM 3 0.00 0.00 0.00 0.00 0.00 92.94 0.00 0.00 7.06 02:45:27 PM 4 0.00 0.00 1.23 0.00 0.00 55.56 0.00 0.00 43.21 02:45:27 PM 5 35.35 0.00 64.65 0.00 0.00 0.00 0.00 0.00 0.00 02:45:27 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:28 PM all 12.52 0.00 6.83 0.00 0.00 67.36 0.00 0.00 13.28 02:45:28 PM 0 0.00 0.00 0.00 0.00 0.00 89.41 0.00 0.00 10.59 02:45:28 PM 1 0.00 0.00 1.19 0.00 0.00 85.71 0.00 0.00 13.10 02:45:28 PM 2 0.00 0.00 1.25 0.00 0.00 76.25 0.00 0.00 22.50 02:45:28 PM 3 0.00 0.00 0.00 0.00 0.00 99.00 0.00 0.00 1.00 02:45:28 PM 4 0.00 0.00 1.25 0.00 0.00 58.75 0.00 0.00 40.00 02:45:28 PM 5 65.00 0.00 35.00 0.00 0.00 0.00 0.00 0.00 0.00 02:45:28 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:29 PM all 6.68 0.00 11.25 0.00 0.00 72.93 0.00 0.00 9.14 02:45:29 PM 0 1.11 0.00 1.11 0.00 0.00 82.22 0.00 0.00 15.56 02:45:29 PM 1 0.00 0.00 0.00 0.00 0.00 98.97 0.00 0.00 1.03 02:45:29 PM 2 0.00 0.00 0.00 0.00 0.00 90.43 0.00 0.00 9.57 02:45:29 PM 3 0.00 0.00 0.00 0.00 0.00 97.96 0.00 0.00 2.04 02:45:29 PM 4 1.11 0.00 0.00 0.00 0.00 71.11 0.00 0.00 27.78 02:45:29 PM 5 37.00 0.00 63.00 0.00 0.00 0.00 0.00 0.00 0.00 02:45:29 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 02:45:30 PM all 6.78 0.00 12.64 0.00 0.00 68.13 0.00 0.00 12.45 02:45:30 PM 0 0.00 0.00 1.18 0.00 0.00 80.00 0.00 0.00 18.82 02:45:30 PM 1 0.00 0.00 0.00 0.00 0.00 92.13 0.00 0.00 7.87 02:45:30 PM 2 0.00 0.00 0.00 0.00 0.00 93.33 0.00 0.00 6.67 02:45:30 PM 3 0.00 0.00 0.00 0.00 0.00 91.49 0.00 0.00 8.51 02:45:30 PM 4 1.16 0.00 1.16 0.00 0.00 59.30 0.00 0.00 38.37 02:45:30 PM 5 34.00 0.00 66.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle Average: all 7.02 0.00 12.56 0.04 0.00 64.73 0.00 0.00 15.66 Average: 0 0.35 0.00 0.47 0.00 0.00 82.47 0.00 0.00 16.71 Average: 1 0.24 0.00 0.24 0.00 0.00 85.58 0.00 0.00 13.95 Average: 2 0.24 0.00 0.36 0.24 0.00 78.57 0.00 0.00 20.58 Average: 3 0.00 0.00 0.11 0.00 0.00 92.43 0.00 0.00 7.46 Average: 4 0.60 0.00 0.60 0.00 0.00 59.54 0.00 0.00 39.26 Average: 5 35.54 0.00 64.46 0.00 0.00 0.00 0.00 0.00 0.00 То что 2 очереди прибиты к одному процу - "нормально". Т.е. так и задумано. CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 0: 70 0 0 0 0 0 IR-IO-APIC-edge timer 1: 3 0 0 0 0 0 IR-IO-APIC-edge i8042 8: 1 0 0 0 0 0 IR-IO-APIC-edge rtc0 9: 0 0 0 0 0 0 IR-IO-APIC-fasteoi acpi 12: 4 0 0 0 0 0 IR-IO-APIC-edge i8042 16: 72 0 0 0 0 0 IR-IO-APIC-fasteoi ehci_hcd:usb1 18: 0 0 0 0 0 0 IR-IO-APIC-fasteoi i801_smbus 23: 37 0 0 0 0 0 IR-IO-APIC-fasteoi ehci_hcd:usb2 64: 0 0 0 0 0 0 DMAR_MSI-edge dmar0 65: 2029270 0 0 0 0 0 IR-PCI-MSI-edge isci-msix 66: 0 0 0 0 0 0 IR-PCI-MSI-edge isci-msix 67: 0 0 0 0 0 0 IR-PCI-MSI-edge ahci 96: 174183826 0 0 0 0 0 IR-PCI-MSI-edge eth4-TxRx-0 97: 54797 155493847 0 0 0 0 IR-PCI-MSI-edge eth4-TxRx-1 98: 46984 0 156660015 0 0 0 IR-PCI-MSI-edge eth4-TxRx-2 99: 43920 0 0 156199181 0 0 IR-PCI-MSI-edge eth4-TxRx-3 100: 46280 0 0 0 170039292 0 IR-PCI-MSI-edge eth4-TxRx-4 101: 129008220 0 0 0 0 0 IR-PCI-MSI-edge eth4-TxRx-5 102: 131 0 0 0 0 0 IR-PCI-MSI-edge eth4 110: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix 111: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix 112: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix 113: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix 114: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix 115: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix 116: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix 117: 2 0 0 0 0 0 IR-PCI-MSI-edge ioat-msix NMI: 226979 202030 207349 191355 187562 141384 Non-maskable interrupts LOC: 8666173 8758698 8554010 8763460 8148091 44814877 Local timer interrupts SPU: 0 0 0 0 0 0 Spurious interrupts PMI: 226979 202030 207349 191355 187562 141384 Performance monitoring interrupts IWI: 38 36 40 36 35 41 IRQ work interrupts RTR: 0 0 0 0 0 0 APIC ICR read retries RES: 1790296 1626746 1616917 1580606 1670227 1066725 Rescheduling interrupts CAL: 2278 36302288 38326284 35661750 2398 1752 Function call interrupts TLB: 2947 3336 3716 3601 3961 4462 TLB shootdowns TRM: 0 0 0 0 0 0 Thermal event interrupts THR: 0 0 0 0 0 0 Threshold APIC interrupts MCE: 0 0 0 0 0 0 Machine check exceptions MCP: 51 51 51 51 51 51 Machine check polls THR: 0 0 0 0 0 0 Hypervisor callback interrupts Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 26 ноября, 2014 · Жалоба А какой трафик и какая машина? Ну и перф топ полностью покажите. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 26 ноября, 2014 · Жалоба Траффика до 2 гиг. всмысле 2 на вход 2 на выход. Входит и выходит :) через один 10-гиг порт со стопкой вланов. 31.46% [kernel] [k] dev_queue_xmit_nit 31.04% [kernel] [k] __netif_receive_skb_core 2.78% [kernel] [k] _raw_spin_lock_irqsave 2.18% [kernel] [k] rb_prev 1.95% [kernel] [k] ipt_do_table 0.99% [kernel] [k] clflush_cache_range 0.75% [kernel] [k] dev_ioctl 0.75% [kernel] [k] inet_gifconf 0.74% [kernel] [k] fib_table_lookup 0.60% [kernel] [k] find_iova 0.55% [kernel] [k] dma_pte_clear_level 0.47% [kernel] [k] __alloc_and_insert_iova_range 0.43% [kernel] [k] __domain_mapping 0.41% [kernel] [k] memcpy 0.39% [kernel] [k] _raw_spin_lock 0.36% bash [.] 0x000000000003c8c5 0.30% [kernel] [k] kmem_cache_alloc 0.29% [kernel] [k] copy_user_enhanced_fast_string 0.29% [kernel] [k] check_leaf 0.28% [kernel] [k] memset 0.27% [kernel] [k] ip_finish_output 0.26% [kernel] [k] _raw_spin_unlock_irqrestore 0.26% [kernel] [k] ixgbe_fetch_rx_buffer 0.24% libnetsnmp.so.20.0.0 [.] netsnmp_compare_netsnmp_index 0.24% [kernel] [k] nf_iterate 0.23% [kernel] [k] kmem_cache_free 0.23% [kernel] [k] __sk_run_filter 0.21% libc-2.12.so [.] _int_malloc 0.19% [kernel] [k] page_fault 0.18% libc-2.12.so [.] __strcmp_sse42 0.18% libperl.so [.] Perl_yyparse 0.17% libnetsnmp.so.20.0.0 [.] snmp_oid_compare 0.17% [kernel] [k] ixgbe_tx_map 0.17% [kernel] [k] vlan_do_receive 0.17% [kernel] [k] inet6_fill_ifaddr 0.17% libperl.so [.] Perl_yylex 0.17% [kernel] [k] ixgbe_clean_rx_irq 0.16% libc-2.12.so [.] memcpy 0.15% [kernel] [k] __nla_reserve 0.15% [kernel] [k] flush_unmaps 0.14% [kernel] [k] strcpy 0.13% [kernel] [k] __dev_queue_xmit 0.13% [kernel] [k] pfn_to_dma_pte 0.13% [kernel] [k] get_counters 0.12% [kernel] [k] find_first_bit 0.12% [kernel] [k] iova_get_pad_size 0.11% [kernel] [k] __local_bh_enable_ip 0.11% [kernel] [k] ip_rcv_finish 0.11% [kernel] [k] ixgbe_xmit_frame_ring 0.11% [kernel] [k] ip_rcv 0.11% [kernel] [k] inet_dump_ifaddr 0.11% [kernel] [k] ip_forward 0.11% [kernel] [k] __switch_to Ядер всего 6. cat /proc/cpuinfo processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 62 model name : Intel(R) Xeon(R) CPU E5-1650 v2 @ 3.50GHz stepping : 4 microcode : 0x415 cpu MHz : 3599.941 cache size : 12288 KB physical id : 0 siblings : 6 core id : 0 cpu cores : 6 apicid : 0 initial apicid : 0 fpu : yes fpu_exception : yes cpuid level : 13 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm ida arat epb xsaveopt pln pts dtherm tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms bogomips : 6999.67 clflush size : 64 cache_alignment : 64 address sizes : 46 bits physical, 48 bits virtual power management: Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
telecom Опубликовано 26 ноября, 2014 · Жалоба Разумно было бы повесить IR-PCI-MSI-edge eth4-TxRx-5 на последнее, 5 (считая с 0) ядро, однако там у Вас непонятная нагрузка, причем, под 100%: Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle Average: 5 35.54 0.00 64.46 0.00 0.00 0.00 0.00 0.00 0.00 Что к этому ядру прибито??? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 26 ноября, 2014 · Жалоба telecom На последнем ядре tasksetom прибиты юзерские процессы. потому так и сделано. То что там 100% - вобщем-то нормально и на роутинг влиять не должно Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dark_Angel Опубликовано 26 ноября, 2014 · Жалоба У меня нет вариантов что это. Выглядит как будто неудачный апдейт ядра. Все процессы в топе перфа, кроме 5-ой позиции - это процессы внутри ядра. Надо смотреть исходники, чтобы понять что это. А сколько правил iptables и что они делают? 2Г трафика для такого тазика - это вообще на один зуб. Таким можно и 12-15Г обмолотить. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
telecom Опубликовано 26 ноября, 2014 · Жалоба telecom На последнем ядре tasksetom прибиты юзерские процессы. потому так и сделано. То что там 100% - вобщем-то нормально и на роутинг влиять не должно Как по мне, так больше 50% не нормально. Что там за процессы? Можно их остановить на время??? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
telecom Опубликовано 26 ноября, 2014 · Жалоба У меня нет вариантов что это. Выглядит как будто неудачный апдейт ядра. Все процессы в топе перфа, кроме 5-ой позиции - это процессы внутри ядра. Надо смотреть исходники, чтобы понять что это. Так как это центос 6, это легко посмотреть, а именно дату создания файла /boot/initramfs-..... Если примерно совпадает со временем появления проблем, то да, неудачный апдейт ядра. Вообще, я не верю, что "больше вроде бы никто ничего не менял".... 2Г трафика для такого тазика - это вообще на один зуб. Таким можно и 12-15Г обмолотить. +1 В догонку. Я не очень хорошо отношусь к ядру 3.16 На мой взгляд, если хочется свеженького, так уж 3.17 А так 3.14 вполне стабильное ядро. Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 27 ноября, 2014 · Жалоба Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25 Если не жалко можете дать пощупать конфиг от 3.14.25? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
g3fox Опубликовано 27 ноября, 2014 · Жалоба Лишнее ничего не могли прибить на последнее ядро? Откуда там столько sys? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 27 ноября, 2014 · Жалоба Могу дать попробовать оптимизированное под роутинг 2.6.54.25-140.el6.x86_64 - 3.14.25 Если не жалко можете дать пощупать конфиг от 3.14.25? Да мне тоже интересно. Я обновил ядро и драйвер сетевки ночью - пока смотрю что получилось. Вообще, я не верю, что "больше вроде бы никто ничего не менял".... Я тоже не верю в чудеса ) потому - пробую найти что помненялось. Кроме всего прочего - там есть proxy_arp и bgp full view - маршрутов много. Это не должно вроде ни на что влиять но все же кстати ixgbe без шаманства под 3.17 не собирается Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Abram Опубликовано 27 ноября, 2014 · Жалоба кстати ixgbe без шаманства под 3.17 не собирается У последнего igb пришлось править Makefile под 3.16. То же самое? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
sirmax Опубликовано 27 ноября, 2014 · Жалоба кстати ixgbe без шаманства под 3.17 не собирается У последнего igb пришлось править Makefile под 3.16. То же самое? нет diff ixgbe_ethtool.c.back ixgbe_ethtool.c 2884c2884,2885 < hlist_add_after(parent, &input->fdir_node); --- > hlist_add_behind(&input->fdir_node, parent); Но решение я нагуглил Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...