mrsaygo Posted April 4, 2013 Posted April 4, 2013 Был гигабит, стало мало, поставили 10Г. Около 800 чел. за натом и 400 с реальными адресами. (BGP quagga временно потушили, но будет, шейпер на tc тоже - ибо прыгает пинг) lighttpd+php-fastcgi dhcp-server iptables 50-80 правил (около того) ибо есть ipset Ubuntu 12.04 x64 3.5.0-23-generic 2 процессора Intel® Xeon® CPU E5-2640 0 @ 2.50GHz по 6 ядер На входе Intel Corporation 82599EB 10-Gigabit SFI/SFP+ На 3 выхода на которых Nat + alias (для real IP) 1-й Intel Corporation 82599EB 10-Gigabit SFI/SFP+ (самая крупная подсеть) (10.0....) 2-й Intel Corporation I350 Gigabit (172.16...) 3-й Intel Corporation I350 Gigabit (192.168....) Дрова последние от Интела. Трафика 1.5Гб Проблема- раньше запускал intel"овский скрипт set_smp_afinity и все норм распределялось. Сейчас картина такова(включен и сейчас и был hyper threading): Cpu0 : 0.0%us, 0.0%sy, 0.0%ni, 2.0%id, 0.0%wa, 0.0%hi, 98.0%si, 0.0%st Cpu1 : 0.0%us, 0.0%sy, 0.0%ni, 72.0%id, 0.0%wa, 0.0%hi, 28.0%si, 0.0%st Cpu2 : 0.0%us, 0.0%sy, 0.0%ni, 71.8%id, 0.0%wa, 0.0%hi, 28.2%si, 0.0%st Cpu3 : 0.0%us, 0.4%sy, 0.0%ni, 65.5%id, 0.0%wa, 0.0%hi, 34.1%si, 0.0%st Cpu4 : 0.0%us, 0.0%sy, 0.0%ni, 75.7%id, 0.0%wa, 0.0%hi, 24.3%si, 0.0%st Cpu5 : 0.0%us, 0.0%sy, 0.0%ni, 74.6%id, 0.0%wa, 0.0%hi, 25.4%si, 0.0%st Cpu6 : 0.0%us, 0.0%sy, 0.0%ni, 71.7%id, 0.0%wa, 0.0%hi, 28.3%si, 0.0%st Cpu7 : 0.0%us, 0.4%sy, 0.0%ni, 65.9%id, 0.0%wa, 0.0%hi, 33.7%si, 0.0%st Cpu8 : 0.0%us, 0.0%sy, 0.0%ni, 59.1%id, 0.0%wa, 0.0%hi, 40.9%si, 0.0%st Cpu9 : 0.0%us, 0.0%sy, 0.0%ni, 61.8%id, 0.0%wa, 0.0%hi, 38.2%si, 0.0%st Cpu10 : 0.0%us, 0.0%sy, 0.0%ni, 70.3%id, 0.0%wa, 0.0%hi, 29.7%si, 0.0%st Cpu11 : 0.0%us, 0.0%sy, 0.0%ni, 69.0%id, 2.0%wa, 0.0%hi, 29.0%si, 0.0%st Cpu12 : 0.0%us, 0.0%sy, 0.0%ni, 66.5%id, 0.0%wa, 0.0%hi, 33.5%si, 0.0%st Cpu13 : 0.0%us, 0.0%sy, 0.0%ni, 73.9%id, 0.0%wa, 0.0%hi, 26.1%si, 0.0%st Cpu14 : 0.0%us, 0.0%sy, 0.0%ni, 68.5%id, 0.0%wa, 0.0%hi, 31.5%si, 0.0%st Cpu15 : 0.0%us, 0.0%sy, 0.0%ni, 65.3%id, 0.0%wa, 0.0%hi, 34.7%si, 0.0%st Cpu16 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu17 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu18 : 0.0%us, 0.3%sy, 0.0%ni, 99.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu19 : 0.0%us, 0.3%sy, 0.0%ni, 99.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu20 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu21 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu22 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu23 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 8122168k total, 2173452k used, 5948716k free, 120964k buffers Swap: 8343548k total, 0k used, 8343548k free, 528172k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3 root 20 0 0 0 0 S 28 0.0 42:46.96 ksoftirqd/0 78578 root 20 0 0 0 0 S 14 0.0 0:21.60 kworker/0:0 42 root 20 0 0 0 0 S 1 0.0 2:21.82 ksoftirqd/9 34 root 20 0 0 0 0 S 1 0.0 2:01.78 ksoftirqd/7 38 root 20 0 0 0 0 S 1 0.0 2:34.82 ksoftirqd/8 50 root 20 0 0 0 0 S 1 0.0 2:00.56 ksoftirqd/11 54 root 20 0 0 0 0 S 1 0.0 2:24.21 ksoftirqd/12 10 root 20 0 0 0 0 S 0 0.0 1:55.78 ksoftirqd/1 18 root 20 0 0 0 0 S 0 0.0 2:18.54 ksoftirqd/3 22 root 20 0 0 0 0 S 0 0.0 2:05.20 ksoftirqd/4 26 root 20 0 0 0 0 S 0 0.0 1:42.52 ksoftirqd/5 30 root 20 0 0 0 0 S 0 0.0 1:57.48 ksoftirqd/6 46 root 20 0 0 0 0 S 0 0.0 2:16.43 ksoftirqd/10 58 root 20 0 0 0 0 S 0 0.0 2:32.42 ksoftirqd/13 62 root 20 0 0 0 0 S 0 0.0 2:33.24 ksoftirqd/14 66 root 20 0 0 0 0 S 0 0.0 2:24.71 ksoftirqd/15 82 root 20 0 0 0 0 S 0 0.0 1:42.26 ksoftirqd/19 Вопросы: -я так и не понял стоит или нет отключать Hyper Threading? -отчего не работает как раньше set_smp_afinity, вернее работает, распределяет на 16 ядер (логических), но первое ядро все равно грузит. -я так понимаю есть смысл раскидать ручками (это скорее риторический вопрос). Какие еще советы будут для поставленных задач (параметры очередей, размеры выделяемой памяти для коннтрака и проч. вроде как в норме). Возможно стоит что-то покрутить с параметрами загрузки модулей драйверов? Вставить ник Quote
mrsaygo Posted April 5, 2013 Author Posted April 5, 2013 (edited) Вырубил Hyper Threading Новое наблюдение, eth0 и eth4 имеют по одной очереди, это свойство i350 или свойство драйвера? CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 CPU8 CPU9 CPU10 CPU11 0: 60 0 0 0 0 0 0 0 0 0 0 0 IO-APIC-edge timer 8: 1 0 0 0 0 0 0 0 0 0 0 0 IO-APIC-edge rtc0 9: 2 0 0 0 0 0 0 0 0 0 0 0 IO-APIC-fasteoi acpi 20: 107 0 0 0 0 0 0 0 4515 0 0 0 IO-APIC-fasteoi ehci_hcd:usb2 22: 28 0 0 0 0 0 0 0 0 0 0 0 IO-APIC-fasteoi ehci_hcd:usb1 88: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 89: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 90: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 91: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 92: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 93: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 94: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 95: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 96: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge PCIe PME 97: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ahci 98: 4 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge eth0 99: 103181006 0 0 0 0 0 29938 53552 26120 0 0 0 PCI-MSI-edge eth0-TxRx-0 100: 24464 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge isci-msix 101: 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge isci-msix 102: 4 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge eth4 103: 20772457 0 0 0 0 0 0 12866 0 24285 0 0 PCI-MSI-edge eth4-TxRx-0 104: 12394319 0 0 0 0 0 1611 0 0 0 0 0 PCI-MSI-edge eth2-TxRx-0 105: 0 26696682 0 0 0 0 1324 0 0 0 0 0 PCI-MSI-edge eth2-TxRx-1 106: 0 0 14907818 0 0 0 1126 0 0 0 0 0 PCI-MSI-edge eth2-TxRx-2 107: 0 0 0 23306004 0 0 1212 0 0 0 0 0 PCI-MSI-edge eth2-TxRx-3 108: 0 0 0 0 11000537 0 1266 0 0 0 0 0 PCI-MSI-edge eth2-TxRx-4 109: 0 0 0 0 0 15491447 1318 0 0 0 0 0 PCI-MSI-edge eth2-TxRx-5 110: 0 0 0 0 0 0 22047090 0 0 0 0 0 PCI-MSI-edge eth2-TxRx-6 111: 0 0 0 0 0 0 1499 12538682 0 0 0 0 PCI-MSI-edge eth2-TxRx-7 112: 0 0 0 0 0 0 1172 0 12043863 0 0 0 PCI-MSI-edge eth2-TxRx-8 113: 0 0 0 0 0 0 1108 0 0 17568843 0 0 PCI-MSI-edge eth2-TxRx-9 114: 0 0 0 0 0 0 1231 0 0 0 13111103 0 PCI-MSI-edge eth2-TxRx-10 115: 0 0 0 0 0 0 1129 0 0 0 0 12814265 PCI-MSI-edge eth2-TxRx-11 116: 126 0 0 0 0 0 21 0 0 0 0 0 PCI-MSI-edge eth2 121: 84483343 0 0 0 0 0 5828 0 0 0 0 0 PCI-MSI-edge eth1-TxRx-0 122: 0 29417906 0 0 0 0 1753 0 0 0 0 0 PCI-MSI-edge eth1-TxRx-1 123: 0 0 21359994 0 0 0 1658 0 0 0 0 0 PCI-MSI-edge eth1-TxRx-2 124: 0 0 0 26658485 0 0 1660 0 0 0 0 0 PCI-MSI-edge eth1-TxRx-3 125: 0 0 0 0 16271072 0 1670 0 0 0 0 0 PCI-MSI-edge eth1-TxRx-4 126: 0 0 0 0 0 21101779 1918 0 0 0 0 0 PCI-MSI-edge eth1-TxRx-5 127: 0 0 0 0 0 0 26355056 0 0 0 0 0 PCI-MSI-edge eth1-TxRx-6 128: 0 0 0 0 0 0 2036 17539005 0 0 0 0 PCI-MSI-edge eth1-TxRx-7 129: 0 0 0 0 0 0 2275 0 20846766 0 0 0 PCI-MSI-edge eth1-TxRx-8 130: 0 0 0 0 0 0 1606 0 0 21183497 0 0 PCI-MSI-edge eth1-TxRx-9 131: 0 0 0 0 0 0 1863 0 0 0 25605003 0 PCI-MSI-edge eth1-TxRx-10 132: 0 0 0 0 0 0 1553 0 0 0 0 17057154 PCI-MSI-edge eth1-TxRx-11 133: 0 0 0 0 0 0 41 0 0 0 0 0 PCI-MSI-edge eth1 134: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 135: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 136: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 137: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 138: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 139: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 140: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 141: 3 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge ioat-msix 142: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix 143: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix 144: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix 145: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix 146: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix 147: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix 148: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix 149: 0 0 0 0 0 0 3 0 0 0 0 0 PCI-MSI-edge ioat-msix NMI: 1637 737 569 623 494 549 612 581 539 584 617 496 Non-maskable interrupts LOC: 1069678 666258 587954 616120 542432 512716 514025 610528 662045 554958 539386 470502 Local timer interrupts SPU: 0 0 0 0 0 0 0 0 0 0 0 0 Spurious interrupts PMI: 1637 737 569 623 494 549 612 581 539 584 617 496 Performance monitoring interrupts IWI: 0 0 0 0 0 0 0 0 0 0 0 0 IRQ work interrupts RTR: 11 0 0 0 0 0 0 0 0 0 0 0 APIC ICR read retries RES: 106628 9517 95123 18023 5183 5975 3351 5266 90975 13725 6851 5341 Rescheduling interrupts CAL: 484 507 596 575 599 542 1151 2421 2914 1296 1723 916 Function call interrupts TLB: 609 26037 20372 2586 2887 331 529 15998 22544 2139 5072 495 TLB shootdowns TRM: 0 0 0 0 0 0 0 0 0 0 0 0 Thermal event interrupts THR: 0 0 0 0 0 0 0 0 0 0 0 0 Threshold APIC interrupts MCE: 0 0 0 0 0 0 0 0 0 0 0 0 Machine check exceptions MCP: 38 38 38 38 38 38 38 38 38 38 38 38 Machine check polls ERR: 0 MIS: 0 Edited April 5, 2013 by mrsaygo Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.