Dyr Опубликовано 10 ноября, 2015 · Жалоба Понял, спасибо. Сегодня экспериментировал в ЧНН с раскидыванием трафика. Выяснилось, что при lacp (L3+L4) двух 10G-интерфейсов (82599ES) нагрузка на проц почти в два раза выше, чем такой же lacp, но только при одном поднятом интерфейсе. ksoftirqd на одном проце начинает жрать почти 90%. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 10 ноября, 2015 · Жалоба Dyr Если по статистике модуля кол-во pps на одном из процов больше, скажем, в 10 раз больше чем на других, то это надо решать до модуля. Естественно, нагрузка будет 100%, если весь 10Г трафик пустить на одно ядро. Мне попадались такие "разбалансированные" машины (чтоб на 1 ядро шло в 10 раз больше трафика), в чем фундаментальная причина такого поведения я так и не выяснил (машины были чужие, времени мало и т.п), решалось как правило жестким прибитем очередей на процы (RSS). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 10 ноября, 2015 · Жалоба aabc, то есть модуль привязывается по обработке трафика к тому же ядру, который обрабатывает соответствующую очередь? Почему такая жёсткая привязка? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aabc Опубликовано 10 ноября, 2015 · Жалоба aabc, то есть модуль привязывается по обработке трафика к тому же ядру, который обрабатывает соответствующую очередь? Почему такая жёсткая привязка? Модуль не привязывается, это просто target в iptables. Iptables правила обрабатываются на том проце на котором их хочет обрабатывать kernel. Ядро (включая драйвер сетевой карты) решают это посредством RSS и RPS. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 10 ноября, 2015 · Жалоба Принято, понял. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
iBad Опубликовано 10 ноября, 2015 (изменено) · Жалоба Ребята, такой вопрос. Есть сетевуха 82599, не держит даже 1 Mpps =/ Уже что только не пробовал, упираюсь в прерывания.. Подскажите в какую сторону смотреть. irqbalance убит, по ядрам раскидал. %Cpu0 : 0.0 us, 0.0 sy, 0.0 ni, 45.3 id, 0.0 wa, 0.0 hi, 54.7 si, 0.0 st %Cpu1 : 0.0 us, 8.9 sy, 0.0 ni, 53.3 id, 0.0 wa, 0.0 hi, 37.8 si, 0.0 st %Cpu2 : 0.0 us, 8.5 sy, 0.0 ni, 27.7 id, 0.0 wa, 0.0 hi, 63.8 si, 0.0 st %Cpu3 : 0.0 us, 1.9 sy, 0.0 ni, 43.4 id, 0.0 wa, 0.0 hi, 54.7 si, 0.0 st %Cpu4 : 0.0 us, 4.2 sy, 0.0 ni, 43.8 id, 0.0 wa, 0.0 hi, 52.1 si, 0.0 st %Cpu5 : 0.0 us, 0.0 sy, 0.0 ni, 56.2 id, 0.0 wa, 0.0 hi, 43.8 si, 0.0 st %Cpu6 : 0.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi,100.0 si, 0.0 st %Cpu7 : 0.0 us, 4.0 sy, 0.0 ni, 50.0 id, 0.0 wa, 0.0 hi, 46.0 si, 0.0 st %Cpu8 : 0.0 us, 0.0 sy, 0.0 ni, 51.9 id, 0.0 wa, 0.0 hi, 48.1 si, 0.0 st %Cpu9 : 0.0 us, 0.0 sy, 0.0 ni, 53.8 id, 0.0 wa, 0.0 hi, 46.2 si, 0.0 st %Cpu10 : 0.0 us, 0.0 sy, 0.0 ni, 53.8 id, 0.0 wa, 0.0 hi, 46.2 si, 0.0 st %Cpu11 : 0.0 us, 0.0 sy, 0.0 ni, 50.9 id, 0.0 wa, 0.0 hi, 49.1 si, 0.0 st Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 rx-checksumming: on tx-checksumming: on tx-checksum-ipv4: on tx-checksum-ip-generic: off [fixed] tx-checksum-ipv6: on tx-checksum-fcoe-crc: on [fixed] tx-checksum-sctp: on scatter-gather: on tx-scatter-gather: on tx-scatter-gather-fraglist: off [fixed] tcp-segmentation-offload: on tx-tcp-segmentation: on tx-tcp-ecn-segmentation: off [fixed] tx-tcp6-segmentation: on udp-fragmentation-offload: off [fixed] generic-segmentation-offload: on generic-receive-offload: on large-receive-offload: on rx-vlan-offload: on tx-vlan-offload: on ntuple-filters: off receive-hashing: on highdma: on [fixed] rx-vlan-filter: on [fixed] vlan-challenged: off [fixed] tx-lockless: off [fixed] netns-local: off [fixed] tx-gso-robust: off [fixed] tx-fcoe-segmentation: on [fixed] tx-gre-segmentation: off [fixed] tx-ipip-segmentation: off [fixed] tx-sit-segmentation: off [fixed] tx-udp_tnl-segmentation: on tx-mpls-segmentation: off [fixed] fcoe-mtu: off [fixed] tx-nocache-copy: on loopback: off [fixed] rx-fcs: off [fixed] rx-all: off [fixed] tx-vlan-stag-hw-insert: off [fixed] rx-vlan-stag-hw-parse: off [fixed] rx-vlan-stag-filter: off [fixed] busy-poll: on [fixed] perf top 44.21% [kernel] [k] native_queued_spin_lock_slowpath Изменено 10 ноября, 2015 пользователем iBad Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 11 ноября, 2015 (изменено) · Жалоба Слушайте, у меня какая-то странная проблема началась с VoIP и пользователями, которые натятся 1:1 (бинат, то бишь). После обновления Ubuntu до 15.04 и далее до 15.10, раз в день, а то и чаще, в таблице conntrack-соединений появляются трансляции внутреннего (пользовательского) ip и voip-порта 5060 во внешний адрес самого сервера, вместо выделенного под пользователя внешнего адреса. При этом все остальные коннекты от пользователя идут с правильным внешним IP. При этом стоит очистить conntrack, как всё начинает работать правильно...до следующего случая. WTF? Правила iptables (чуть урезанные) : *raw :PREROUTING ACCEPT :OUTPUT ACCEPT COMMIT *nat :PREROUTING ACCEPT :POSTROUTING ACCEPT :OUTPUT ACCEPT :REALIP-DST - :PREROUTING-bond1 - -A PREROUTING -m set --match-set realip_dst dst -j REALIP-DST -A PREROUTING -i bond1 -j PREROUTING-bond1 -A PREROUTING-bond1 -m set --match-set allowed_users src -j ACCEPT -A PREROUTING-bond1 -m set --match-set always_allowed_dst dst -j ACCEPT -A PREROUTING-bond1 ! -d 10.78.76.9 -p tcp -m multiport --dports 80,443 -j REDIRECT --to-port 8080 :REALIP-SRC - :POSTROUTING-bond0 - -A POSTROUTING -o bond0 -m set --match-set realip_src src -j REALIP-SRC -A POSTROUTING -o bond0 -j POSTROUTING-bond0 -A REALIP-DST -d 185.42.61.76 -j DNAT --to-destination 10.52.179.40 -A REALIP-DST -d 185.42.61.77 -j DNAT --to-destination 10.54.84.17 ... -A REALIP-SRC -s 10.54.42.117 -j SNAT --to-source 93.92.199.2 -A REALIP-SRC -s 10.54.241.64 -j SNAT --to-source 93.92.199.11 ... -A POSTROUTING-bond0 -m set --match-set allowed_users src -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent -A POSTROUTING-bond0 -m set --match-set always_allowed_dst dst -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent -A POSTROUTING-bond0 -s 10.78.76.0/24 -j SNAT --to-source 109.71.176.3 --persistent COMMIT *filter :INPUT ACCEPT :FORWARD DROP :OUTPUT ACCEPT :SMTP - :ACCEPT-NETFLOW - -A OUTPUT -p icmp --icmp-type destination-unreachable -j DROP ... "Неправильные" трансляции, то есть "выходящие" через внешний адрес самого сервера 109.71.176.3 root@nata2:~# conntrack -L |fgrep 5060|fgrep 109.71.176.3 udp 17 3599 src=10.53.110.61 dst=91.215.252.132 sport=5062 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5062 [ASSURED] mark=0 helper=sip use=1 udp 17 2728 src=85.25.237.51 dst=109.71.176.3 sport=5448 dport=5060 [uNREPLIED] src=109.71.176.3 dst=85.25.237.51 sport=5060 dport=5448 mark=0 helper=sip use=1 udp 17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5557 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5557 [ASSURED] mark=0 helper=sip use=1 udp 17 3598 src=10.54.171.80 dst=217.119.16.244 sport=5060 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=5060 mark=0 helper=sip use=1 udp 17 2507 src=50.30.37.55 dst=109.71.176.3 sport=5100 dport=5060 [uNREPLIED] src=109.71.176.3 dst=50.30.37.55 sport=5060 dport=5100 mark=0 helper=sip use=1 udp 17 3599 src=10.54.56.130 dst=217.119.16.244 sport=1041 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=1041 mark=0 helper=sip use=1 udp 17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5555 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5555 [ASSURED] mark=0 helper=sip use=1 udp 17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5559 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5559 [ASSURED] mark=0 helper=sip use=1 udp 17 134 src=10.54.82.10 dst=213.170.81.130 sport=5060 dport=5068 src=213.170.81.130 dst=109.71.176.3 sport=5068 dport=5060 [ASSURED] mark=0 use=1 udp 17 2458 src=23.239.66.171 dst=109.71.176.3 sport=5137 dport=5060 [uNREPLIED] src=109.71.176.3 dst=23.239.66.171 sport=5060 dport=5137 mark=0 helper=sip use=1 udp 17 3598 src=10.53.110.61 dst=91.215.252.132 sport=5063 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5063 [ASSURED] mark=0 helper=sip use=1 conntrack v1.4.2 (conntrack-tools): 148290 flow entries have been shown. Изменено 11 ноября, 2015 пользователем Dyr Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
BeHalf Опубликовано 24 ноября, 2015 · Жалоба Попала в руки вот такая железка: платформа supermicro 1U (SC815 CSE-815TQ-600W) материнка supermicro MBD-X9DRW-IF-B 2 процессора Xeon E5-2630 памяти много 1600-й ECC REG Интересно сколько оно примерно может перемолотить на сетевухе x520-DA2? В задачах полисинг, шейпинг, нат. Трафика не то чтобы много сейчас, не больше 2 гбит в обе стороны. И вообще есть ли смысл такую железку под роутер ставить? Коллега предлагает продать :)) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Igor Diakonov Опубликовано 28 ноября, 2015 · Жалоба perf top 44.21% [kernel] [k] native_queued_spin_lock_slowpath Поддержку виртуализации попробуйте отключить в биосе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 28 ноября, 2015 · Жалоба Слушайте, у меня какая-то странная проблема началась с VoIP и пользователями, которые натятся 1:1 (бинат, то бишь). После обновления Ubuntu до 15.04 и далее до 15.10, раз в день, а то и чаще, в таблице conntrack-соединений появляются трансляции внутреннего (пользовательского) ip и voip-порта 5060 во внешний адрес самого сервера, вместо выделенного под пользователя внешнего адреса. При этом все остальные коннекты от пользователя идут с правильным внешним IP. При этом стоит очистить conntrack, как всё начинает работать правильно...до следующего случая. WTF? Правила iptables (чуть урезанные) : *raw :PREROUTING ACCEPT :OUTPUT ACCEPT COMMIT *nat :PREROUTING ACCEPT :POSTROUTING ACCEPT :OUTPUT ACCEPT :REALIP-DST - :PREROUTING-bond1 - -A PREROUTING -m set --match-set realip_dst dst -j REALIP-DST -A PREROUTING -i bond1 -j PREROUTING-bond1 -A PREROUTING-bond1 -m set --match-set allowed_users src -j ACCEPT -A PREROUTING-bond1 -m set --match-set always_allowed_dst dst -j ACCEPT -A PREROUTING-bond1 ! -d 10.78.76.9 -p tcp -m multiport --dports 80,443 -j REDIRECT --to-port 8080 :REALIP-SRC - :POSTROUTING-bond0 - -A POSTROUTING -o bond0 -m set --match-set realip_src src -j REALIP-SRC -A POSTROUTING -o bond0 -j POSTROUTING-bond0 -A REALIP-DST -d 185.42.61.76 -j DNAT --to-destination 10.52.179.40 -A REALIP-DST -d 185.42.61.77 -j DNAT --to-destination 10.54.84.17 ... -A REALIP-SRC -s 10.54.42.117 -j SNAT --to-source 93.92.199.2 -A REALIP-SRC -s 10.54.241.64 -j SNAT --to-source 93.92.199.11 ... -A POSTROUTING-bond0 -m set --match-set allowed_users src -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent -A POSTROUTING-bond0 -m set --match-set always_allowed_dst dst -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent -A POSTROUTING-bond0 -s 10.78.76.0/24 -j SNAT --to-source 109.71.176.3 --persistent COMMIT *filter :INPUT ACCEPT :FORWARD DROP :OUTPUT ACCEPT :SMTP - :ACCEPT-NETFLOW - -A OUTPUT -p icmp --icmp-type destination-unreachable -j DROP ... "Неправильные" трансляции, то есть "выходящие" через внешний адрес самого сервера 109.71.176.3 root@nata2:~# conntrack -L |fgrep 5060|fgrep 109.71.176.3 udp 17 3599 src=10.53.110.61 dst=91.215.252.132 sport=5062 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5062 [ASSURED] mark=0 helper=sip use=1 udp 17 2728 src=85.25.237.51 dst=109.71.176.3 sport=5448 dport=5060 [uNREPLIED] src=109.71.176.3 dst=85.25.237.51 sport=5060 dport=5448 mark=0 helper=sip use=1 udp 17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5557 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5557 [ASSURED] mark=0 helper=sip use=1 udp 17 3598 src=10.54.171.80 dst=217.119.16.244 sport=5060 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=5060 mark=0 helper=sip use=1 udp 17 2507 src=50.30.37.55 dst=109.71.176.3 sport=5100 dport=5060 [uNREPLIED] src=109.71.176.3 dst=50.30.37.55 sport=5060 dport=5100 mark=0 helper=sip use=1 udp 17 3599 src=10.54.56.130 dst=217.119.16.244 sport=1041 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=1041 mark=0 helper=sip use=1 udp 17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5555 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5555 [ASSURED] mark=0 helper=sip use=1 udp 17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5559 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5559 [ASSURED] mark=0 helper=sip use=1 udp 17 134 src=10.54.82.10 dst=213.170.81.130 sport=5060 dport=5068 src=213.170.81.130 dst=109.71.176.3 sport=5068 dport=5060 [ASSURED] mark=0 use=1 udp 17 2458 src=23.239.66.171 dst=109.71.176.3 sport=5137 dport=5060 [uNREPLIED] src=109.71.176.3 dst=23.239.66.171 sport=5060 dport=5137 mark=0 helper=sip use=1 udp 17 3598 src=10.53.110.61 dst=91.215.252.132 sport=5063 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5063 [ASSURED] mark=0 helper=sip use=1 conntrack v1.4.2 (conntrack-tools): 148290 flow entries have been shown. +1 Таже беда, делаю connatrack -F и все ок, пока не понял что за фигня Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
purecopper Опубликовано 22 февраля, 2016 (изменено) · Жалоба Коллеги приветствую. Столкнулся с проблемой следующего характера: Имею тазик с тремя сетевыми адаптерами: две двухпортовых карты на 82576 и одна четырехпортовая на i350. Интерфейсы карт на 82576 объединены в bond0 (eth2,eth3,eth4,eth5), интерфейсы карт на i350 объединены в bond1 (eth6,eth7,eth8,eth9). Настройки всех интерфейсов одинаковые: ethtool -G $i rx 4096 ethtool -G $i tx 4096 ethtool -K $i gso off ethtool -K $i tso off ethtool -K $i lro off ethtool -K $i gro off ifconfig $i txqueuelen 10000 Все интерфейсы прибиты вручную к ядрам: 42: 2 0 0 0 PCI-MSI-edge eth4 43: 2361745143 0 0 0 PCI-MSI-edge eth4-TxRx-0 44: 6 2432055601 0 0 PCI-MSI-edge eth4-TxRx-1 45: 7 0 3491767217 0 PCI-MSI-edge eth4-TxRx-2 46: 6 0 0 2412256920 PCI-MSI-edge eth4-TxRx-3 49: 2 0 0 0 PCI-MSI-edge eth5 50: 2357983832 0 0 0 PCI-MSI-edge eth5-TxRx-0 51: 5 2408909583 0 0 PCI-MSI-edge eth5-TxRx-1 52: 6 0 3482932147 0 PCI-MSI-edge eth5-TxRx-2 53: 5 0 0 2374477640 PCI-MSI-edge eth5-TxRx-3 54: 2 0 0 0 PCI-MSI-edge eth6 55: 3041691535 0 0 0 PCI-MSI-edge eth6-TxRx-0 56: 6 3039464955 0 0 PCI-MSI-edge eth6-TxRx-1 57: 6 0 3038197129 0 PCI-MSI-edge eth6-TxRx-2 58: 6 0 0 3051768879 PCI-MSI-edge eth6-TxRx-3 59: 2 0 0 0 PCI-MSI-edge eth7 60: 3039033221 0 0 0 PCI-MSI-edge eth7-TxRx-0 61: 6 3038474832 0 0 PCI-MSI-edge eth7-TxRx-1 62: 7 0 3031181650 0 PCI-MSI-edge eth7-TxRx-2 63: 6 0 0 3030970943 PCI-MSI-edge eth7-TxRx-3 64: 2 0 0 0 PCI-MSI-edge eth8 65: 3009825734 0 0 0 PCI-MSI-edge eth8-TxRx-0 66: 6 3095856164 0 0 PCI-MSI-edge eth8-TxRx-1 67: 6 0 3062733860 0 PCI-MSI-edge eth8-TxRx-2 68: 6 0 0 3053746724 PCI-MSI-edge eth8-TxRx-3 69: 2 0 0 0 PCI-MSI-edge eth9 70: 3066002463 0 0 0 PCI-MSI-edge eth9-TxRx-0 71: 6 3059085398 0 0 PCI-MSI-edge eth9-TxRx-1 72: 7 0 3019448698 0 PCI-MSI-edge eth9-TxRx-2 73: 6 0 0 3036058190 PCI-MSI-edge eth9-TxRx-3 74: 1 0 0 0 PCI-MSI-edge eth0 75: 49195988 0 0 0 PCI-MSI-edge eth0-TxRx-0 76: 20 221789206 0 0 PCI-MSI-edge eth0-TxRx-1 77: 17 0 40999804 0 PCI-MSI-edge eth0-TxRx-2 78: 39 0 0 48329204 PCI-MSI-edge eth0-TxRx-3 84: 2 0 0 0 PCI-MSI-edge eth2 85: 2467570186 0 0 0 PCI-MSI-edge eth2-TxRx-0 86: 7 2403531463 0 0 PCI-MSI-edge eth2-TxRx-1 87: 9 0 3497138505 0 PCI-MSI-edge eth2-TxRx-2 88: 7 0 0 2403906779 PCI-MSI-edge eth2-TxRx-3 89: 2 0 0 0 PCI-MSI-edge eth3 90: 2370508239 0 0 0 PCI-MSI-edge eth3-TxRx-0 91: 7 2373581416 0 0 PCI-MSI-edge eth3-TxRx-1 92: 7 0 3510585107 0 PCI-MSI-edge eth3-TxRx-2 93: 7 0 0 2328817206 PCI-MSI-edge eth3-TxRx-3 Нагрузка на CPU не превышает 25%. Однако на интерфейсах eth2 eth3 идет рост rx_missed_errors и rx_fifo_errors. При этом количество rx_missed_errors=rx_fifo_errors. На других eth этого безобразия не наблюдается. Вопрос: как победить эти самые errors? Перепробовал уже всё, что знал. Осталось только два варианта - поменять кабели и сетевые карты :) Eth2 и Eth3 - интерфейсы одной сетевой карты. Заметил, что если отключить один из интерфейсов - eth2 или eth3, то на оставшемся включенным интерфейсе overruns перестают расти. Изменено 22 февраля, 2016 пользователем purecopper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
purecopper Опубликовано 23 февраля, 2016 · Жалоба Попутно возник еще один вопрос: с чем может быть связан рост requeues? tc -s qdisc show dev p1p2 qdisc mq 0: root Sent 33405287928 bytes 31485972 pkt (dropped 0, overlimits 0 requeues 4863) backlog 0b 0p requeues 4863 qdisc pfifo_fast 0: parent :1 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1 Sent 8030468444 bytes 7813737 pkt (dropped 0, overlimits 0 requeues 1227) backlog 0b 0p requeues 1227 qdisc pfifo_fast 0: parent :2 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1 Sent 9146909779 bytes 8225652 pkt (dropped 0, overlimits 0 requeues 1229) backlog 0b 0p requeues 1229 qdisc pfifo_fast 0: parent :3 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1 Sent 7976481555 bytes 7666970 pkt (dropped 0, overlimits 0 requeues 1216) backlog 0b 0p requeues 1216 qdisc pfifo_fast 0: parent :4 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1 Sent 8251428260 bytes 7779614 pkt (dropped 0, overlimits 0 requeues 1191) backlog 0b 0p requeues 1191 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
purecopper Опубликовано 24 февраля, 2016 · Жалоба Продолжу разговор с собой: Не надо заниматься фигней и городить кучу бондов. Одна карта 10G решила все проблемы :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 24 февраля, 2016 · Жалоба У меня кстати тоже самое на 82576 и bond. ethtool -S eth0 | grep errors rx_crc_errors: 0 rx_missed_errors: 19353 tx_aborted_errors: 0 tx_carrier_errors: 0 tx_window_errors: 0 rx_long_length_errors: 0 rx_short_length_errors: 0 rx_align_errors: 0 rx_errors: 0 tx_errors: 0 rx_length_errors: 0 rx_over_errors: 0 rx_frame_errors: 0 rx_fifo_errors: 19353 tx_fifo_errors: 0 tx_heartbeat_errors: 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
purecopper Опубликовано 24 февраля, 2016 · Жалоба hsvt А какие адаптеры? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 24 февраля, 2016 (изменено) · Жалоба hsvt А какие адаптеры? Мезонинная сетевая плата встроенная в серв. *-network:0 description: Ethernet interface product: 82576 Gigabit Network Connection vendor: Intel Corporation physical id: 0 bus info: pci@0000:01:00.0 logical name: eth0 version: 01 serial: size: 1Gbit/s capacity: 1Gbit/s width: 32 bits clock: 33MHz capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation configuration: autonegotiation=on broadcast=yes driver=igb driverversion=5.0.5-k duplex=full firmware=1.4.3 latency=0 link=yes multicast=yes port=twisted pair slave=yes speed=1Gbit/s resources: irq:17 memory:fbde0000-fbdfffff memory:fbdc0000-fbddffff ioport:dc00(size=32) memory:fbd9c000-fbd9ffff memory:fbda0000-fbdbffff Изменено 24 февраля, 2016 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
purecopper Опубликовано 24 февраля, 2016 · Жалоба Я боюсь, что это дело именно в ревизии сетевого адаптера. У меня на E1GT42ETBLK E43709-004 проблемы есть, а на E43709-006 проблем нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mrsaygo Опубликовано 23 марта, 2016 · Жалоба Подскажите как правильнее раскидать прерывания на 4 ядра Intel® Core i5-3470 CPU @ 3.20GHz для карты x520-da1? Думаю сделать 4 rx-tx очереди. Суть в том, что сетевушка будет работать как на вход так и на выход (2 in VLAN - n out VLAN (real_ip +NAT)). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aoz1 Опубликовано 23 марта, 2016 (изменено) · Жалоба Не критично но просто интересно X520-DA2 карта в LACP L3+4 драйвер из коробки: # ethtool -i eth3 driver: ixgbe version: 4.0.1-k firmware-version: 0x61c10001 И вот такая штука на output. Причем на обоих портах все в 6 очередь пихает. Я как то это smp_affinity выровнял, но все едино не по феншую. Хочется красивой едной кривой на загрузке камней. Гуглил, man ethtool читал не помогло. Такое ощущение что карта tx queue по dst макам делает, хотя карта там на десяток серверов работает..... # ethtool -S eth3 | grep tx_queue tx_queue_0_packets: 20818 tx_queue_0_bytes: 1384912 tx_queue_0_bp_napi_yield: 0 tx_queue_0_bp_misses: 0 tx_queue_0_bp_cleaned: 0 tx_queue_1_packets: 856 tx_queue_1_bytes: 62285 tx_queue_1_bp_napi_yield: 0 tx_queue_1_bp_misses: 0 tx_queue_1_bp_cleaned: 0 tx_queue_2_packets: 65686 tx_queue_2_bytes: 8098269 tx_queue_2_bp_napi_yield: 0 tx_queue_2_bp_misses: 0 tx_queue_2_bp_cleaned: 0 tx_queue_3_packets: 964 tx_queue_3_bytes: 68760 tx_queue_3_bp_napi_yield: 0 tx_queue_3_bp_misses: 0 tx_queue_3_bp_cleaned: 0 tx_queue_4_packets: 816 tx_queue_4_bytes: 58324 tx_queue_4_bp_napi_yield: 0 tx_queue_4_bp_misses: 0 tx_queue_4_bp_cleaned: 0 tx_queue_5_packets: 1142 tx_queue_5_bytes: 79929 tx_queue_5_bp_napi_yield: 0 tx_queue_5_bp_misses: 0 tx_queue_5_bp_cleaned: 0 tx_queue_6_packets: 318893245294 tx_queue_6_bytes: 218358074464684 tx_queue_6_bp_napi_yield: 0 tx_queue_6_bp_misses: 0 tx_queue_6_bp_cleaned: 0 tx_queue_7_packets: 1058 tx_queue_7_bytes: 72800 tx_queue_7_bp_napi_yield: 0 tx_queue_7_bp_misses: 0 tx_queue_7_bp_cleaned: 0 tx_queue_8_packets: 1080 tx_queue_8_bytes: 77069 tx_queue_8_bp_napi_yield: 0 tx_queue_8_bp_misses: 0 tx_queue_8_bp_cleaned: 0 tx_queue_9_packets: 892 tx_queue_9_bytes: 64127 tx_queue_9_bp_napi_yield: 0 tx_queue_9_bp_misses: 0 tx_queue_9_bp_cleaned: 0 tx_queue_10_packets: 901 tx_queue_10_bytes: 64288 tx_queue_10_bp_napi_yield: 0 tx_queue_10_bp_misses: 0 tx_queue_10_bp_cleaned: 0 tx_queue_11_packets: 1029 tx_queue_11_bytes: 71806 tx_queue_11_bp_napi_yield: 0 tx_queue_11_bp_misses: 0 tx_queue_11_bp_cleaned: 0 tx_queue_12_packets: 3594732 tx_queue_12_bytes: 151007867 tx_queue_12_bp_napi_yield: 0 tx_queue_12_bp_misses: 0 tx_queue_12_bp_cleaned: 0 tx_queue_13_packets: 864 tx_queue_13_bytes: 62131 tx_queue_13_bp_napi_yield: 0 tx_queue_13_bp_misses: 0 tx_queue_13_bp_cleaned: 0 tx_queue_14_packets: 3547 tx_queue_14_bytes: 283836 tx_queue_14_bp_napi_yield: 0 tx_queue_14_bp_misses: 0 tx_queue_14_bp_cleaned: 0 tx_queue_15_packets: 905 tx_queue_15_bytes: 64475 tx_queue_15_bp_napi_yield: 0 tx_queue_15_bp_misses: 0 Изменено 23 марта, 2016 пользователем aoz1 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 23 марта, 2016 · Жалоба А зачем вам этот tx, типа он какую-то загрузку дает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
aoz1 Опубликовано 24 марта, 2016 · Жалоба А зачем вам этот tx, типа он какую-то загрузку дает. Мах 26 Мax 32 то есть на 6 процентов загрузки больше при нагузке остальных камней 26 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 29 июля, 2016 (изменено) · Жалоба /usr/bin/python -Es /usr/sbin/tuned -l -P Вот этот редхатовский демон на софт роутере нужен ли? Есть ли от его профилей польза какая то или он ручные настройки посбивает? Кто как вообще отключает его или оставляют на роутерах? Изменено 31 июля, 2016 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 31 июля, 2016 · Жалоба UPD. Плюс еще вопрос, перешёл с 3.18.34 на 3.18.37 (ОС CentOS7, accel-pppd, NAT, ipt_netflow) и получаю oom + постоянный memory leak. total used free shared buff/cache available Mem: 23G 1.6G 21G 8.6M 577M 21G Swap: 16G 0B 16G total used free shared buff/cache available Mem: 23G 1.7G 21G 8.6M 577M 21G Swap: 16G 0B 16G total used free shared buff/cache available Mem: 23G 1.8G 21G 8.6M 577M 21G Swap: 16G 0B 16G Несовместимость CentOS7 с ванильным ядром 3.18.37 или просто баг какой то в 37 ветке? Может кто подскажет что, еще грешу на systemd, на софт роутерах обычно выпиливают его ? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
roysbike Опубликовано 31 июля, 2016 · Жалоба Подскажите как правильнее раскидать прерывания на 4 ядра Intel® Core i5-3470 CPU @ 3.20GHz для карты x520-da1? Думаю сделать 4 rx-tx очереди. Суть в том, что сетевушка будет работать как на вход так и на выход (2 in VLAN - n out VLAN (real_ip +NAT)). 4 ядра , 4 очереди. Я бы так делал. Получается на каждое ядро , одна очередь. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
telecom Опубликовано 1 августа, 2016 · Жалоба В 3.18.37 поломали память. Ставьте 3.18.36 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...