Перейти к содержимому
Калькуляторы

Linux softrouter

Ответить

Dyr   

Dyr
Опубликовано · Жалоба

Понял, спасибо.

 

Сегодня экспериментировал в ЧНН с раскидыванием трафика. Выяснилось, что при lacp (L3+L4) двух 10G-интерфейсов (82599ES) нагрузка на проц почти в два раза выше, чем такой же lacp, но только при одном поднятом интерфейсе. ksoftirqd на одном проце начинает жрать почти 90%.

 

 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

aabc   

aabc
Опубликовано · Жалоба

Dyr

Если по статистике модуля кол-во pps на одном из процов больше, скажем, в 10 раз больше чем на других, то это надо решать до модуля. Естественно, нагрузка будет 100%, если весь 10Г трафик пустить на одно ядро. Мне попадались такие "разбалансированные" машины (чтоб на 1 ядро шло в 10 раз больше трафика), в чем фундаментальная причина такого поведения я так и не выяснил (машины были чужие, времени мало и т.п), решалось как правило жестким прибитем очередей на процы (RSS).

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dyr   

Dyr
Опубликовано · Жалоба

aabc, то есть модуль привязывается по обработке трафика к тому же ядру, который обрабатывает соответствующую очередь? Почему такая жёсткая привязка?

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

aabc   

aabc
Опубликовано · Жалоба

aabc, то есть модуль привязывается по обработке трафика к тому же ядру, который обрабатывает соответствующую очередь? Почему такая жёсткая привязка?

 

Модуль не привязывается, это просто target в iptables. Iptables правила обрабатываются на том проце на котором их хочет обрабатывать kernel. Ядро (включая драйвер сетевой карты) решают это посредством RSS и RPS.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dyr   

Dyr
Опубликовано · Жалоба

Принято, понял.

 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

iBad   

iBad
Опубликовано (изменено) · Жалоба

Ребята, такой вопрос. Есть сетевуха 82599, не держит даже 1 Mpps =/ Уже что только не пробовал, упираюсь в прерывания.. Подскажите в какую сторону смотреть. irqbalance убит, по ядрам раскидал.

 

%Cpu0  :  0.0 us,  0.0 sy,  0.0 ni, 45.3 id,  0.0 wa,  0.0 hi, 54.7 si,  0.0 st
%Cpu1  :  0.0 us,  8.9 sy,  0.0 ni, 53.3 id,  0.0 wa,  0.0 hi, 37.8 si,  0.0 st
%Cpu2  :  0.0 us,  8.5 sy,  0.0 ni, 27.7 id,  0.0 wa,  0.0 hi, 63.8 si,  0.0 st
%Cpu3  :  0.0 us,  1.9 sy,  0.0 ni, 43.4 id,  0.0 wa,  0.0 hi, 54.7 si,  0.0 st
%Cpu4  :  0.0 us,  4.2 sy,  0.0 ni, 43.8 id,  0.0 wa,  0.0 hi, 52.1 si,  0.0 st
%Cpu5  :  0.0 us,  0.0 sy,  0.0 ni, 56.2 id,  0.0 wa,  0.0 hi, 43.8 si,  0.0 st
%Cpu6  :  0.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,100.0 si,  0.0 st
%Cpu7  :  0.0 us,  4.0 sy,  0.0 ni, 50.0 id,  0.0 wa,  0.0 hi, 46.0 si,  0.0 st
%Cpu8  :  0.0 us,  0.0 sy,  0.0 ni, 51.9 id,  0.0 wa,  0.0 hi, 48.1 si,  0.0 st
%Cpu9  :  0.0 us,  0.0 sy,  0.0 ni, 53.8 id,  0.0 wa,  0.0 hi, 46.2 si,  0.0 st
%Cpu10 :  0.0 us,  0.0 sy,  0.0 ni, 53.8 id,  0.0 wa,  0.0 hi, 46.2 si,  0.0 st
%Cpu11 :  0.0 us,  0.0 sy,  0.0 ni, 50.9 id,  0.0 wa,  0.0 hi, 49.1 si,  0.0 st

 

Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

 

rx-checksumming: on
tx-checksumming: on
       tx-checksum-ipv4: on
       tx-checksum-ip-generic: off [fixed]
       tx-checksum-ipv6: on
       tx-checksum-fcoe-crc: on [fixed]
       tx-checksum-sctp: on
scatter-gather: on
       tx-scatter-gather: on
       tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
       tx-tcp-segmentation: on
       tx-tcp-ecn-segmentation: off [fixed]
       tx-tcp6-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: on
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off
receive-hashing: on
highdma: on [fixed]
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: on [fixed]
tx-gre-segmentation: off [fixed]
tx-ipip-segmentation: off [fixed]
tx-sit-segmentation: off [fixed]
tx-udp_tnl-segmentation: on
tx-mpls-segmentation: off [fixed]
fcoe-mtu: off [fixed]
tx-nocache-copy: on
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
busy-poll: on [fixed]

 

perf top

44.21%  [kernel]                  [k] native_queued_spin_lock_slowpath

Изменено пользователем iBad

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Dyr   

Dyr
Опубликовано (изменено) · Жалоба

Слушайте, у меня какая-то странная проблема началась с VoIP и пользователями, которые натятся 1:1 (бинат, то бишь). После обновления Ubuntu до 15.04 и далее до 15.10, раз в день, а то и чаще, в таблице conntrack-соединений появляются трансляции внутреннего (пользовательского) ip и voip-порта 5060 во внешний адрес самого сервера, вместо выделенного под пользователя внешнего адреса. При этом все остальные коннекты от пользователя идут с правильным внешним IP. При этом стоит очистить conntrack, как всё начинает работать правильно...до следующего случая. WTF?

 

Правила iptables (чуть урезанные) :

 

*raw
:PREROUTING ACCEPT
:OUTPUT ACCEPT
COMMIT

*nat
:PREROUTING ACCEPT
:POSTROUTING ACCEPT
:OUTPUT ACCEPT

:REALIP-DST -
:PREROUTING-bond1 -
-A PREROUTING -m set --match-set realip_dst dst -j REALIP-DST
-A PREROUTING -i bond1 -j PREROUTING-bond1
-A PREROUTING-bond1 -m set --match-set allowed_users src -j ACCEPT
-A PREROUTING-bond1 -m set --match-set always_allowed_dst dst -j ACCEPT
-A PREROUTING-bond1 ! -d 10.78.76.9 -p tcp -m multiport --dports 80,443 -j REDIRECT --to-port 8080
:REALIP-SRC -
:POSTROUTING-bond0 -
-A POSTROUTING -o bond0 -m set --match-set realip_src src -j REALIP-SRC
-A POSTROUTING -o bond0 -j POSTROUTING-bond0

-A REALIP-DST -d 185.42.61.76 -j DNAT --to-destination 10.52.179.40
-A REALIP-DST -d 185.42.61.77 -j DNAT --to-destination 10.54.84.17

... 
-A REALIP-SRC -s 10.54.42.117 -j SNAT --to-source 93.92.199.2
-A REALIP-SRC -s 10.54.241.64 -j SNAT --to-source 93.92.199.11


...

-A POSTROUTING-bond0 -m set --match-set allowed_users src -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent
-A POSTROUTING-bond0 -m set --match-set always_allowed_dst dst -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent
-A POSTROUTING-bond0 -s 10.78.76.0/24 -j SNAT --to-source 109.71.176.3 --persistent
COMMIT

*filter
:INPUT ACCEPT
:FORWARD DROP
:OUTPUT ACCEPT
:SMTP -
:ACCEPT-NETFLOW -
-A OUTPUT -p icmp --icmp-type destination-unreachable -j DROP


...

"Неправильные" трансляции, то есть "выходящие" через внешний адрес самого сервера 109.71.176.3


root@nata2:~# conntrack -L |fgrep 5060|fgrep 109.71.176.3
udp      17 3599 src=10.53.110.61 dst=91.215.252.132 sport=5062 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5062 [ASSURED] mark=0 helper=sip use=1
udp      17 2728 src=85.25.237.51 dst=109.71.176.3 sport=5448 dport=5060 [uNREPLIED] src=109.71.176.3 dst=85.25.237.51 sport=5060 dport=5448 mark=0 helper=sip use=1
udp      17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5557 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5557 [ASSURED] mark=0 helper=sip use=1
udp      17 3598 src=10.54.171.80 dst=217.119.16.244 sport=5060 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=5060 mark=0 helper=sip use=1
udp      17 2507 src=50.30.37.55 dst=109.71.176.3 sport=5100 dport=5060 [uNREPLIED] src=109.71.176.3 dst=50.30.37.55 sport=5060 dport=5100 mark=0 helper=sip use=1
udp      17 3599 src=10.54.56.130 dst=217.119.16.244 sport=1041 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=1041 mark=0 helper=sip use=1
udp      17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5555 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5555 [ASSURED] mark=0 helper=sip use=1
udp      17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5559 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5559 [ASSURED] mark=0 helper=sip use=1
udp      17 134 src=10.54.82.10 dst=213.170.81.130 sport=5060 dport=5068 src=213.170.81.130 dst=109.71.176.3 sport=5068 dport=5060 [ASSURED] mark=0 use=1
udp      17 2458 src=23.239.66.171 dst=109.71.176.3 sport=5137 dport=5060 [uNREPLIED] src=109.71.176.3 dst=23.239.66.171 sport=5060 dport=5137 mark=0 helper=sip use=1
udp      17 3598 src=10.53.110.61 dst=91.215.252.132 sport=5063 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5063 [ASSURED] mark=0 helper=sip use=1
conntrack v1.4.2 (conntrack-tools): 148290 flow entries have been shown.

Изменено пользователем Dyr

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

BeHalf   

BeHalf
Опубликовано · Жалоба

Попала в руки вот такая железка:

платформа supermicro 1U (SC815 CSE-815TQ-600W)

материнка supermicro MBD-X9DRW-IF-B

2 процессора Xeon E5-2630

памяти много 1600-й ECC REG

 

Интересно сколько оно примерно может перемолотить на сетевухе x520-DA2?

В задачах полисинг, шейпинг, нат.

Трафика не то чтобы много сейчас, не больше 2 гбит в обе стороны. И вообще есть ли смысл такую железку под роутер ставить? Коллега предлагает продать :))

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Igor Diakonov   

Igor Diakonov
Опубликовано · Жалоба

perf top

 

44.21%  [kernel]                  [k] native_queued_spin_lock_slowpath

 

 

 

Поддержку виртуализации попробуйте отключить в биосе.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

roysbike   

roysbike
Опубликовано · Жалоба

Слушайте, у меня какая-то странная проблема началась с VoIP и пользователями, которые натятся 1:1 (бинат, то бишь). После обновления Ubuntu до 15.04 и далее до 15.10, раз в день, а то и чаще, в таблице conntrack-соединений появляются трансляции внутреннего (пользовательского) ip и voip-порта 5060 во внешний адрес самого сервера, вместо выделенного под пользователя внешнего адреса. При этом все остальные коннекты от пользователя идут с правильным внешним IP. При этом стоит очистить conntrack, как всё начинает работать правильно...до следующего случая. WTF?

 

Правила iptables (чуть урезанные) :

 

*raw
:PREROUTING ACCEPT
:OUTPUT ACCEPT
COMMIT

*nat
:PREROUTING ACCEPT
:POSTROUTING ACCEPT
:OUTPUT ACCEPT

:REALIP-DST -
:PREROUTING-bond1 -
-A PREROUTING -m set --match-set realip_dst dst -j REALIP-DST
-A PREROUTING -i bond1 -j PREROUTING-bond1
-A PREROUTING-bond1 -m set --match-set allowed_users src -j ACCEPT
-A PREROUTING-bond1 -m set --match-set always_allowed_dst dst -j ACCEPT
-A PREROUTING-bond1 ! -d 10.78.76.9 -p tcp -m multiport --dports 80,443 -j REDIRECT --to-port 8080
:REALIP-SRC -
:POSTROUTING-bond0 -
-A POSTROUTING -o bond0 -m set --match-set realip_src src -j REALIP-SRC
-A POSTROUTING -o bond0 -j POSTROUTING-bond0

-A REALIP-DST -d 185.42.61.76 -j DNAT --to-destination 10.52.179.40
-A REALIP-DST -d 185.42.61.77 -j DNAT --to-destination 10.54.84.17

... 
-A REALIP-SRC -s 10.54.42.117 -j SNAT --to-source 93.92.199.2
-A REALIP-SRC -s 10.54.241.64 -j SNAT --to-source 93.92.199.11


...

-A POSTROUTING-bond0 -m set --match-set allowed_users src -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent
-A POSTROUTING-bond0 -m set --match-set always_allowed_dst dst -j SNAT --to-source 109.71.177.128-109.71.177.255 --persistent
-A POSTROUTING-bond0 -s 10.78.76.0/24 -j SNAT --to-source 109.71.176.3 --persistent
COMMIT

*filter
:INPUT ACCEPT
:FORWARD DROP
:OUTPUT ACCEPT
:SMTP -
:ACCEPT-NETFLOW -
-A OUTPUT -p icmp --icmp-type destination-unreachable -j DROP


...

"Неправильные" трансляции, то есть "выходящие" через внешний адрес самого сервера 109.71.176.3


root@nata2:~# conntrack -L |fgrep 5060|fgrep 109.71.176.3
udp      17 3599 src=10.53.110.61 dst=91.215.252.132 sport=5062 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5062 [ASSURED] mark=0 helper=sip use=1
udp      17 2728 src=85.25.237.51 dst=109.71.176.3 sport=5448 dport=5060 [uNREPLIED] src=109.71.176.3 dst=85.25.237.51 sport=5060 dport=5448 mark=0 helper=sip use=1
udp      17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5557 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5557 [ASSURED] mark=0 helper=sip use=1
udp      17 3598 src=10.54.171.80 dst=217.119.16.244 sport=5060 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=5060 mark=0 helper=sip use=1
udp      17 2507 src=50.30.37.55 dst=109.71.176.3 sport=5100 dport=5060 [uNREPLIED] src=109.71.176.3 dst=50.30.37.55 sport=5060 dport=5100 mark=0 helper=sip use=1
udp      17 3599 src=10.54.56.130 dst=217.119.16.244 sport=1041 dport=5060 [uNREPLIED] src=217.119.16.244 dst=109.71.176.3 sport=5060 dport=1041 mark=0 helper=sip use=1
udp      17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5555 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5555 [ASSURED] mark=0 helper=sip use=1
udp      17 3589 src=10.54.254.40 dst=79.175.9.162 sport=5559 dport=5060 src=79.175.9.162 dst=109.71.176.3 sport=5060 dport=5559 [ASSURED] mark=0 helper=sip use=1
udp      17 134 src=10.54.82.10 dst=213.170.81.130 sport=5060 dport=5068 src=213.170.81.130 dst=109.71.176.3 sport=5068 dport=5060 [ASSURED] mark=0 use=1
udp      17 2458 src=23.239.66.171 dst=109.71.176.3 sport=5137 dport=5060 [uNREPLIED] src=109.71.176.3 dst=23.239.66.171 sport=5060 dport=5137 mark=0 helper=sip use=1
udp      17 3598 src=10.53.110.61 dst=91.215.252.132 sport=5063 dport=5060 src=91.215.252.132 dst=109.71.176.3 sport=5060 dport=5063 [ASSURED] mark=0 helper=sip use=1
conntrack v1.4.2 (conntrack-tools): 148290 flow entries have been shown.

+1 Таже беда, делаю connatrack -F и все ок, пока не понял что за фигня

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

purecopper   

purecopper
Опубликовано (изменено) · Жалоба

Коллеги приветствую.

Столкнулся с проблемой следующего характера:

Имею тазик с тремя сетевыми адаптерами: две двухпортовых карты на 82576 и одна четырехпортовая на i350.

Интерфейсы карт на 82576 объединены в bond0 (eth2,eth3,eth4,eth5), интерфейсы карт на i350 объединены в bond1 (eth6,eth7,eth8,eth9).

Настройки всех интерфейсов одинаковые:

ethtool -G $i rx 4096

ethtool -G $i tx 4096

ethtool -K $i gso off

ethtool -K $i tso off

ethtool -K $i lro off

ethtool -K $i gro off

ifconfig $i txqueuelen 10000

 

Все интерфейсы прибиты вручную к ядрам:

 

 

42: 2 0 0 0 PCI-MSI-edge eth4

43: 2361745143 0 0 0 PCI-MSI-edge eth4-TxRx-0

44: 6 2432055601 0 0 PCI-MSI-edge eth4-TxRx-1

45: 7 0 3491767217 0 PCI-MSI-edge eth4-TxRx-2

46: 6 0 0 2412256920 PCI-MSI-edge eth4-TxRx-3

49: 2 0 0 0 PCI-MSI-edge eth5

50: 2357983832 0 0 0 PCI-MSI-edge eth5-TxRx-0

51: 5 2408909583 0 0 PCI-MSI-edge eth5-TxRx-1

52: 6 0 3482932147 0 PCI-MSI-edge eth5-TxRx-2

53: 5 0 0 2374477640 PCI-MSI-edge eth5-TxRx-3

54: 2 0 0 0 PCI-MSI-edge eth6

55: 3041691535 0 0 0 PCI-MSI-edge eth6-TxRx-0

56: 6 3039464955 0 0 PCI-MSI-edge eth6-TxRx-1

57: 6 0 3038197129 0 PCI-MSI-edge eth6-TxRx-2

58: 6 0 0 3051768879 PCI-MSI-edge eth6-TxRx-3

59: 2 0 0 0 PCI-MSI-edge eth7

60: 3039033221 0 0 0 PCI-MSI-edge eth7-TxRx-0

61: 6 3038474832 0 0 PCI-MSI-edge eth7-TxRx-1

62: 7 0 3031181650 0 PCI-MSI-edge eth7-TxRx-2

63: 6 0 0 3030970943 PCI-MSI-edge eth7-TxRx-3

64: 2 0 0 0 PCI-MSI-edge eth8

65: 3009825734 0 0 0 PCI-MSI-edge eth8-TxRx-0

66: 6 3095856164 0 0 PCI-MSI-edge eth8-TxRx-1

67: 6 0 3062733860 0 PCI-MSI-edge eth8-TxRx-2

68: 6 0 0 3053746724 PCI-MSI-edge eth8-TxRx-3

69: 2 0 0 0 PCI-MSI-edge eth9

70: 3066002463 0 0 0 PCI-MSI-edge eth9-TxRx-0

71: 6 3059085398 0 0 PCI-MSI-edge eth9-TxRx-1

72: 7 0 3019448698 0 PCI-MSI-edge eth9-TxRx-2

73: 6 0 0 3036058190 PCI-MSI-edge eth9-TxRx-3

74: 1 0 0 0 PCI-MSI-edge eth0

75: 49195988 0 0 0 PCI-MSI-edge eth0-TxRx-0

76: 20 221789206 0 0 PCI-MSI-edge eth0-TxRx-1

77: 17 0 40999804 0 PCI-MSI-edge eth0-TxRx-2

78: 39 0 0 48329204 PCI-MSI-edge eth0-TxRx-3

84: 2 0 0 0 PCI-MSI-edge eth2

85: 2467570186 0 0 0 PCI-MSI-edge eth2-TxRx-0

86: 7 2403531463 0 0 PCI-MSI-edge eth2-TxRx-1

87: 9 0 3497138505 0 PCI-MSI-edge eth2-TxRx-2

88: 7 0 0 2403906779 PCI-MSI-edge eth2-TxRx-3

89: 2 0 0 0 PCI-MSI-edge eth3

90: 2370508239 0 0 0 PCI-MSI-edge eth3-TxRx-0

91: 7 2373581416 0 0 PCI-MSI-edge eth3-TxRx-1

92: 7 0 3510585107 0 PCI-MSI-edge eth3-TxRx-2

93: 7 0 0 2328817206 PCI-MSI-edge eth3-TxRx-3

 

 

 

Нагрузка на CPU не превышает 25%.

 

 

Однако на интерфейсах eth2 eth3 идет рост rx_missed_errors и rx_fifo_errors. При этом количество rx_missed_errors=rx_fifo_errors. На других eth этого безобразия не наблюдается.

Вопрос: как победить эти самые errors? Перепробовал уже всё, что знал. Осталось только два варианта - поменять кабели и сетевые карты :)

 

Eth2 и Eth3 - интерфейсы одной сетевой карты. Заметил, что если отключить один из интерфейсов - eth2 или eth3, то на оставшемся включенным интерфейсе overruns перестают расти.

Изменено пользователем purecopper

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

purecopper   

purecopper
Опубликовано · Жалоба

Попутно возник еще один вопрос:

с чем может быть связан рост requeues?

tc -s qdisc show dev p1p2

 

 

qdisc mq 0: root

Sent 33405287928 bytes 31485972 pkt (dropped 0, overlimits 0 requeues 4863)

backlog 0b 0p requeues 4863

qdisc pfifo_fast 0: parent :1 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

Sent 8030468444 bytes 7813737 pkt (dropped 0, overlimits 0 requeues 1227)

backlog 0b 0p requeues 1227

qdisc pfifo_fast 0: parent :2 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

Sent 9146909779 bytes 8225652 pkt (dropped 0, overlimits 0 requeues 1229)

backlog 0b 0p requeues 1229

qdisc pfifo_fast 0: parent :3 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

Sent 7976481555 bytes 7666970 pkt (dropped 0, overlimits 0 requeues 1216)

backlog 0b 0p requeues 1216

qdisc pfifo_fast 0: parent :4 bands 3 priomap 1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

Sent 8251428260 bytes 7779614 pkt (dropped 0, overlimits 0 requeues 1191)

backlog 0b 0p requeues 1191

 

 

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

purecopper   

purecopper
Опубликовано · Жалоба

Продолжу разговор с собой:

Не надо заниматься фигней и городить кучу бондов. Одна карта 10G решила все проблемы :)

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

hsvt   

hsvt
Опубликовано · Жалоба

У меня кстати тоже самое на 82576 и bond.

 

ethtool -S eth0 | grep errors
    rx_crc_errors: 0
    rx_missed_errors: 19353
    tx_aborted_errors: 0
    tx_carrier_errors: 0
    tx_window_errors: 0
    rx_long_length_errors: 0
    rx_short_length_errors: 0
    rx_align_errors: 0
    rx_errors: 0
    tx_errors: 0
    rx_length_errors: 0
    rx_over_errors: 0
    rx_frame_errors: 0
    rx_fifo_errors: 19353
    tx_fifo_errors: 0
    tx_heartbeat_errors: 0

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

hsvt   

hsvt
Опубликовано (изменено) · Жалоба

hsvt

А какие адаптеры?

 

Мезонинная сетевая плата встроенная в серв.

 

*-network:0
      description: Ethernet interface
      product: 82576 Gigabit Network Connection
      vendor: Intel Corporation
      physical id: 0
      bus info: pci@0000:01:00.0
      logical name: eth0
      version: 01
      serial: 
      size: 1Gbit/s
      capacity: 1Gbit/s
      width: 32 bits
      clock: 33MHz
      capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
      configuration: autonegotiation=on broadcast=yes driver=igb driverversion=5.0.5-k duplex=full firmware=1.4.3 latency=0 link=yes multicast=yes port=twisted pair slave=yes speed=1Gbit/s
      resources: irq:17 memory:fbde0000-fbdfffff memory:fbdc0000-fbddffff ioport:dc00(size=32) memory:fbd9c000-fbd9ffff memory:fbda0000-fbdbffff

Изменено пользователем hsvt

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

purecopper   

purecopper
Опубликовано · Жалоба

Я боюсь, что это дело именно в ревизии сетевого адаптера. У меня на E1GT42ETBLK E43709-004 проблемы есть, а на E43709-006 проблем нет.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

mrsaygo   

mrsaygo
Опубликовано · Жалоба

Подскажите как правильнее раскидать прерывания на 4 ядра Intel® Core i5-3470 CPU @ 3.20GHz для карты x520-da1?

Думаю сделать 4 rx-tx очереди. Суть в том, что сетевушка будет работать как на вход так и на выход (2 in VLAN - n out VLAN (real_ip +NAT)).

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

aoz1   

aoz1
Опубликовано (изменено) · Жалоба

Не критично но просто интересно

X520-DA2 карта в LACP L3+4

 

драйвер из коробки:

# ethtool -i eth3

driver: ixgbe

version: 4.0.1-k

firmware-version: 0x61c10001

 

И вот такая штука на output. Причем на обоих портах все в 6 очередь пихает.

Я как то это smp_affinity выровнял, но все едино не по феншую. Хочется красивой едной кривой на загрузке камней.

Гуглил, man ethtool читал не помогло.

Такое ощущение что карта tx queue по dst макам делает, хотя карта там на десяток серверов работает.....

 

# ethtool -S eth3 | grep tx_queue

tx_queue_0_packets: 20818

tx_queue_0_bytes: 1384912

tx_queue_0_bp_napi_yield: 0

tx_queue_0_bp_misses: 0

tx_queue_0_bp_cleaned: 0

tx_queue_1_packets: 856

tx_queue_1_bytes: 62285

tx_queue_1_bp_napi_yield: 0

tx_queue_1_bp_misses: 0

tx_queue_1_bp_cleaned: 0

tx_queue_2_packets: 65686

tx_queue_2_bytes: 8098269

tx_queue_2_bp_napi_yield: 0

tx_queue_2_bp_misses: 0

tx_queue_2_bp_cleaned: 0

tx_queue_3_packets: 964

tx_queue_3_bytes: 68760

tx_queue_3_bp_napi_yield: 0

tx_queue_3_bp_misses: 0

tx_queue_3_bp_cleaned: 0

tx_queue_4_packets: 816

tx_queue_4_bytes: 58324

tx_queue_4_bp_napi_yield: 0

tx_queue_4_bp_misses: 0

tx_queue_4_bp_cleaned: 0

tx_queue_5_packets: 1142

tx_queue_5_bytes: 79929

tx_queue_5_bp_napi_yield: 0

tx_queue_5_bp_misses: 0

tx_queue_5_bp_cleaned: 0

tx_queue_6_packets: 318893245294

tx_queue_6_bytes: 218358074464684

tx_queue_6_bp_napi_yield: 0

tx_queue_6_bp_misses: 0

tx_queue_6_bp_cleaned: 0

tx_queue_7_packets: 1058

tx_queue_7_bytes: 72800

tx_queue_7_bp_napi_yield: 0

tx_queue_7_bp_misses: 0

tx_queue_7_bp_cleaned: 0

tx_queue_8_packets: 1080

tx_queue_8_bytes: 77069

tx_queue_8_bp_napi_yield: 0

tx_queue_8_bp_misses: 0

tx_queue_8_bp_cleaned: 0

tx_queue_9_packets: 892

tx_queue_9_bytes: 64127

tx_queue_9_bp_napi_yield: 0

tx_queue_9_bp_misses: 0

tx_queue_9_bp_cleaned: 0

tx_queue_10_packets: 901

tx_queue_10_bytes: 64288

tx_queue_10_bp_napi_yield: 0

tx_queue_10_bp_misses: 0

tx_queue_10_bp_cleaned: 0

tx_queue_11_packets: 1029

tx_queue_11_bytes: 71806

tx_queue_11_bp_napi_yield: 0

tx_queue_11_bp_misses: 0

tx_queue_11_bp_cleaned: 0

tx_queue_12_packets: 3594732

tx_queue_12_bytes: 151007867

tx_queue_12_bp_napi_yield: 0

tx_queue_12_bp_misses: 0

tx_queue_12_bp_cleaned: 0

tx_queue_13_packets: 864

tx_queue_13_bytes: 62131

tx_queue_13_bp_napi_yield: 0

tx_queue_13_bp_misses: 0

tx_queue_13_bp_cleaned: 0

tx_queue_14_packets: 3547

tx_queue_14_bytes: 283836

tx_queue_14_bp_napi_yield: 0

tx_queue_14_bp_misses: 0

tx_queue_14_bp_cleaned: 0

tx_queue_15_packets: 905

tx_queue_15_bytes: 64475

tx_queue_15_bp_napi_yield: 0

tx_queue_15_bp_misses: 0

Изменено пользователем aoz1

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

kayot   

kayot
Опубликовано · Жалоба

А зачем вам этот tx, типа он какую-то загрузку дает.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

aoz1   

aoz1
Опубликовано · Жалоба

А зачем вам этот tx, типа он какую-то загрузку дает.

Мах 26 Мax 32 то есть на 6 процентов загрузки больше при нагузке остальных камней 26

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

hsvt   

hsvt
Опубликовано (изменено) · Жалоба 

/usr/bin/python -Es /usr/sbin/tuned -l -P

 

Вот этот редхатовский демон на софт роутере нужен ли? Есть ли от его профилей польза какая то или он ручные настройки посбивает? Кто как вообще отключает его или оставляют на роутерах?

Изменено пользователем hsvt

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

hsvt   

hsvt
Опубликовано · Жалоба

UPD.

Плюс еще вопрос, перешёл с 3.18.34 на 3.18.37 (ОС CentOS7, accel-pppd, NAT, ipt_netflow) и получаю oom + постоянный memory leak.

 

    
total        used        free      shared  buff/cache   available
Mem:            23G        1.6G         21G        8.6M        577M         21G
Swap:           16G          0B         16G
total        used        free      shared  buff/cache   available

Mem:            23G        1.7G         21G        8.6M        577M         21G
Swap:           16G          0B         16G
total        used        free      shared  buff/cache   available

Mem:            23G        1.8G         21G        8.6M        577M         21G
Swap:           16G          0B         16G

Несовместимость CentOS7 с ванильным ядром 3.18.37 или просто баг какой то в 37 ветке? Может кто подскажет что, еще грешу на systemd, на софт роутерах обычно выпиливают его ?

post-95497-005185900 1469975263_thumb.png

post-95497-048311700 1469975267_thumb.png

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

roysbike   

roysbike
Опубликовано · Жалоба

Подскажите как правильнее раскидать прерывания на 4 ядра Intel® Core i5-3470 CPU @ 3.20GHz для карты x520-da1?

Думаю сделать 4 rx-tx очереди. Суть в том, что сетевушка будет работать как на вход так и на выход (2 in VLAN - n out VLAN (real_ip +NAT)).

4 ядра , 4 очереди. Я бы так делал. Получается на каждое ядро , одна очередь.

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

telecom   

telecom
Опубликовано · Жалоба

В 3.18.37 поломали память. Ставьте 3.18.36

Поделиться сообщением

Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.

×
Перейти к списку тем Программное обеспечение, биллинг и *unix системы