Jump to content
Калькуляторы

Linux softrouter

Всех с Днём!

 

Коллеги, сегодня на одном тазике поймал такой лог, при этом были отвали браса по пингу и высокий conntrack до 500к, спад сессий.

 

Jul 28 02:01:41 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <20f>#012  TDT                  <20f>#012  next_to_use          <20f>#012  next_to_clean        <166>#012buffer_info[next_to_clean]#012  time_stamp           <197f40f29>#012  next_to_watch        <ffff880330941660>#012  jiffies              <197f4131a>#012  desc.status          <1a4001>
Jul 28 02:01:45 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012  Tx Queue             <3>#012  TDH                  <30f>#012  TDT                  <30f>#012  next_to_use          <30f>#012  next_to_clean        <276>#012buffer_info[next_to_clean]#012  time_stamp           <197f41c83>#012  next_to_watch        <ffff8803301e2760>#012  jiffies              <197f4252d>#012  desc.status          <184001>
Jul 28 02:01:45 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <619>#012  TDT                  <619>#012  next_to_use          <619>#012  next_to_clean        <5a0>#012buffer_info[next_to_clean]#012  time_stamp           <197f41c58>#012  next_to_watch        <ffff880330945a00>#012  jiffies              <197f42533>#012  desc.status          <f8001>
Jul 28 02:01:50 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012  Tx Queue             <3>#012  TDH                  <7e4>#012  TDT                  <7e4>#012  next_to_use          <7e4>#012  next_to_clean        <754>#012buffer_info[next_to_clean]#012  time_stamp           <197f42e32>#012  next_to_watch        <ffff8803301e7540>#012  jiffies              <197f4376b>#012  desc.status          <108001>
Jul 28 02:01:51 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012  Tx Queue             <3>#012  TDH                  <8e5>#012  TDT                  <8e5>#012  next_to_use          <8e5>#012  next_to_clean        <894>#012buffer_info[next_to_clean]#012  time_stamp           <197f4381b>#012  next_to_watch        <ffff8803301e8940>#012  jiffies              <197f43d8a>#012  desc.status          <17b8001>
Jul 28 02:01:51 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <db2>#012  TDT                  <db2>#012  next_to_use          <db2>#012  next_to_clean        <cc2>#012buffer_info[next_to_clean]#012  time_stamp           <197f43771>#012  next_to_watch        <ffff88033094cc20>#012  jiffies              <197f43d8f>#012  desc.status          <d8001>
Jul 28 02:01:54 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012  Tx Queue             <3>#012  TDH                  <c0a>#012  TDT                  <c0a>#012  next_to_use          <c0a>#012  next_to_clean        <b4f>#012buffer_info[next_to_clean]#012  time_stamp           <197f4436e>#012  next_to_watch        <ffff8803301eb4f0>#012  jiffies              <197f4476b>#012  desc.status          <a8001>
Jul 28 02:01:54 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <7a>#012  TDT                  <7a>#012  next_to_use          <7a>#012  next_to_clean        <fec>#012buffer_info[next_to_clean]#012  time_stamp           <197f4436e>#012  next_to_watch        <ffff88033094fec0>#012  jiffies              <197f44770>#012  desc.status          <d8001>
Jul 28 02:01:57 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012  Tx Queue             <3>#012  TDH                  <fd6>#012  TDT                  <fd6>#012  next_to_use          <fd6>#012  next_to_clean        <ecf>#012buffer_info[next_to_clean]#012  time_stamp           <197f44b0e>#012  next_to_watch        <ffff8803301eecf0>#012  jiffies              <197f4536d>#012  desc.status          <138001>
Jul 28 02:05:55 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <e93>#012  TDT                  <e93>#012  next_to_use          <e93>#012  next_to_clean        <d8a>#012buffer_info[next_to_clean]#012  time_stamp           <197f7efc6>#012  next_to_watch        <ffff88033094d8a0>#012  jiffies              <197f7f400>#012  desc.status          <dc001>
Jul 28 02:06:01 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <6dd>#012  TDT                  <6dd>#012  next_to_use          <6dd>#012  next_to_clean        <62f>#012buffer_info[next_to_clean]#012  time_stamp           <197f809c0>#012  next_to_watch        <ffff8803309462f0>#012  jiffies              <197f80dc9>#012  desc.status          <d8001>
Jul 28 02:06:03 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <855>#012  TDT                  <855>#012  next_to_use          <855>#012  next_to_clean        <7b4>#012buffer_info[next_to_clean]#012  time_stamp           <197f80e73>#012  next_to_watch        <ffff880330947b40>#012  jiffies              <197f8148e>#012  desc.status          <268001>
Jul 28 02:06:10 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <d88>#012  TDT                  <d88>#012  next_to_use          <d88>#012  next_to_clean        <cd2>#012buffer_info[next_to_clean]#012  time_stamp           <197f827ea>#012  next_to_watch        <ffff88033094cd20>#012  jiffies              <197f82f40>#012  desc.status          <128001>
Jul 28 02:06:11 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <d88>#012  TDT                  <d88>#012  next_to_use          <d88>#012  next_to_clean        <d55>#012buffer_info[next_to_clean]#012  time_stamp           <197f82b49>#012  next_to_watch        <ffff88033094d550>#012  jiffies              <197f8350a>#012  desc.status          <178001>
Jul 28 02:06:13 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <e45>#012  TDT                  <e45>#012  next_to_use          <e45>#012  next_to_clean        <e11>#012buffer_info[next_to_clean]#012  time_stamp           <197f83872>#012  next_to_watch        <ffff88033094e110>#012  jiffies              <197f83c91>#012  desc.status          <238001>
Jul 28 02:06:18 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <cb>#012  TDT                  <cb>#012  next_to_use          <cb>#012  next_to_clean        <56>#012buffer_info[next_to_clean]#012  time_stamp           <197f84587>#012  next_to_watch        <ffff880330940560>#012  jiffies              <197f84d76>#012  desc.status          <1bc001>
Jul 28 02:06:20 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <1c6>#012  TDT                  <1c6>#012  next_to_use          <1c6>#012  next_to_clean        <150>#012buffer_info[next_to_clean]#012  time_stamp           <197f85127>#012  next_to_watch        <ffff880330941500>#012  jiffies              <197f855b2>#012  desc.status          <268001>
Jul 28 02:06:24 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <332>#012  TDT                  <332>#012  next_to_use          <332>#012  next_to_clean        <2d0>#012buffer_info[next_to_clean]#012  time_stamp           <197f86047>#012  next_to_watch        <ffff880330942d00>#012  jiffies              <197f865b3>#012  desc.status          <158001>
Jul 28 02:06:27 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <49c>#012  TDT                  <49c>#012  next_to_use          <49c>#012  next_to_clean        <449>#012buffer_info[next_to_clean]#012  time_stamp           <197f86dff>#012  next_to_watch        <ffff880330944490>#012  jiffies              <197f87297>#012  desc.status          <88001>
Jul 28 02:06:31 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <643>#012  TDT                  <643>#012  next_to_use          <643>#012  next_to_clean        <5ae>#012buffer_info[next_to_clean]#012  time_stamp           <197f87c25>#012  next_to_watch        <ffff880330945ae0>#012  jiffies              <197f88201>#012  desc.status          <108001>
Jul 28 02:06:33 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012  Tx Queue             <3>#012  TDH                  <a43>#012  TDT                  <a43>#012  next_to_use          <a43>#012  next_to_clean        <9dc>#012buffer_info[next_to_clean]#012  time_stamp           <197f8836a>#012  next_to_watch        <ffff8803301e9dc0>#012  jiffies              <197f88aba>#012  desc.status          <8b8001>
Jul 28 02:06:33 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <740>#012  TDT                  <740>#012  next_to_use          <740>#012  next_to_clean        <6bd>#012buffer_info[next_to_clean]#012  time_stamp           <197f885e9>#012  next_to_watch        <ffff880330946bd0>#012  jiffies              <197f88abe>#012  desc.status          <268001>
Jul 28 02:06:36 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <87c>#012  TDT                  <87c>#012  next_to_use          <87c>#012  next_to_clean        <7cc>#012buffer_info[next_to_clean]#012  time_stamp           <197f88abe>#012  next_to_watch        <ffff880330947cc0>#012  jiffies              <197f89425>#012  desc.status          <138001>
Jul 28 02:06:38 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <930>#012  TDT                  <930>#012  next_to_use          <930>#012  next_to_clean        <8d7>#012buffer_info[next_to_clean]#012  time_stamp           <197f89644>#012  next_to_watch        <ffff880330948d70>#012  jiffies              <197f89cca>#012  desc.status          <268001>
Jul 28 02:06:46 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <f11>#012  TDT                  <f11>#012  next_to_use          <f11>#012  next_to_clean        <e5b>#012buffer_info[next_to_clean]#012  time_stamp           <197f8b381>#012  next_to_watch        <ffff88033094e5b0>#012  jiffies              <197f8bad4>#012  desc.status          <f8001>
Jul 28 02:06:51 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <311>#012  TDT                  <311>#012  next_to_use          <311>#012  next_to_clean        <283>#012buffer_info[next_to_clean]#012  time_stamp           <197f8cbbe>#012  next_to_watch        <ffff880330942830>#012  jiffies              <197f8d099>#012  desc.status          <268001>
Jul 28 02:06:56 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <641>#012  TDT                  <641>#012  next_to_use          <641>#012  next_to_clean        <593>#012buffer_info[next_to_clean]#012  time_stamp           <197f8dce1>#012  next_to_watch        <ffff880330945930>#012  jiffies              <197f8e180>#012  desc.status          <128001>
Jul 28 02:06:57 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012  Tx Queue             <0>#012  TDH                  <723>#012  TDT                  <723>#012  next_to_use          <723>#012  next_to_clean        <698>#012buffer_info[next_to_clean]#012  time_stamp           <197f8e3af>#012  next_to_watch        <ffff880330946980>#012  jiffies              <197f8e7de>#012  desc.status          <138001>

 

Версия igb 5.3.5.4, ядро 4.9.31

 

01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
03:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
03:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)

 

/sbin/ethtool -G em1 rx 4096 tx 4096
/sbin/ethtool -G em2 rx 4096 tx 4096
/sbin/ethtool -K em1 tso off gso off gro off lro off tx off rx off rxvlan off txvlan off
/sbin/ethtool -K em2 tso off gso off gro off lro off tx off rx off rxvlan off txvlan off

 

Весь тюнинг стандартный для Linux BRAS, если что-то еще нужно - могу приложить сюда выводы.

 

Забыл сказать, сессий (PPPoE) было всего 1К на момент падения, через минуту упало до 730

 

ethtool -S em1  | grep -E 'error|fail|buffer'
    rx_crc_errors: 5
    rx_no_buffer_count: 3039
    rx_missed_errors: 227147
    tx_aborted_errors: 0
    tx_carrier_errors: 0
    tx_window_errors: 0
    rx_long_length_errors: 0
    rx_short_length_errors: 0
    rx_align_errors: 0
    tx_tcp_seg_failed: 0
    rx_errors: 10
    tx_errors: 0
    rx_length_errors: 0
    rx_over_errors: 0
    rx_frame_errors: 0
    rx_fifo_errors: 227147
    tx_fifo_errors: 0
    tx_heartbeat_errors: 0
    rx_queue_0_alloc_failed: 0
    rx_queue_1_alloc_failed: 0
    rx_queue_2_alloc_failed: 0
    rx_queue_3_alloc_failed: 0
    rx_queue_4_alloc_failed: 0
    rx_queue_5_alloc_failed: 0

Edited by hsvt

Share this post


Link to post
Share on other sites

Не хочется вынимать процессор физически,

1. можно на этапе загрузки linux как бы отключить один процессор - чтобы linux задействовал только один процессор и посмотреть какой прирост в pps получиться?

Или без физического вынимания программно эту хотелку не реализовать?

2.Если память у одного процессора вынуть, и прибить прерывания с сетевой к процессору который с памятью - это может равнозначно походить на тест системы с одним процессором или все равно оба процессора в системе вяжутся аппаратно и снижают производительность. Если память у одного проца вынуть то numa node в linux остается одна.

 

В этой ветке говорили что лучше иметь один проц но быстрый, для задачи пропуска pps.

Хочется решить - заморачиваться покупкой более быстрого процессора или нет.

Оставляли по одному ядру у двух CPU в BIOS и получили что одно ядро вместо 600 kpps пропустило 1,5 млн pps. память в этом случае была у двух процессоров.

 

Вынули один проц и оставили две планки памяти (два канала) у оставшегося проца. И результат более чем странный. Без потерь система пропустила 400 kpps для очереди, очередь прибита к ядру.

Должно же быть лучше чем в случае с двумя процами и 4 мя планками памяти (по крайней мере пишут в этой ветке что должно быть лучше) ? Чем можно объяснить такой результат? Что попробовать покрутить, проверить?

Edited by QWE

Share this post


Link to post
Share on other sites

Коллеги, сегодня на одном тазике поймал такой лог, при этом были отвали браса по пингу и высокий conntrack до 500к, спад сессий.

попробуйте уменьшить кол-во буферов до 1024. у меня при подземных стуках на одном брасе (из-за какого-то корявого клиента похоже) это добавило стабильности.

Share this post


Link to post
Share on other sites

Коллеги, сегодня на одном тазике поймал такой лог, при этом были отвали браса по пингу и высокий conntrack до 500к, спад сессий.

попробуйте уменьшить кол-во буферов до 1024. у меня при подземных стуках на одном брасе (из-за какого-то корявого клиента похоже) это добавило стабильности.

 

Попробую, спасибо.

 

У меня на самих интерфейсах так же видны rx error, dropped и overruns, последнее предполагаю где то не пролазит MTU, попробую исправить.

 

Одна двух портовая 85576 on board и вторая в PCI-E

 

ifconfig em1
em1: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST>  mtu 9200
       ether 00:26:6c:f1:3c:28  txqueuelen 10000  (Ethernet)
       RX packets 68337737229  bytes 58124931419722 (52.8 TiB)
       RX errors 10  dropped 227147  overruns 227147  frame 5
       TX packets 49273960292  bytes 43590769364327 (39.6 TiB)
       TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ifconfig em2
em2: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST>  mtu 9200
       ether 00:26:6c:f1:3c:28  txqueuelen 10000  (Ethernet)
       RX packets 50381709301  bytes 44237709092000 (40.2 TiB)
       RX errors 10  dropped 22898  overruns 22898  frame 5
       TX packets 67739913634  bytes 61283008929614 (55.7 TiB)
       TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ifconfig p55p1
p55p1: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST>  mtu 9200
       ether 00:26:6c:f1:3c:28  txqueuelen 10000  (Ethernet)
       RX packets 40845429721  bytes 37807386271638 (34.3 TiB)
       RX errors 6  dropped 410723  overruns 410723  frame 3
       TX packets 37975115953  bytes 30998574839168 (28.1 TiB)
       TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ifconfig p55p2
p55p2: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST>  mtu 9200
       ether 00:26:6c:f1:3c:28  txqueuelen 10000  (Ethernet)
       RX packets 55487171174  bytes 47185924734817 (42.9 TiB)
       RX errors 2  dropped 869251  overruns 869251  frame 1
       TX packets 56374607622  bytes 51539813036696 (46.8 TiB)
       TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ifconfig bond0
bond0: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST>  mtu 9200
       inet 10.10.15.35  netmask 255.255.255.0  broadcast 10.10.15.255
       ether 00:26:6c:f1:3c:28  txqueuelen 10000  (Ethernet)
       RX packets 215049993201  bytes 187354169936396 (170.3 TiB)
       RX errors 28  dropped 1537674  overruns 1530019  frame 14
       TX packets 211361689134  bytes 187410668594494 (170.4 TiB)
       TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

 

Еще можно попробовать отключить autonegation со стороны браса?

 

Нашёл тут http://forum.nag.ru/forum/index.php?showtopic=100587 вылечивали откатом драйвера igb на 5.2.5, хотя недавно вышел уже 5.3.5.7

Edited by hsvt

Share this post


Link to post
Share on other sites

Какое ядро лучше использовать под NAT-бокс?

4.12 ветки? Или лучше что-то постарее из LTS, 4.9.40 на сегодня?

 

P.S. счастливые времена когда хватало адресов для работы без НАТа подходят к концу, возвращаемся в темное прошлое..

Share this post


Link to post
Share on other sites

Хочу перевезти пару брасов на 10G, из выбора есть две карточки на одном и том же чипе 82599. 

 

https://shop.nag.ru/catalog/02273.Setevye-karty/20414.Setevye-karty-10G/15343.PE210G2SPi9A-XR

 

https://shop.nag.ru/catalog/02273.Setevye-karty/20414.Setevye-karty-10G/23656.E10G42BTDABLK

 

Практически всё тоже самое, разница лишь в цене, производителе и первая кушает все SFP+ модули, но это вроде как решается загрузкой модуля с параметром allow_unsupported_sfp?

 

Есть ли смысл переплачивать за "родную" X520-DA2 или хватит такого же силикона? В принципе первая карточка уже одна такая есть, но пока что не в работе.

 

Edited by hsvt

Share this post


Link to post
Share on other sites

Собираю новую молотилку Accel-ppp (PPTP PPPoE IPoE) на одном Intel(R) Xeon(R) CPU E5-2690 0 @ 2.90GHz материнка и сетевая. 4 порта на материнке будут объеденные в один bond и на сетевой во второй bond. Ручками все прерывания прибить к ядрам. Операционную Debian 9. Ядро какое стабильное посоветуете? Или оставить стоковое 4.9.0-4-amd64? Сейчас сервер на 3.18.36

 

Edited by arhead

Share this post


Link to post
Share on other sites

По опыту эксплуатации трех брасов с бондингом и потом их же без бондинга на 10G картах рекомендую сразу закладываться на 10G, если 1G уже переросли. Вдруг неожиданно на том же железе можно прокачать больше трафика и все это при хааарошем падении нагрузки на процессор.

Share this post


Link to post
Share on other sites
39 минут назад, taf_321 сказал:

рекомендую сразу закладываться на 10G

Извините, что влезаю в чужую тему, а какие 10G карточки под софтроутер смотреть? X520? X710?

Share this post


Link to post
Share on other sites
53 минуты назад, taf_321 сказал:

рекомендую сразу закладываться на 10G, если 1G уже переросли.

Это в планах. Просто надо менять ядро. Так что пока что бондинги. Сейчас трафика не более 1,6G. Intel(R) Xeon(R) CPU E5507 2.27GHz Уже не вытягивает вот решил машинку новую собрать.

Сейчас работает но в пике нагрузок некотрые ядра под 98 загружаются и абоненты начали жаловаться вечером. Вот думаю остаться на 3.18.36 или поновее поставить. Как я понял ванильное лучше всегда собирать.

Share this post


Link to post
Share on other sites
2 часа назад, TheUser сказал:

Извините, что влезаю в чужую тему, а какие 10G карточки под софтроутер смотреть? X520? X710?

Используем 520-е, пашут и не жужжат.

Share this post


Link to post
Share on other sites
33 минуты назад, taf_321 сказал:

Используем 520-е, пашут и не жужжат.

А у Вас Accel? Если не секрет не скажите ОС и версию ядра (ванильное?) и драйвер igb. А то на форуме находил что с каким то проблемы есть

 

Share this post


Link to post
Share on other sites
2 часа назад, arhead сказал:

Это в планах. Просто надо менять ядро. Так что пока что бондинги. Сейчас трафика не более 1,6G. Intel(R) Xeon(R) CPU E5507 2.27GHz Уже не вытягивает вот решил машинку новую собрать.

E5450  @ 3.00GHz аналогично начинал подтупливать на суммарных ~2.5G (~1.7G в одну и 0.8G в другую стороны) процессоры плавали в районе 70-80%. После установки десятки нагрузка в ЧНН упала по процессорам до 30% (шейпер, NAT, и iptables+ipset), клиенты трафик пока смогли разогнать до 3.5G.

 

И еще я выхватил незабываемые ощущения, когда с бондингом ядра новее 3.14 уходили в затуп и в рестарты с дикими загрузкой процессоров от __netif_receive_skb . На нормальной сетевой карте такого не проявляется.

 

6 минут назад, arhead сказал:

А у Вас Accel? Если не секрет не скажите ОС и версию ядра (ванильное?) и драйвер igb. А то на форуме находил что с каким то проблемы есть

ALT Linux P7 догнанная до P8 с последними апдейтами.


 

Linux BRAS-1 4.9.75-std-def-alt0.M80P.1 #1 SMP Tue Jan 9 05:32:03 UTC 2018 x86_64 GNU/Linux


 modinfo ixgbe
filename:       /lib/modules/4.9.75-std-def-alt0.M80P.1/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko
version:        5.2.1
license:        GPL
description:    Intel(R) 10GbE PCI Express Linux Network Driver

Ядро AS IS от дистрибутива.

Share this post


Link to post
Share on other sites

Доброго времени суток, друзья.
 

Планируем приобрести две машины:
HP Proliant DL360 G6 с
x5690 x2
16Гб ОЗУ
2x460W
HP Smart Array P410i / 256 MB + Battery
HW Raid 1 из SSD (SB128GB-LP-25SAT3)

intel l350-t4
iLO2

 

Что будет:
opnsense + suricata (с сигнатурами от suricata + snort)

 

Что требуется:

BGP Community
NAT
Запихнуть два провайдера
Кластеризация (резервирование)
IPS - в надежде отфильтровать хоть что-то, без участия человека
VPN сервер

p.s.
Будем мониторить машину и всё, что на ней средствами zabbix
Так же прикрутитим elk и moloch

На что рассчитываем:

по локалке будем гонять хлам до 500mps (в определённое время суток, когда нет трафика).
У двух провайдеров канал по 100mps. Один провайдер с BGP Community, на которого ожидаем атаки до 1gps и 500k pps. На второго провайдера атаки не ожидаем, но канал загружен под завязку.
Если мы не держим атаку на первого провайдера, то в ход идут аплинки и фильтрует уже провайдер.

Каких камней в огород ожидать?

Edited by JetA

Share this post


Link to post
Share on other sites

Запустил сервер в бой. Прерывания ручками прибил "лесенкой". В пиках нагрузка на ядрах не превышает и 30 % но вот или последнее (пробовал распределять прерывания с первого ядра и с последнего) ядра куда прибиты прерывания ethX-TxRx-0 в пиках и до 100% процентов допрыгивает. Неужели это все из-за бондинга и вланов? У кого нить была такая ситуация. На сервере шейпер htb управляется акцелем.

Share this post


Link to post
Share on other sites

 

3 минуты назад, zhenya` сказал:

это из-за гавносетевухи без очередей.

Обе сетевые встроенная и дополнительная на Intel i350.

Share this post


Link to post
Share on other sites

собственно те ethX, где в списке прерываний TxRX нельзя использовать для более менее серьезного трафика.

меняйте на 520 и все.

Share this post


Link to post
Share on other sites
12 минут назад, zhenya` сказал:

меняйте на 520 и все.

На 10 Гб переход в планах. Тогда зачем их 8 штук?

IR-PCI-MSI-edge      eth0-TxRx-0

IR-PCI-MSI-edge      eth0-TxRx-1
IR-PCI-MSI-edge      eth0-TxRx-2
IR-PCI-MSI-edge      eth0-TxRx-3
IR-PCI-MSI-edge      eth0-TxRx-4
IR-PCI-MSI-edge      eth0-TxRx-5
IR-PCI-MSI-edge      eth0-TxRx-6
IR-PCI-MSI-edge      eth0-TxRx-7

Edited by arhead

Share this post


Link to post
Share on other sites
10 минут назад, zhenya` сказал:

собственно те ethX, где в списке прерываний TxRX нельзя использовать для более менее серьезного трафика.

меняйте на 520 и все.

Да ну? Люди юзают и не знают...

Share this post


Link to post
Share on other sites

ну если их 8 то это другое дело. если прерывания только в одной из очередей, то это скорее всего из-за пппое. И надо применить магию.

Share this post


Link to post
Share on other sites

А вот как раз пппое есть. Не подскажите какую магию?)

Share this post


Link to post
Share on other sites
2 минуты назад, arhead сказал:

А вот как раз пппое есть. Не подскажите какую магию?)

RPS нужен.

Share this post


Link to post
Share on other sites
20 минут назад, zhenya` сказал:

RPS нужен.

Спасибо!

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now