hsvt Опубликовано 28 июля, 2017 (изменено) · Жалоба Всех с Днём! Коллеги, сегодня на одном тазике поймал такой лог, при этом были отвали браса по пингу и высокий conntrack до 500к, спад сессий. Jul 28 02:01:41 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <20f>#012 TDT <20f>#012 next_to_use <20f>#012 next_to_clean <166>#012buffer_info[next_to_clean]#012 time_stamp <197f40f29>#012 next_to_watch <ffff880330941660>#012 jiffies <197f4131a>#012 desc.status <1a4001> Jul 28 02:01:45 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012 Tx Queue <3>#012 TDH <30f>#012 TDT <30f>#012 next_to_use <30f>#012 next_to_clean <276>#012buffer_info[next_to_clean]#012 time_stamp <197f41c83>#012 next_to_watch <ffff8803301e2760>#012 jiffies <197f4252d>#012 desc.status <184001> Jul 28 02:01:45 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <619>#012 TDT <619>#012 next_to_use <619>#012 next_to_clean <5a0>#012buffer_info[next_to_clean]#012 time_stamp <197f41c58>#012 next_to_watch <ffff880330945a00>#012 jiffies <197f42533>#012 desc.status <f8001> Jul 28 02:01:50 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012 Tx Queue <3>#012 TDH <7e4>#012 TDT <7e4>#012 next_to_use <7e4>#012 next_to_clean <754>#012buffer_info[next_to_clean]#012 time_stamp <197f42e32>#012 next_to_watch <ffff8803301e7540>#012 jiffies <197f4376b>#012 desc.status <108001> Jul 28 02:01:51 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012 Tx Queue <3>#012 TDH <8e5>#012 TDT <8e5>#012 next_to_use <8e5>#012 next_to_clean <894>#012buffer_info[next_to_clean]#012 time_stamp <197f4381b>#012 next_to_watch <ffff8803301e8940>#012 jiffies <197f43d8a>#012 desc.status <17b8001> Jul 28 02:01:51 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <db2>#012 TDT <db2>#012 next_to_use <db2>#012 next_to_clean <cc2>#012buffer_info[next_to_clean]#012 time_stamp <197f43771>#012 next_to_watch <ffff88033094cc20>#012 jiffies <197f43d8f>#012 desc.status <d8001> Jul 28 02:01:54 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012 Tx Queue <3>#012 TDH <c0a>#012 TDT <c0a>#012 next_to_use <c0a>#012 next_to_clean <b4f>#012buffer_info[next_to_clean]#012 time_stamp <197f4436e>#012 next_to_watch <ffff8803301eb4f0>#012 jiffies <197f4476b>#012 desc.status <a8001> Jul 28 02:01:54 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <7a>#012 TDT <7a>#012 next_to_use <7a>#012 next_to_clean <fec>#012buffer_info[next_to_clean]#012 time_stamp <197f4436e>#012 next_to_watch <ffff88033094fec0>#012 jiffies <197f44770>#012 desc.status <d8001> Jul 28 02:01:57 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012 Tx Queue <3>#012 TDH <fd6>#012 TDT <fd6>#012 next_to_use <fd6>#012 next_to_clean <ecf>#012buffer_info[next_to_clean]#012 time_stamp <197f44b0e>#012 next_to_watch <ffff8803301eecf0>#012 jiffies <197f4536d>#012 desc.status <138001> Jul 28 02:05:55 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <e93>#012 TDT <e93>#012 next_to_use <e93>#012 next_to_clean <d8a>#012buffer_info[next_to_clean]#012 time_stamp <197f7efc6>#012 next_to_watch <ffff88033094d8a0>#012 jiffies <197f7f400>#012 desc.status <dc001> Jul 28 02:06:01 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <6dd>#012 TDT <6dd>#012 next_to_use <6dd>#012 next_to_clean <62f>#012buffer_info[next_to_clean]#012 time_stamp <197f809c0>#012 next_to_watch <ffff8803309462f0>#012 jiffies <197f80dc9>#012 desc.status <d8001> Jul 28 02:06:03 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <855>#012 TDT <855>#012 next_to_use <855>#012 next_to_clean <7b4>#012buffer_info[next_to_clean]#012 time_stamp <197f80e73>#012 next_to_watch <ffff880330947b40>#012 jiffies <197f8148e>#012 desc.status <268001> Jul 28 02:06:10 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <d88>#012 TDT <d88>#012 next_to_use <d88>#012 next_to_clean <cd2>#012buffer_info[next_to_clean]#012 time_stamp <197f827ea>#012 next_to_watch <ffff88033094cd20>#012 jiffies <197f82f40>#012 desc.status <128001> Jul 28 02:06:11 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <d88>#012 TDT <d88>#012 next_to_use <d88>#012 next_to_clean <d55>#012buffer_info[next_to_clean]#012 time_stamp <197f82b49>#012 next_to_watch <ffff88033094d550>#012 jiffies <197f8350a>#012 desc.status <178001> Jul 28 02:06:13 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <e45>#012 TDT <e45>#012 next_to_use <e45>#012 next_to_clean <e11>#012buffer_info[next_to_clean]#012 time_stamp <197f83872>#012 next_to_watch <ffff88033094e110>#012 jiffies <197f83c91>#012 desc.status <238001> Jul 28 02:06:18 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <cb>#012 TDT <cb>#012 next_to_use <cb>#012 next_to_clean <56>#012buffer_info[next_to_clean]#012 time_stamp <197f84587>#012 next_to_watch <ffff880330940560>#012 jiffies <197f84d76>#012 desc.status <1bc001> Jul 28 02:06:20 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <1c6>#012 TDT <1c6>#012 next_to_use <1c6>#012 next_to_clean <150>#012buffer_info[next_to_clean]#012 time_stamp <197f85127>#012 next_to_watch <ffff880330941500>#012 jiffies <197f855b2>#012 desc.status <268001> Jul 28 02:06:24 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <332>#012 TDT <332>#012 next_to_use <332>#012 next_to_clean <2d0>#012buffer_info[next_to_clean]#012 time_stamp <197f86047>#012 next_to_watch <ffff880330942d00>#012 jiffies <197f865b3>#012 desc.status <158001> Jul 28 02:06:27 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <49c>#012 TDT <49c>#012 next_to_use <49c>#012 next_to_clean <449>#012buffer_info[next_to_clean]#012 time_stamp <197f86dff>#012 next_to_watch <ffff880330944490>#012 jiffies <197f87297>#012 desc.status <88001> Jul 28 02:06:31 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <643>#012 TDT <643>#012 next_to_use <643>#012 next_to_clean <5ae>#012buffer_info[next_to_clean]#012 time_stamp <197f87c25>#012 next_to_watch <ffff880330945ae0>#012 jiffies <197f88201>#012 desc.status <108001> Jul 28 02:06:33 bras3 kernel: igb 0000:03:00.1: Detected Tx Unit Hang#012 Tx Queue <3>#012 TDH <a43>#012 TDT <a43>#012 next_to_use <a43>#012 next_to_clean <9dc>#012buffer_info[next_to_clean]#012 time_stamp <197f8836a>#012 next_to_watch <ffff8803301e9dc0>#012 jiffies <197f88aba>#012 desc.status <8b8001> Jul 28 02:06:33 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <740>#012 TDT <740>#012 next_to_use <740>#012 next_to_clean <6bd>#012buffer_info[next_to_clean]#012 time_stamp <197f885e9>#012 next_to_watch <ffff880330946bd0>#012 jiffies <197f88abe>#012 desc.status <268001> Jul 28 02:06:36 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <87c>#012 TDT <87c>#012 next_to_use <87c>#012 next_to_clean <7cc>#012buffer_info[next_to_clean]#012 time_stamp <197f88abe>#012 next_to_watch <ffff880330947cc0>#012 jiffies <197f89425>#012 desc.status <138001> Jul 28 02:06:38 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <930>#012 TDT <930>#012 next_to_use <930>#012 next_to_clean <8d7>#012buffer_info[next_to_clean]#012 time_stamp <197f89644>#012 next_to_watch <ffff880330948d70>#012 jiffies <197f89cca>#012 desc.status <268001> Jul 28 02:06:46 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <f11>#012 TDT <f11>#012 next_to_use <f11>#012 next_to_clean <e5b>#012buffer_info[next_to_clean]#012 time_stamp <197f8b381>#012 next_to_watch <ffff88033094e5b0>#012 jiffies <197f8bad4>#012 desc.status <f8001> Jul 28 02:06:51 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <311>#012 TDT <311>#012 next_to_use <311>#012 next_to_clean <283>#012buffer_info[next_to_clean]#012 time_stamp <197f8cbbe>#012 next_to_watch <ffff880330942830>#012 jiffies <197f8d099>#012 desc.status <268001> Jul 28 02:06:56 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <641>#012 TDT <641>#012 next_to_use <641>#012 next_to_clean <593>#012buffer_info[next_to_clean]#012 time_stamp <197f8dce1>#012 next_to_watch <ffff880330945930>#012 jiffies <197f8e180>#012 desc.status <128001> Jul 28 02:06:57 bras3 kernel: igb 0000:01:00.0: Detected Tx Unit Hang#012 Tx Queue <0>#012 TDH <723>#012 TDT <723>#012 next_to_use <723>#012 next_to_clean <698>#012buffer_info[next_to_clean]#012 time_stamp <197f8e3af>#012 next_to_watch <ffff880330946980>#012 jiffies <197f8e7de>#012 desc.status <138001> Версия igb 5.3.5.4, ядро 4.9.31 01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 03:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) 03:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01) /sbin/ethtool -G em1 rx 4096 tx 4096 /sbin/ethtool -G em2 rx 4096 tx 4096 /sbin/ethtool -K em1 tso off gso off gro off lro off tx off rx off rxvlan off txvlan off /sbin/ethtool -K em2 tso off gso off gro off lro off tx off rx off rxvlan off txvlan off Весь тюнинг стандартный для Linux BRAS, если что-то еще нужно - могу приложить сюда выводы. Забыл сказать, сессий (PPPoE) было всего 1К на момент падения, через минуту упало до 730 ethtool -S em1 | grep -E 'error|fail|buffer' rx_crc_errors: 5 rx_no_buffer_count: 3039 rx_missed_errors: 227147 tx_aborted_errors: 0 tx_carrier_errors: 0 tx_window_errors: 0 rx_long_length_errors: 0 rx_short_length_errors: 0 rx_align_errors: 0 tx_tcp_seg_failed: 0 rx_errors: 10 tx_errors: 0 rx_length_errors: 0 rx_over_errors: 0 rx_frame_errors: 0 rx_fifo_errors: 227147 tx_fifo_errors: 0 tx_heartbeat_errors: 0 rx_queue_0_alloc_failed: 0 rx_queue_1_alloc_failed: 0 rx_queue_2_alloc_failed: 0 rx_queue_3_alloc_failed: 0 rx_queue_4_alloc_failed: 0 rx_queue_5_alloc_failed: 0 Изменено 28 июля, 2017 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
QWE Опубликовано 28 июля, 2017 (изменено) · Жалоба Не хочется вынимать процессор физически, 1. можно на этапе загрузки linux как бы отключить один процессор - чтобы linux задействовал только один процессор и посмотреть какой прирост в pps получиться? Или без физического вынимания программно эту хотелку не реализовать? 2.Если память у одного процессора вынуть, и прибить прерывания с сетевой к процессору который с памятью - это может равнозначно походить на тест системы с одним процессором или все равно оба процессора в системе вяжутся аппаратно и снижают производительность. Если память у одного проца вынуть то numa node в linux остается одна. В этой ветке говорили что лучше иметь один проц но быстрый, для задачи пропуска pps. Хочется решить - заморачиваться покупкой более быстрого процессора или нет. Оставляли по одному ядру у двух CPU в BIOS и получили что одно ядро вместо 600 kpps пропустило 1,5 млн pps. память в этом случае была у двух процессоров. Вынули один проц и оставили две планки памяти (два канала) у оставшегося проца. И результат более чем странный. Без потерь система пропустила 400 kpps для очереди, очередь прибита к ядру. Должно же быть лучше чем в случае с двумя процами и 4 мя планками памяти (по крайней мере пишут в этой ветке что должно быть лучше) ? Чем можно объяснить такой результат? Что попробовать покрутить, проверить? Изменено 28 июля, 2017 пользователем QWE Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 28 июля, 2017 · Жалоба Коллеги, сегодня на одном тазике поймал такой лог, при этом были отвали браса по пингу и высокий conntrack до 500к, спад сессий. попробуйте уменьшить кол-во буферов до 1024. у меня при подземных стуках на одном брасе (из-за какого-то корявого клиента похоже) это добавило стабильности. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 28 июля, 2017 (изменено) · Жалоба Коллеги, сегодня на одном тазике поймал такой лог, при этом были отвали браса по пингу и высокий conntrack до 500к, спад сессий. попробуйте уменьшить кол-во буферов до 1024. у меня при подземных стуках на одном брасе (из-за какого-то корявого клиента похоже) это добавило стабильности. Попробую, спасибо. У меня на самих интерфейсах так же видны rx error, dropped и overruns, последнее предполагаю где то не пролазит MTU, попробую исправить. Одна двух портовая 85576 on board и вторая в PCI-E ifconfig em1 em1: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 9200 ether 00:26:6c:f1:3c:28 txqueuelen 10000 (Ethernet) RX packets 68337737229 bytes 58124931419722 (52.8 TiB) RX errors 10 dropped 227147 overruns 227147 frame 5 TX packets 49273960292 bytes 43590769364327 (39.6 TiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 ifconfig em2 em2: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 9200 ether 00:26:6c:f1:3c:28 txqueuelen 10000 (Ethernet) RX packets 50381709301 bytes 44237709092000 (40.2 TiB) RX errors 10 dropped 22898 overruns 22898 frame 5 TX packets 67739913634 bytes 61283008929614 (55.7 TiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 ifconfig p55p1 p55p1: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 9200 ether 00:26:6c:f1:3c:28 txqueuelen 10000 (Ethernet) RX packets 40845429721 bytes 37807386271638 (34.3 TiB) RX errors 6 dropped 410723 overruns 410723 frame 3 TX packets 37975115953 bytes 30998574839168 (28.1 TiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 ifconfig p55p2 p55p2: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 9200 ether 00:26:6c:f1:3c:28 txqueuelen 10000 (Ethernet) RX packets 55487171174 bytes 47185924734817 (42.9 TiB) RX errors 2 dropped 869251 overruns 869251 frame 1 TX packets 56374607622 bytes 51539813036696 (46.8 TiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 ifconfig bond0 bond0: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST> mtu 9200 inet 10.10.15.35 netmask 255.255.255.0 broadcast 10.10.15.255 ether 00:26:6c:f1:3c:28 txqueuelen 10000 (Ethernet) RX packets 215049993201 bytes 187354169936396 (170.3 TiB) RX errors 28 dropped 1537674 overruns 1530019 frame 14 TX packets 211361689134 bytes 187410668594494 (170.4 TiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 Еще можно попробовать отключить autonegation со стороны браса? Нашёл тут http://forum.nag.ru/forum/index.php?showtopic=100587 вылечивали откатом драйвера igb на 5.2.5, хотя недавно вышел уже 5.3.5.7 Изменено 28 июля, 2017 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 28 июля, 2017 · Жалоба Какое ядро лучше использовать под NAT-бокс? 4.12 ветки? Или лучше что-то постарее из LTS, 4.9.40 на сегодня? P.S. счастливые времена когда хватало адресов для работы без НАТа подходят к концу, возвращаемся в темное прошлое.. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
hsvt Опубликовано 23 ноября, 2017 (изменено) · Жалоба Хочу перевезти пару брасов на 10G, из выбора есть две карточки на одном и том же чипе 82599. https://shop.nag.ru/catalog/02273.Setevye-karty/20414.Setevye-karty-10G/15343.PE210G2SPi9A-XR https://shop.nag.ru/catalog/02273.Setevye-karty/20414.Setevye-karty-10G/23656.E10G42BTDABLK Практически всё тоже самое, разница лишь в цене, производителе и первая кушает все SFP+ модули, но это вроде как решается загрузкой модуля с параметром allow_unsupported_sfp? Есть ли смысл переплачивать за "родную" X520-DA2 или хватит такого же силикона? В принципе первая карточка уже одна такая есть, но пока что не в работе. Изменено 23 ноября, 2017 пользователем hsvt Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 15 января, 2018 (изменено) · Жалоба Собираю новую молотилку Accel-ppp (PPTP PPPoE IPoE) на одном Intel(R) Xeon(R) CPU E5-2690 0 @ 2.90GHz материнка и сетевая. 4 порта на материнке будут объеденные в один bond и на сетевой во второй bond. Ручками все прерывания прибить к ядрам. Операционную Debian 9. Ядро какое стабильное посоветуете? Или оставить стоковое 4.9.0-4-amd64? Сейчас сервер на 3.18.36 Изменено 15 января, 2018 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 16 января, 2018 · Жалоба По опыту эксплуатации трех брасов с бондингом и потом их же без бондинга на 10G картах рекомендую сразу закладываться на 10G, если 1G уже переросли. Вдруг неожиданно на том же железе можно прокачать больше трафика и все это при хааарошем падении нагрузки на процессор. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
TheUser Опубликовано 16 января, 2018 · Жалоба 39 минут назад, taf_321 сказал: рекомендую сразу закладываться на 10G Извините, что влезаю в чужую тему, а какие 10G карточки под софтроутер смотреть? X520? X710? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 16 января, 2018 · Жалоба 53 минуты назад, taf_321 сказал: рекомендую сразу закладываться на 10G, если 1G уже переросли. Это в планах. Просто надо менять ядро. Так что пока что бондинги. Сейчас трафика не более 1,6G. Intel(R) Xeon(R) CPU E5507 2.27GHz Уже не вытягивает вот решил машинку новую собрать. Сейчас работает но в пике нагрузок некотрые ядра под 98 загружаются и абоненты начали жаловаться вечером. Вот думаю остаться на 3.18.36 или поновее поставить. Как я понял ванильное лучше всегда собирать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 16 января, 2018 · Жалоба 2 часа назад, TheUser сказал: Извините, что влезаю в чужую тему, а какие 10G карточки под софтроутер смотреть? X520? X710? Используем 520-е, пашут и не жужжат. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 16 января, 2018 · Жалоба 33 минуты назад, taf_321 сказал: Используем 520-е, пашут и не жужжат. А у Вас Accel? Если не секрет не скажите ОС и версию ядра (ванильное?) и драйвер igb. А то на форуме находил что с каким то проблемы есть Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 16 января, 2018 · Жалоба 2 часа назад, arhead сказал: Это в планах. Просто надо менять ядро. Так что пока что бондинги. Сейчас трафика не более 1,6G. Intel(R) Xeon(R) CPU E5507 2.27GHz Уже не вытягивает вот решил машинку новую собрать. E5450 @ 3.00GHz аналогично начинал подтупливать на суммарных ~2.5G (~1.7G в одну и 0.8G в другую стороны) процессоры плавали в районе 70-80%. После установки десятки нагрузка в ЧНН упала по процессорам до 30% (шейпер, NAT, и iptables+ipset), клиенты трафик пока смогли разогнать до 3.5G. И еще я выхватил незабываемые ощущения, когда с бондингом ядра новее 3.14 уходили в затуп и в рестарты с дикими загрузкой процессоров от __netif_receive_skb . На нормальной сетевой карте такого не проявляется. 6 минут назад, arhead сказал: А у Вас Accel? Если не секрет не скажите ОС и версию ядра (ванильное?) и драйвер igb. А то на форуме находил что с каким то проблемы есть ALT Linux P7 догнанная до P8 с последними апдейтами. Linux BRAS-1 4.9.75-std-def-alt0.M80P.1 #1 SMP Tue Jan 9 05:32:03 UTC 2018 x86_64 GNU/Linux modinfo ixgbe filename: /lib/modules/4.9.75-std-def-alt0.M80P.1/kernel/drivers/net/ethernet/intel/ixgbe/ixgbe.ko version: 5.2.1 license: GPL description: Intel(R) 10GbE PCI Express Linux Network Driver Ядро AS IS от дистрибутива. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
JetA Опубликовано 8 февраля, 2018 (изменено) · Жалоба Доброго времени суток, друзья. Планируем приобрести две машины: HP Proliant DL360 G6 с x5690 x2 16Гб ОЗУ 2x460W HP Smart Array P410i / 256 MB + Battery HW Raid 1 из SSD (SB128GB-LP-25SAT3) intel l350-t4 iLO2 Что будет: opnsense + suricata (с сигнатурами от suricata + snort) Что требуется: BGP Community NAT Запихнуть два провайдера Кластеризация (резервирование) IPS - в надежде отфильтровать хоть что-то, без участия человека VPN сервер p.s. Будем мониторить машину и всё, что на ней средствами zabbix Так же прикрутитим elk и moloch На что рассчитываем: по локалке будем гонять хлам до 500mps (в определённое время суток, когда нет трафика). У двух провайдеров канал по 100mps. Один провайдер с BGP Community, на которого ожидаем атаки до 1gps и 500k pps. На второго провайдера атаки не ожидаем, но канал загружен под завязку. Если мы не держим атаку на первого провайдера, то в ход идут аплинки и фильтрует уже провайдер. Каких камней в огород ожидать? Изменено 8 февраля, 2018 пользователем JetA Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
JetA Опубликовано 19 февраля, 2018 · Жалоба Поправка. Не G6, а G7. И не x5690, а x5680 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 14 марта, 2018 · Жалоба Запустил сервер в бой. Прерывания ручками прибил "лесенкой". В пиках нагрузка на ядрах не превышает и 30 % но вот или последнее (пробовал распределять прерывания с первого ядра и с последнего) ядра куда прибиты прерывания ethX-TxRx-0 в пиках и до 100% процентов допрыгивает. Неужели это все из-за бондинга и вланов? У кого нить была такая ситуация. На сервере шейпер htb управляется акцелем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 14 марта, 2018 · Жалоба это из-за гавносетевухи без очередей. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 14 марта, 2018 · Жалоба 3 минуты назад, zhenya` сказал: это из-за гавносетевухи без очередей. Обе сетевые встроенная и дополнительная на Intel i350. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 14 марта, 2018 · Жалоба собственно те ethX, где в списке прерываний TxRX нельзя использовать для более менее серьезного трафика. меняйте на 520 и все. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 14 марта, 2018 (изменено) · Жалоба 12 минут назад, zhenya` сказал: меняйте на 520 и все. На 10 Гб переход в планах. Тогда зачем их 8 штук? IR-PCI-MSI-edge eth0-TxRx-0 IR-PCI-MSI-edge eth0-TxRx-1 IR-PCI-MSI-edge eth0-TxRx-2 IR-PCI-MSI-edge eth0-TxRx-3 IR-PCI-MSI-edge eth0-TxRx-4 IR-PCI-MSI-edge eth0-TxRx-5 IR-PCI-MSI-edge eth0-TxRx-6 IR-PCI-MSI-edge eth0-TxRx-7 Изменено 14 марта, 2018 пользователем arhead Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Antares Опубликовано 14 марта, 2018 · Жалоба 10 минут назад, zhenya` сказал: собственно те ethX, где в списке прерываний TxRX нельзя использовать для более менее серьезного трафика. меняйте на 520 и все. Да ну? Люди юзают и не знают... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 14 марта, 2018 · Жалоба ну если их 8 то это другое дело. если прерывания только в одной из очередей, то это скорее всего из-за пппое. И надо применить магию. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 14 марта, 2018 · Жалоба А вот как раз пппое есть. Не подскажите какую магию?) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zhenya` Опубликовано 14 марта, 2018 · Жалоба 2 минуты назад, arhead сказал: А вот как раз пппое есть. Не подскажите какую магию?) RPS нужен. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
arhead Опубликовано 14 марта, 2018 · Жалоба 20 минут назад, zhenya` сказал: RPS нужен. Спасибо! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...