morf

Как бы там ни было, но лучше, чем с only-hardware ROS не работал. Да и RPS - это динозавр из прошлого. Очереди программно распределяет за счёт CPU. Такое себе.. При трафике близком и больше 10 Гбит эти очереди и RPS не помогут, а только сделают хуже. Да и ручное распределение прерываний - тот ещё костыль, со своей побочкой.

Что именно инетерсует?

На процессорах Xeon 26XX V4 с картами IntelX520/Mellanox, при выставлении любого типа шейпера, кроме Only-Hradware, вы словите бесконечный ребут системы. RouterOS будет в консоли ругаться, что карта не поддерживает данный тип очередй и уходить в ребут.

Всегда нужно ставить hardware-only. У меня 1,2 млн pps доходит.

Да, есть. Не обращай внимание.

Для начала попробуйте разлобраться в причинно-следственной связи, а уже потом думать, какими способами это обходить. Связана ли нагрузка на одно ядро из-за того, что используется родительский шейпер. Я помню, что подобное использование шейпера с использованием огромного кол-ва simple queue в родительском queue, не является лучшей практикой.

Не пробовали убрать в queue использование родительского шейпера? Если Simple Queue, то пусть на каждого клиента будет по одному правилу, без взяких родительских вложений. И отключите RPS, он вам не к чему. По удивительнму стечению обстоятельств, у меня точно такая же конфигурация сервера с точно такими же сетевухами 🙂

@Savchenko В Desktop корпусе? А память с ECC ? БП 2 шт. ?

Какое-то мощное обновление 7.18 Testing версии вышло. Тут тебе и снятие ограничений на connection tracking, и аппаратная разгрузка vxlan.. *) firewall - increased maximum connection tracking entry count based on device total RAM size;

Не поленился и посмотрел - E5 2690 V4. @nixxО чем это говорит, что они сидят на одном процессоре, но обрабатываются ядрами обоих?

Сейчас при 1 млн PPS ~400 тыс. записей. На 6-й версии ловил, на 7 еще нет. Эту проблему не решить, только фундаментально заменить Firewall в RouterOS, но когда это еще будет.

Давайте я вам просто вывод print экспортирую в файл. 81:00.0 - прерывания на одной карте, 82:00.0 - на другой. eth0 с 0 по 3 - это встроенные сетевые карты сервера, они не используются. irq.txt Columns: IRQ, USERS, CPU, ACTIVE-CPU, COUNT # IRQ USERS CPU ACTIVE-CPU COUNT 0 9 acpi auto 10 3 1 18 usb1 auto 4 60 usb2 2 24 dmar0 auto 12 0 3 25 dmar1 auto 7 0 4 38 00:11.4] auto 5 0 5 39 00:1f.2] auto 6 69 048 335 6 40 xhci_hcd auto 16 56 7 41 eth0-TxRx-0 auto 17 551 502 8 42 eth0-TxRx-1 auto 8 551 502 9 43 eth0-TxRx-2 auto 9 551 502 10 44 eth0-TxRx-3 auto 33 551 502 11 45 eth0-TxRx-4 auto 11 551 502 12 46 eth0-TxRx-5 auto 22 551 502 13 47 eth0-TxRx-6 auto 13 551 502 14 48 eth0-TxRx-7 auto 14 551 502 15 49 eth0-TxRx-8 auto 15 551 502 16 50 eth0-TxRx-9 auto 16 551 502 17 51 eth0-TxRx-10 auto 40 551 502 18 52 eth0-TxRx-11 auto 18 551 502 19 53 eth0-TxRx-12 auto 19 551 502 20 54 eth0-TxRx-13 auto 20 551 502 21 55 eth0-TxRx-14 auto 21 551 502 22 56 eth0-TxRx-15 auto 45 551 502 23 57 eth0-TxRx-16 auto 23 551 502 24 58 eth0-TxRx-17 auto 24 551 502 25 59 eth0-TxRx-18 auto 25 551 502 26 60 eth0-TxRx-19 auto 26 551 502 27 61 eth0-TxRx-20 auto 27 551 502 28 62 eth0-TxRx-21 auto 28 551 502 29 63 eth0-TxRx-22 auto 29 551 502 30 64 eth0-TxRx-23 auto 30 551 502 31 65 eth0-TxRx-24 auto 31 551 502 32 66 eth0-TxRx-25 auto 32 551 502 33 67 eth0-TxRx-26 auto 4 551 502 34 68 eth0-TxRx-27 auto 34 551 502 35 69 eth0-TxRx-28 auto 35 551 502 36 70 eth0-TxRx-29 auto 36 551 502 37 71 eth0-TxRx-30 auto 37 551 502 38 72 eth0-TxRx-31 auto 38 551 502 39 73 eth0-TxRx-32 auto 39 551 502 40 74 eth0-TxRx-33 auto 11 551 502 41 75 eth0-TxRx-34 auto 41 551 502 42 76 eth0-TxRx-35 auto 42 551 502 43 77 eth0-TxRx-36 auto 43 551 502 44 78 eth0-TxRx-37 auto 44 551 502 45 79 eth0-TxRx-38 auto 21 551 502 46 80 eth0-TxRx-39 auto 46 551 502 47 81 eth0-TxRx-40 auto 47 551 502 48 82 eth0-TxRx-41 auto 48 551 502 49 83 eth0-TxRx-42 auto 49 551 502 50 84 eth0-TxRx-43 auto 50 551 502 51 85 eth0-TxRx-44 auto 51 551 502 52 86 eth0-TxRx-45 auto 52 551 502 53 87 eth0-TxRx-46 auto 53 551 502 54 88 eth0-TxRx-47 auto 54 551 502 55 89 eth0-TxRx-48 auto 55 551 502 56 90 eth0-TxRx-49 auto 27 551 502 57 91 eth0-TxRx-50 auto 5 551 502 58 92 eth0-TxRx-51 auto 6 551 502 59 93 eth0-TxRx-52 auto 7 551 502 60 94 eth0-TxRx-53 auto 8 551 502 61 95 eth0-TxRx-54 auto 9 551 502 62 96 eth0-TxRx-55 auto 10 551 502 63 97 ether12 auto 3 0 64 99 eth1-TxRx-0 auto 12 551 501 65 100 eth1-TxRx-1 auto 13 551 501 66 101 eth1-TxRx-2 auto 14 551 501 67 102 eth1-TxRx-3 auto 15 551 501 68 103 eth1-TxRx-4 auto 16 551 501 69 104 eth1-TxRx-5 auto 17 551 501 70 105 eth1-TxRx-6 auto 18 551 501 71 106 eth1-TxRx-7 auto 19 551 501 72 107 eth1-TxRx-8 auto 20 551 501 73 108 eth1-TxRx-9 auto 21 551 501 74 109 eth1-TxRx-10 auto 22 551 501 75 110 eth1-TxRx-11 auto 23 551 501 76 111 eth1-TxRx-12 auto 24 551 501 77 112 eth1-TxRx-13 auto 25 551 501 78 113 eth1-TxRx-14 auto 26 551 501 79 114 eth1-TxRx-15 auto 50 551 501 80 115 eth1-TxRx-16 auto 28 551 501 81 116 eth1-TxRx-17 auto 29 551 501 82 117 eth1-TxRx-18 auto 30 551 501 83 118 eth1-TxRx-19 auto 31 551 501 84 119 eth1-TxRx-20 auto 32 551 501 85 120 eth1-TxRx-21 auto 33 551 501 86 121 eth1-TxRx-22 auto 34 551 501 87 122 eth1-TxRx-23 auto 35 551 501 88 123 eth1-TxRx-24 auto 36 551 501 89 124 eth1-TxRx-25 auto 37 551 501 90 125 eth1-TxRx-26 auto 38 551 501 91 126 eth1-TxRx-27 auto 39 551 501 92 127 eth1-TxRx-28 auto 40 551 501 93 128 eth1-TxRx-29 auto 41 551 501 94 129 eth1-TxRx-30 auto 42 551 501 95 130 eth1-TxRx-31 auto 43 551 501 96 131 eth1-TxRx-32 auto 44 551 501 97 132 eth1-TxRx-33 auto 45 551 501 98 133 eth1-TxRx-34 auto 46 551 501 99 134 eth1-TxRx-35 auto 47 551 501 100 135 eth1-TxRx-36 auto 48 551 501 101 136 eth1-TxRx-37 auto 49 551 501 102 137 eth1-TxRx-38 auto 26 551 501 103 138 eth1-TxRx-39 auto 51 551 501 104 139 eth1-TxRx-40 auto 52 551 501 105 140 eth1-TxRx-41 auto 53 551 501 106 141 eth1-TxRx-42 auto 54 551 501 107 142 eth1-TxRx-43 auto 55 551 501 108 143 eth1-TxRx-44 auto 4 551 501 109 144 eth1-TxRx-45 auto 5 551 501 110 145 eth1-TxRx-46 auto 6 551 501 111 146 eth1-TxRx-47 auto 7 551 501 112 147 eth1-TxRx-48 auto 8 551 501 113 148 eth1-TxRx-49 auto 9 551 501 114 149 eth1-TxRx-50 auto 10 551 501 115 150 eth1-TxRx-51 auto 11 551 501 116 151 eth1-TxRx-52 auto 12 551 501 117 152 eth1-TxRx-53 auto 13 551 501 118 153 eth1-TxRx-54 auto 14 551 501 119 154 eth1-TxRx-55 auto 15 551 501 120 155 ether13 auto 2 0 121 156 eth2-TxRx-0 auto 17 551 501 122 157 eth2-TxRx-1 auto 18 551 501 123 158 eth2-TxRx-2 auto 19 551 501 124 159 eth2-TxRx-3 auto 20 551 501 125 160 eth2-TxRx-4 auto 21 551 501 126 161 eth2-TxRx-5 auto 22 551 501 127 162 eth2-TxRx-6 auto 23 551 501 128 163 eth2-TxRx-7 auto 24 551 501 129 164 eth2-TxRx-8 auto 25 551 501 130 165 eth2-TxRx-9 auto 26 551 501 131 166 eth2-TxRx-10 auto 27 551 501 132 167 eth2-TxRx-11 auto 28 551 501 133 168 eth2-TxRx-12 auto 29 551 501 134 169 eth2-TxRx-13 auto 30 551 501 135 170 eth2-TxRx-14 auto 31 551 501 136 171 eth2-TxRx-15 auto 32 551 501 137 172 eth2-TxRx-16 auto 33 551 501 138 173 eth2-TxRx-17 auto 34 551 501 139 174 eth2-TxRx-18 auto 35 551 501 140 175 eth2-TxRx-19 auto 36 551 501 141 176 eth2-TxRx-20 auto 37 551 501 142 177 eth2-TxRx-21 auto 38 551 501 143 178 eth2-TxRx-22 auto 39 551 501 144 179 eth2-TxRx-23 auto 40 551 501 145 180 eth2-TxRx-24 auto 41 551 501 146 181 eth2-TxRx-25 auto 42 551 501 147 182 eth2-TxRx-26 auto 43 551 501 148 183 eth2-TxRx-27 auto 44 551 501 149 184 eth2-TxRx-28 auto 45 551 501 150 185 eth2-TxRx-29 auto 46 551 501 151 186 eth2-TxRx-30 auto 47 551 501 152 187 eth2-TxRx-31 auto 48 551 501 153 188 eth2-TxRx-32 auto 49 551 501 154 189 eth2-TxRx-33 auto 50 551 501 155 190 eth2-TxRx-34 auto 51 551 501 156 191 eth2-TxRx-35 auto 52 551 501 157 192 eth2-TxRx-36 auto 53 551 501 158 193 eth2-TxRx-37 auto 54 551 501 159 194 eth2-TxRx-38 auto 55 551 501 160 195 eth2-TxRx-39 auto 4 551 501 161 196 eth2-TxRx-40 auto 5 551 501 162 197 eth2-TxRx-41 auto 6 551 501 163 198 eth2-TxRx-42 auto 7 551 501 164 199 eth2-TxRx-43 auto 8 551 501 165 200 eth2-TxRx-44 auto 9 551 501 166 201 eth2-TxRx-45 auto 10 551 501 167 202 eth2-TxRx-46 auto 11 551 501 168 203 eth2-TxRx-47 auto 12 551 501 169 204 eth2-TxRx-48 auto 13 551 501 170 205 eth2-TxRx-49 auto 14 551 501 171 206 eth2-TxRx-50 auto 15 551 501 172 207 eth2-TxRx-51 auto 16 551 501 173 208 eth2-TxRx-52 auto 17 551 501 174 209 eth2-TxRx-53 auto 18 551 501 175 210 eth2-TxRx-54 auto 19 551 501 176 211 eth2-TxRx-55 auto 20 551 501 177 212 ether14 auto 1 0 178 214 eth3-TxRx-0 auto 22 551 500 179 215 eth3-TxRx-1 auto 23 551 500 180 216 eth3-TxRx-2 auto 24 551 500 181 217 eth3-TxRx-3 auto 25 551 500 182 218 eth3-TxRx-4 auto 26 551 500 183 219 eth3-TxRx-5 auto 27 551 500 184 220 eth3-TxRx-6 auto 28 551 500 185 221 eth3-TxRx-7 auto 29 551 500 186 222 eth3-TxRx-8 auto 30 551 500 187 223 eth3-TxRx-9 auto 31 551 500 188 224 eth3-TxRx-10 auto 32 551 500 189 225 eth3-TxRx-11 auto 33 551 500 190 226 eth3-TxRx-12 auto 34 551 500 191 227 eth3-TxRx-13 auto 35 551 500 192 228 eth3-TxRx-14 auto 36 551 500 193 229 eth3-TxRx-15 auto 37 551 500 194 230 eth3-TxRx-16 auto 38 551 500 195 231 eth3-TxRx-17 auto 39 551 500 196 232 eth3-TxRx-18 auto 40 551 500 197 233 eth3-TxRx-19 auto 41 551 500 198 234 eth3-TxRx-20 auto 42 551 500 199 235 eth3-TxRx-21 auto 43 551 500 200 236 eth3-TxRx-22 auto 44 551 500 201 237 eth3-TxRx-23 auto 45 551 500 202 238 eth3-TxRx-24 auto 46 551 500 203 239 eth3-TxRx-25 auto 47 551 500 204 240 eth3-TxRx-26 auto 48 551 500 205 241 eth3-TxRx-27 auto 49 551 500 206 242 eth3-TxRx-28 auto 50 551 500 207 243 eth3-TxRx-29 auto 51 551 500 208 244 eth3-TxRx-30 auto 52 551 500 209 245 eth3-TxRx-31 auto 53 551 500 210 246 eth3-TxRx-32 auto 54 551 500 211 247 eth3-TxRx-33 auto 55 551 500 212 248 eth3-TxRx-34 auto 4 551 500 213 249 eth3-TxRx-35 auto 5 551 500 214 250 eth3-TxRx-36 auto 6 551 500 215 251 eth3-TxRx-37 auto 7 551 500 216 252 eth3-TxRx-38 auto 8 551 500 217 253 eth3-TxRx-39 auto 9 551 500 218 254 eth3-TxRx-40 auto 10 551 500 219 255 eth3-TxRx-41 auto 11 551 500 220 256 eth3-TxRx-42 auto 12 551 500 221 257 eth3-TxRx-43 auto 13 551 500 222 258 eth3-TxRx-44 auto 14 551 500 223 259 eth3-TxRx-45 auto 15 551 500 224 260 eth3-TxRx-46 auto 16 551 500 225 261 eth3-TxRx-47 auto 17 551 500 226 262 eth3-TxRx-48 auto 18 551 500 227 263 eth3-TxRx-49 auto 19 551 500 228 264 eth3-TxRx-50 auto 20 551 500 229 265 eth3-TxRx-51 auto 21 551 500 230 266 eth3-TxRx-52 auto 22 551 500 231 267 eth3-TxRx-53 auto 23 551 500 232 268 eth3-TxRx-54 auto 24 551 500 233 269 eth3-TxRx-55 auto 25 551 500 234 270 ether15 auto 0 0 235 271 0000:81:00.0 auto 27 35 701 591 236 272 81:00.0 auto 28 3 647 179 838 237 273 81:00.0 auto 29 2 342 928 391 238 274 81:00.0 auto 30 1 702 958 542 239 275 81:00.0 auto 31 2 513 584 331 240 276 81:00.0 auto 32 2 666 832 293 241 277 81:00.0 auto 33 3 721 541 087 242 278 81:00.0 auto 34 3 436 204 163 243 279 81:00.0 auto 35 3 906 427 717 244 280 81:00.0 auto 36 2 337 949 352 245 281 81:00.0 auto 37 3 496 061 120 246 282 81:00.0 auto 38 116 488 751 247 283 81:00.0 auto 39 3 081 980 009 248 284 81:00.0 auto 40 3 949 826 641 249 285 81:00.0 auto 41 4 272 739 310 250 286 81:00.0 auto 42 832 758 671 251 287 81:00.0 auto 43 329 259 428 252 328 81:00.0 auto 44 3 095 073 710 253 329 81:00.0 auto 45 2 518 830 476 254 330 81:00.0 auto 46 3 515 074 451 255 331 81:00.0 auto 47 2 576 533 871 256 332 81:00.0 auto 48 3 001 465 266 257 333 81:00.0 auto 49 3 311 799 885 258 334 81:00.0 auto 50 2 807 630 411 259 335 81:00.0 auto 51 2 645 538 886 260 336 81:00.0 auto 52 3 169 057 134 261 337 81:00.0 auto 53 2 526 737 572 262 338 81:00.0 auto 54 3 401 566 338 263 339 81:00.0 auto 55 2 200 855 558 264 340 81:00.0 auto 4 1 889 207 602 265 341 81:00.0 auto 5 2 643 268 303 266 342 81:00.0 auto 6 2 834 484 348 267 343 81:00.0 auto 7 2 333 297 250 268 384 0000:82:00.0 auto 8 30 923 131 269 385 82:00.0 auto 9 133 928 326 270 386 82:00.0 auto 10 90 975 317 271 387 82:00.0 auto 11 320 912 995 272 388 82:00.0 auto 12 627 440 606 273 389 82:00.0 auto 13 2 718 530 135 274 390 82:00.0 auto 14 1 184 175 275 275 391 82:00.0 auto 15 1 412 809 409 276 392 82:00.0 auto 16 1 616 356 758 277 393 82:00.0 auto 17 2 464 804 069 278 394 82:00.0 auto 18 2 481 261 702 279 395 82:00.0 auto 19 2 527 733 103 280 396 82:00.0 auto 20 2 556 681 631 281 397 82:00.0 auto 21 230 103 925 282 398 82:00.0 auto 22 415 736 242 283 399 82:00.0 auto 23 124 770 814 284 400 82:00.0 auto 24 357 864 629 285 441 82:00.0 auto 25 1 086 288 303 286 442 82:00.0 auto 26 327 304 678 287 443 82:00.0 auto 27 791 408 082 288 444 82:00.0 auto 28 1 136 303 598 289 445 82:00.0 auto 29 2 539 707 379 290 446 82:00.0 auto 30 1 215 304 855 291 447 82:00.0 auto 31 1 176 351 015 292 448 82:00.0 auto 32 321 235 268 293 449 82:00.0 auto 33 1 933 606 595 294 450 82:00.0 auto 34 1 654 956 897 295 451 82:00.0 auto 35 2 359 752 159 296 452 82:00.0 auto 36 2 081 255 285 297 453 82:00.0 auto 37 4 057 190 838 298 454 82:00.0 auto 38 206 768 505 299 455 82:00.0 auto 39 4 204 515 908 300 456 82:00.0 auto 40 175 831 587

Да, пожалуйста. Не помню, что тут за камни, вроде, Xeon 2650 V4. Стоит 2 карты ConnectX3 по 2 выхода sfp+. В 10 утра трафика около 7 Гбит, 600K PPS. NAT + 7 сессий BGP (2 FW) В праздники доходило до 14 Гбит и 1.2M PPS, дропов не было.

IRQ автоматом, Queue Type на интерфейсах Only-hardware, RPS выключен, Hyper-threading включен. На одном сервере карты Intel X520, на другому Mellanox ConnectX3. X520 может раскидывать нагрузку до 128 потоков, вроде, а Mellanox 16. LACP/Bonding не использую, т.к. не нравится, мне по-душе ECMP. Забегая вперед, скажу, что на Xeon 26xx V2 вы этого не добьетесь, т.к. там между мостами CPU низкопропускная шина.