zdutpdzi Опубликовано 18 февраля, 2019 (изменено) · Жалоба 22 minutes ago, QWE said: Хороша формула - +/- 30% т.е. разброс 60% Вы бы почитали эту ветку с начала, как и что народ берет на тест под свои задачи железки у поставщиков и тестирует, делает выводы, возвращает. Нет ни у кого универсальной формулы, тем более что linux ядра меняются, что то там выпиливается, добавляется, ядра устаревают. вобщем движухи в софте очень много. Процессоры меняются. Вы из того что есть собрались собирать систему или теоретически порассуждать? Думаю никто не тестит кучу версий ядер, кучу железа(драйверов), кучу фич и их конфигураций и эти тесты сопровождает под изменения в софте. это ж сколько железяк нужно иметь в чулане (не дешевое удовольствие, особенно если процы крутые) и желания каждое изменение в софте тестить и публиковать для общественности. Это понятно. Интересуют эмпирические правила,если таковые имеются. От чего-то же нужно отталкиваться. Изменено 18 февраля, 2019 пользователем zdutpdzi Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 18 февраля, 2019 · Жалоба @zdutpdzi Нет никаких правил. На простой маршрутизации между портами хорошей 10G карты(тазик как бордер используется, BGP и больше ничего) и целерон из современных вполне может эти самые 10G осилить. Добавление любого интеллекта резко снижает PPS/гигабиты. Терминация клиентов - половину долой. Шейпер - еще половину. Любой сенсор трафика - еще кусочек. 1G карты в бондинге - продолжаем резать. Только ВЫ знаете что будет работать, предсказать сколько пролезет на каком железе можно только в +- пару раз. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 18 февраля, 2019 · Жалоба 1 час назад, zdutpdzi сказал: RPS вроде должен решать эту проблему,ошибаюсь? RPS решает проблему обработки прерываний, и то как альтернатива RSS (но в случае роутера как раз выгоднее RPS, чем RSS). В аспекте NUMA некоторую помощь может оказать его продолжение, RFS, когда учитывается, на каком CPU/ядре "висит" в данный момент приложение, для которого предназначен пакет. Но это больше в помощь к обработке контента, в случае роутеров проблему IN-OUT на разных NUMA-доменах RFS не решит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zdutpdzi Опубликовано 18 февраля, 2019 · Жалоба 28 minutes ago, kayot said: @zdutpdzi Нет никаких правил. На простой маршрутизации между портами хорошей 10G карты(тазик как бордер используется, BGP и больше ничего) и целерон из современных вполне может эти самые 10G осилить. Добавление любого интеллекта резко снижает PPS/гигабиты. Терминация клиентов - половину долой. Шейпер - еще половину. Любой сенсор трафика - еще кусочек. 1G карты в бондинге - продолжаем резать. Только ВЫ знаете что будет работать, предсказать сколько пролезет на каком железе можно только в +- пару раз. Насколько я понял,методология выбора железа в случае софтроутера простая: берем железо на очень пьяный глаз,тестим,не походит - возвращаем. Ну или смотрим выложенные конфигурации с тестами и берем по аналогии? А все эти 1Гбит на 1Ггц это так,ни о чем. Я верно понимаю картину? ))) 5 minutes ago, jffulcrum said: RPS решает проблему обработки прерываний, и то как альтернатива RSS (но в случае роутера как раз выгоднее RPS, чем RSS). В аспекте NUMA некоторую помощь может оказать его продолжение, RFS, когда учитывается, на каком CPU/ядре "висит" в данный момент приложение, для которого предназначен пакет. Но это больше в помощь к обработке контента, в случае роутеров проблему IN-OUT на разных NUMA-доменах RFS не решит. Ок. Кстати вы не ответили,я правильно понял,4*2.5 - это 10 туда сюда (5/5)? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 18 февраля, 2019 · Жалоба 1 минуту назад, zdutpdzi сказал: А все эти 1Гбит на 1Ггц это так,ни о чем. Я верно понимаю картину? ))) Совершенно верно, это Вам разными словами и пытался народ объяснить) А еще есть НАТ и фаерволы которые я не упомянул и каждый из которых может производительность сервера "все-в-одном" зарезать еще раза в 2. Собирается сервер на глаз да с запасом который карман позволяет, если не хватило - рядом ставится еще один. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zdutpdzi Опубликовано 18 февраля, 2019 · Жалоба Just now, kayot said: Совершенно верно, это Вам разными словами и пытался народ объяснить) А еще есть НАТ и фаерволы которые я не упомянул и каждый из которых может производительность сервера "все-в-одном" зарезать еще раза в 2. Собирается сервер на глаз да с запасом который карман позволяет, если не хватило - рядом ставится еще один. Возможно,меня неправильно поняли ))). Я подозревал это,но пытался прозондировать,мож есть методология ))) Коллеги,кстати,а не ткнет никто вменяемой ссылью на схему с движением пакета при обработке сетевым стеком в линукс? Что я гуглю наверное хреново,попадаются какие-то мутные статьи.))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 18 февраля, 2019 · Жалоба @zdutpdzi https://gist.github.com/nerdalert/a1687ae4da1cc44a437d Разъяснения по отдельным квадратикам: https://www.digitalocean.com/community/tutorials/a-deep-dive-into-iptables-and-netfilter-architecture Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zdutpdzi Опубликовано 18 февраля, 2019 · Жалоба Just now, jffulcrum said: @zdutpdzi https://gist.github.com/nerdalert/a1687ae4da1cc44a437d Разъяснения по отдельным квадратикам: https://www.digitalocean.com/community/tutorials/a-deep-dive-into-iptables-and-netfilter-architecture спс,гляну.))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 18 февраля, 2019 · Жалоба На самом деле в Цисках, и даже в микротиках схемы движения пакетов не проще Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
zdutpdzi Опубликовано 18 февраля, 2019 · Жалоба 3 minutes ago, jffulcrum said: На самом деле в Цисках, и даже в микротиках схемы движения пакетов не проще Ниче,слона едят по частям ))) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 20 февраля, 2019 · Жалоба В 17.02.2019 в 23:35, jffulcrum сказал: Про кодирование не знаем ну 2 гбита реальной скорости вместо 2.5 физического битрейта на lane - сильно меньше? В 17.02.2019 в 23:35, jffulcrum сказал: Про root complex, его роль тоже не знаем. по-вашему, все девайсы подключенные к одному root complex имеют один и тот же payload? ну и роль размера payload сильно преувеличена, на практике - 128байт лишних % 10-12 полосы шины максимум скушает. В 17.02.2019 в 23:35, jffulcrum сказал: Про PCIE Endpoint тоже не знаем еще раз: расскажите, каким боком вообще HDA/USB которые вообще в южном мосте живут, (к слову подключенном ни разу не по pci-e - как минимум на интеле) к PCI-e контроллерам? берем первый попавшийся бук: 00:1d.0 USB controller: Intel Corporation 7 Series/C216 Chipset Family USB Enhanced Host Controller #1 (rev 04) (prog-if 20 [EHCI]) Subsystem: Acer Incorporated [ALI] 7 Series/C216 Chipset Family USB Enhanced Host Controller Control: I/O- Mem+ BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx- Status: Cap+ 66MHz- UDF- FastB2B+ ParErr- DEVSEL=medium >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx- Interrupt: pin A routed to IRQ 23 Region 0: Memory at c0608000 (32-bit, non-prefetchable) [size=1K] Capabilities: [50] Power Management version 2 Flags: PMEClk- DSI- D1- D2- AuxCurrent=375mA PME(D0+,D1-,D2-,D3hot+,D3cold+) Status: D3 NoSoftRst- PME-Enable+ DSel=0 DScale=0 PME- Capabilities: [58] Debug port: BAR=1 offset=00a0 Capabilities: [98] PCI Advanced Features AFCap: TP+ FLR+ AFCtrl: FLR- AFStatus: TP- Kernel driver in use: ehci-pci Kernel modules: ehci_pci почему-то юсб 2.0 никакого payload'а не имеет HDA - да, прикидывается pci-e девайсом (на какой шине - вопрос), но как по мне - на роутере HDA нужен примерно никак. В 17.02.2019 в 23:35, jffulcrum сказал: Это хорошо, когда он еще не занят. ну а если занят (и нет второго х16 который х8) - то остается только х4 с ЮМ, к тому же обычно 2.0. печаль-беда, да, но гигабит 7 прокачает легко в каждую сторону. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 20 февраля, 2019 · Жалоба 2 часа назад, NiTr0 сказал: сильно меньше? Вообще - да. При низком Payload из 32 Гбит/с может получиться и меньше 20 Гбит/с. То есть вторая голова двухголовой карты 10G пострадает. 2 часа назад, NiTr0 сказал: по-вашему, все девайсы подключенные к одному root complex имеют один и тот же payload? Это не по-моему, это по спецификации. Root опрашивает всех на предмет возможностей, и выставляет по-наименьшему. 2 часа назад, NiTr0 сказал: каким боком вообще HDA/USB которые вообще в южном мосте живут, (к слову подключенном ни разу не по pci-e - как минимум на интеле) к PCI-e контроллерам? Так или иначе, они для общения с другими компонентами выходят на шину PCIE - один из 8 Endpoint, имеющихся в C600 PCH, например. Вас ведь не смущает, что эти контроллеры имеют адреса вида PCIROOT(0)#PCI(1A00) 2 часа назад, NiTr0 сказал: ну а если занят Да если и не занят, то (к вопросу о сборе тазов) на десктопных матерях в этом слоту кроме видеокарт ничего не ожидается. Хорошо если в период сервиса кто-то успел пожаловаться, что у него в слоту RAID-контроллер или NVME SSD не работает и производитель выпустил BIOS с учетом подобного кунштюка, но весьма часто это не так. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 20 февраля, 2019 · Жалоба 2 минуты назад, jffulcrum сказал: Да если и не занят, то (к вопросу о сборе тазов) на десктопных матерях в этом слоту кроме видеокарт ничего не ожидается. Глупости. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 20 февраля, 2019 · Жалоба @kayot конечно глупости, такого не бывает Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 20 февраля, 2019 · Жалоба 36 минут назад, jffulcrum сказал: Вообще - да. При низком Payload из 32 Гбит/с может получиться и меньше 20 Гбит/с. То есть вторая голова двухголовой карты 10G пострадает. 32 гбит - это х16 1.0 шина :) 2.0 - уже 64 гбит. да и, повторюсь, пайлоад в 2 раза точно не урежет пропускную способность. разница там 10-15%. 38 минут назад, jffulcrum сказал: Так или иначе, они для общения с другими компонентами выходят на шину PCIE - один из 8 Endpoint, имеющихся в C600 PCH, например. Вас ведь не смущает, что эти контроллеры имеют адреса вида PCIROOT(0)#PCI(1A00) схренали? вон у амд сокет АМ2/АМ3 вполне себе на PCI шине (как lspci показывает) живут DRAM controler, HT контроллер и т.п - что, будете рассказывать что на самом деле они на PCI-e висят, просто AMD скрыла его наличие в проце и не вывела наружу? :) 43 минуты назад, jffulcrum сказал: Да если и не занят, то (к вопросу о сборе тазов) на десктопных матерях в этом слоту кроме видеокарт ничего не ожидается. бред. на всех платах что у меня были, сетевухи прекрасно работали в PCI-e x16 слоте. будь то офисные платы, будь то "для энтузиастов". а то что на полутора платах тайванцы нарукожопили и конкретный контроллер не работает в "процессорном" слоте - не повод натягивать это на все платы. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 20 февраля, 2019 · Жалоба @jffulcrum Нагуглили по-быстрому какой-то ерунды. Уж raid контроллер на роутерах, тем более самосборных с десктопными матерями явно из области сказок. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 20 февраля, 2019 · Жалоба 4 минуты назад, NiTr0 сказал: 32 гбит - это х16 1.0 шина :) 2.0 - уже 64 гбит. Я брал для слота x8 8 минут назад, NiTr0 сказал: пайлоад в 2 раза точно не урежет пропускную способность. разница там 10-15%. Была методичка, какой-то вендор писал. На шине есть еще и накладные расходы, в виде заголовков - 28 байт в 1,1/2.0, 30 в 3.0. Чем меньше payload в пакете, тем их больше понадобится, и тем больше будет overhead. При payload 128 20% отъедят одни заголовки, а еще есть служебные пакеты подтверждения, прям как в TCP, обычно один служебный фрейм вставляется после каждых 4 рабочих, а еще есть retrain на канальном уровне для синхронизации, в это время фреймы не передаются, причем там задается фиксированное окно, то есть передал N-байт - пауза на retrain, и чем плотнее успеешь заполнить это окно, тем лучше утилизация. Процентов 30-40 потерять вполне реально. 25 минут назад, NiTr0 сказал: а полутора платах тайванцы нарукожопили и конкретный контроллер не работает в "процессорном" слоте - не повод натягивать это на все платы. Ну, люди и с поддержкой тайванцев беседовали, бывало (речь о бюджетной платке, кстати): Цитата Answer : Upon double checking the two PCIE x16 and x8 are strictly for vga. The other slots can be used in your case. С тех пор там беспрецедентно выросло качество? Ой, давайте еще китайцев вспомним. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 20 февраля, 2019 · Жалоба @kayot Так без разницы, если рукожопы написали упрощенные процедуры инициализации в BIOS, то хоть RAID, хоть SSD, хоть сетевая - или нет POST, или (как меня обрадовала Intel dz77sl с Intel же 750 SSD) устройства после загрузки просто нет, оно испарилось. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 21 февраля, 2019 · Жалоба Товарищи линуксоиды что за зверь такой cpu_startup_entry? Полистал исходники, ничего понял, вроде как имеет отношение ожиданию заданий. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 22 февраля, 2019 · Жалоба В 21.02.2019 в 13:36, pppoetest сказал: cpu_startup_entry Это функция ядра по переводу процессора в режим idle. Ядро дергает ее, она глядит в архитектуру и далее уже вызывает подходящий к архитектуре метод, HLT для x86 без изысков или что-то поумнее. В контексте вывода perf - синоним idle. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
pppoetest Опубликовано 23 февраля, 2019 · Жалоба Благодарствую. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 23 февраля, 2019 · Жалоба В 20.02.2019 в 21:02, jffulcrum сказал: Была методичка, какой-то вендор писал. более того - по той методичке есть даже калькулятор никакого падения в 2 раза нет. В 20.02.2019 в 21:02, jffulcrum сказал: С тех пор там беспрецедентно выросло качество? повторсь, у меня во всех платах сетевуха работала идеально в видяшных pci-e x16. единственная странность - один асус lga1155 не бутался при отключении встроенной сетевухи и при наличии 82576 в pci-e x16 (пришлось оставить включенной и заблэклистить модуль). в остальных слйчаях - никаких проблем вообще. хоть с интегрированным видео, хоть без него, хоть бюджетка, хоть "для энтузиастов". Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
jffulcrum Опубликовано 24 февраля, 2019 · Жалоба 10 часов назад, NiTr0 сказал: никакого падения в 2 раза нет. ОК, идем на материалы SIGCOMM 2018 paper "Understanding PCIe Performance for End Host Networking", на основе которой калькулятор писали. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
h3ll1 Опубликовано 25 февраля, 2019 (изменено) · Жалоба On 4/17/2018 at 10:45 AM, mirk said: нтересный момент. Настроил сбор данных по conntrack и графики меня смущают. На новом се Ну, из интелах с еХ драйверов есть L7 переворот с лимитами на правила с 10 год. И досих пор нет firewall на драйвера. Изменено 25 февраля, 2019 пользователем h3ll1 добавить Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
h3ll1 Опубликовано 25 февраля, 2019 · Жалоба Tulip. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...