Перейти к содержимому
Калькуляторы

FreeBSD 12.1 + 8xigb - счастья не случилось :( Помогите!

Рекомендую не постулировать а спросить в рассылке как это решить, ибо в ядре как минимум две подсистемы которые умеют размазывать по ядрам.

Если есть желание, могу попробовать слепить патч на пару строк чтобы активировать одну из них принудительно для какойнить нетграфноды учавствующей в пппое.

 

Собственно вот весь патч:

--- a/sys/netgraph/ng_pppoe.c
+++ b/sys/netgraph/ng_pppoe.c
@@ -698,6 +698,7 @@ ng_pppoe_newhook(node_p node, hook_p hook, const char *name)
 
 	if (strcmp(name, NG_PPPOE_HOOK_ETHERNET) == 0) {
 		privp->ethernet_hook = hook;
+		NG_HOOK_FORCE_QUEUE(hook);
 		NG_HOOK_SET_RCVDATA(hook, ng_pppoe_rcvdata_ether);
 	} else if (strcmp(name, NG_PPPOE_HOOK_DEBUG) == 0) {
 		privp->debug_hook = hook;

На старых системах нужно было net.graph.threads="0" в лоадере выставлять, а на новых кажется дублирующийся код убрали и теперь это ISR делает, у меня его тюнинг в лоадере выглядит так:

# NetISR
net.isr.maxthreads="1024"    # Use at most this many CPUs for netisr processing
net.isr.bindthreads="1"        # Bind netisr threads to CPUs.
net.isr.defaultqlimit="65536"    # Default netisr per-protocol, per-CPU queue limit if not set by protocol
net.isr.maxqlimit="65536"    # Maximum netisr per-protocol, per-CPU queue depth.

 

и в сисцтл:

net.isr.dispatch=deferred        # direct / hybrid / deffered // Interrupt handling via multiple CPU, but with context switch.
#net.isr.bindthreads=1            # Bind netisr threads to CPUs
net.route.netisr_maxqlen=65536        # maximum routing socket dispatch queue length

 

После патча пересобирать и переустанавливать ядро - обязательно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 22.03.2021 в 03:01, Ivan_83 сказал:

http://www.netlab.linkpc.net/download/software/os_cfg/FBSD/12.0/base/

Это у меня дома на сервере и десктопе, пока хватает :)

спасибо что поделились, будем понемногу изучать параметры, правда забыл уточнить что для наса нужен тюнинг, а то сомневаюсь что у вас дома сервер выполняет задачу наса)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

7 часов назад, WideAreaNetwork сказал:

правда забыл уточнить что для наса нужен тюнинг, а то сомневаюсь что у вас дома сервер выполняет задачу наса

Так это собиралось из того что тут советовали для насов, в том числе.

Плюс изрядная доля моего для net.inet.tcp и ещё каких то мест.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 26.03.2021 в 23:42, zlobar сказал:

А как ето вьіглядит?

Ну в связке с accel-ppp

 

В связке с accel через модуль pppd_compat отправляю шепйперу ип и скорости через скрипты ip-up ip-down

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вот так и делай вам патчи, некому даже попробовать :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

> Does anyone know how to do this? I want to ensure both my kqueue-based TCP
> server app thread and the interrupt thread for the NIC to run at the same
> CPU core.  

cpuset -l $corenumber -x $irqnumber
cpuset -l 0 -x 259

This is documented in the cpuset(1) manual page.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А по какой причине под фрей Mpd не использовать ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, Mechanic сказал:

А по какой причине под фрей Mpd не использовать ?

С чего бы это вдруг? Кто вам такое сказал?

Используйте на здоровье! В качестве "домашнего клиента", например.

А вот в продакшен, да - не рекомендуется в нынешних реалиях.

В РФ например, сие грозит потерей работы по ст. 192 Трудового кодекса. ;-)

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

27 минут назад, AlKov сказал:

А вот в продакшен, да - не рекомендуется в нынешних реалиях.

а чем нынешние реалии так плохи ?

у нас трудится еще сервер для pptp на mpd, нет проблем с ним

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

43 минуты назад, Mechanic сказал:

а чем нынешние реалии так плохи ?

 

Прикалываетесь? ;) Или не читали внимательно эту и соседние темы?

 

43 минуты назад, Mechanic сказал:

у нас трудится еще сервер для pptp на mpd, нет проблем с ним

Ключевое слово "еще".

Под моим присмотром тоже еще успешно трудятся, не напрягая, 9 NAS-ов  c mpd5.  НО! На всех этих машинах FreeBSD НЕ выше 9.3 (начиная с 9.0).

А вот с 10-м NAS-ом, увы, не повезло. Причем, железобетонно, окончательно и бесповоротно..

И вот это и есть те самые "нынешние реалии". Когда проблемы индейцев шерифа не то что бы не волнуют  - он про них (индейцев) существование даже и не знает! 

 

P.S. Вот еще информация для размышления на тему целесообразности дальнейшего использования mpd5 в продакшен. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

все правильно написано - или дебажить и искать или .. перехать

У меня работает он на 9ке вроде, даже не помню, а переходим на ipoe, поэтому необходимость в нем вообще отпадает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

35 минут назад, Mechanic сказал:

все правильно написано - или дебажить и искать

Правильно??!!

Нескромный вопрос - а Вы сами когда-нибудь пытались следовать вот этому своему совету?

Причем дебажить не на лабораторной кошечке, а на  машине с тысячей живых клиентов.

Когда при этом за вашей спиной расположились два "красных объекта" - телефон и шеф. 

 

P.S. А вот интересно, куда бы послал советчика пекарь, которому предложили бы "подебажить" пяток кило муки с жучками (ну попали вот они туда, что поделаешь!)? :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, AlKov сказал:

И вот это и есть те самые "нынешние реалии". Когда проблемы индейцев шерифа не то что бы не волнуют  - он про них (индейцев) существование даже и не знает! 

Потому что вы, индейцы, не можете к шерифу подойти и рассказать о ваших проблемах, думаете что шериф это божество которое само должно слышать ваши молитвы к нему на вашем индейской языке в вашем индейском фигваме.

А когда вам делаешь патч - от вас даже на индейском языке никакого фидбека нет месяцами.

Это уже второй раз когда я делаю тут патч в /dev/null.

 

3 минуты назад, AlKov сказал:

Нескромный вопрос - а Вы сами когда-нибудь пытались следовать вот этому своему совету?

Причем дебажить не на лабораторной кошечке, а на  машине с тысячей живых клиентов.

Когда при этом за вашей спиной расположились два "красных объекта" - телефон и шеф.

Смешно.

Идите расскажите об этой проблеме в netflix, они в отличии от вас, живут не на древнем release а на current (нынче main), и хомячком этих самых у них не жалкая тыща а миллионами по всему шарику.

Просто признайте уже что у вас нет поставленного процесса не то что разработки/отладки, но и даже тестирования, что вы просто живёте на том что есть и принимаете это как данность и не в силах повлиять ни на что. Типичная контора, коих подавляющее большинство, где сил хватает только на эксплуатацию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, Ivan_83 сказал:

Просто признайте уже что у вас нет поставленного процесса не то что разработки/отладки

Совершенно верно! Нет и не будет, потому-что сапоги должен тачать сапожник, а не пирожник..

 

1 час назад, Ivan_83 сказал:

но и даже тестирования,

Это существует и ДОЛЖНО и ОБЯЗАНО существовать, т.к.

 

1 час назад, Ivan_83 сказал:

Типичная контора, коих подавляющее большинство, где сил хватает только на эксплуатацию.

Именно так! Заниматься строительством и эксплуатацией сетей связи, но никак не разработкой/отладкой сетевого оборудования.

Для этого существуют другие профессионалы, которые просто обязаны иметь обратную связь с эксплуатацией.

 

P.S. Вы не задумывались, почему это санитарки не оперируют больных? Могли бы и покопаться в вашем брюхе. Ведь в одной же "конторе" работают! ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

13 минут назад, AlKov сказал:

Совершенно верно! Нет и не будет, потому-что сапоги должен тачать сапожник, а не пирожник..

 

Это существует и ДОЛЖНО и ОБЯЗАНО существовать, т.к.

 

Именно так! Заниматься строительством и эксплуатацией сетей связи, но никак не разработкой/отладкой сетевого оборудования.

Для этого существуют другие профессионалы, которые просто обязаны иметь обратную связь с эксплуатацией.

 

P.S. Вы не задумывались, почему это санитарки не оперируют больных? Могли бы и покопаться в вашем брюхе. Ведь в одной же "конторе" работают! ;-)

Ваш дискут из другой оперы, продукт опенсоурс- никто никому нечем не обязан.

фря или линух - личное предпочтение

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

2 часа назад, AlKov сказал:

Именно так! Заниматься строительством и эксплуатацией сетей связи, но никак не разработкой/отладкой сетевого оборудования.

Для этого существуют другие профессионалы, которые просто обязаны иметь обратную связь с эксплуатацией.

Извините за резкость, весна.

 

Строительство и эксплуатация - это уровень монтажников, по любимой тут модели оси это физика + эзернет.

PPPoE это уже чуть выше и оно предоставляет сервис поверх этой сети.

Если вы считаете себя монтажником и настройщиком коммутаторов - зачем вам фря!? Идите в соседний раздел, там как раз про железо. )

 

Нетфликс это не софтопесательная контора, но они ведут разработку.

Яндекс раньше тоже апстримил во фрю, но кажется от туда все свалили заграницу кто раньше это делал.

Во фрю пилят все кому надо и кто при этом может.

 

Мне очень не понятно почему нельзя написать в рассылку о своих проблемах или завести багу, собственно я вижу только одну причину для этого - отсутствие мотивации.

 

И раз уж тут какие то профессионалы вам что то обязаны, то зачем вам фря? (хотя я чото даже не знаю инженера какого вендора бегают за "эксплуатацией", обычно они улетучиваются как только заканчивается инсталляция, и неохотно появляются только когда их пинают по сервис контракту - вы точно профессионалов таких видели в жизни?) )

Или вы задонатили кому то чтобы он пппое во фре починил а он не починил?

 

Я как то слабо понял: что лично вы сделали для того, чтобы ваш софтнас продолжил работать на свежем бесплатном софте?

Мне лично это карго культ напоминает: мана приди!!! А когда она не приходит - люди обижаются на ману а не на себя. )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

15 часов назад, Ivan_83 сказал:

Извините за резкость, весна.

Ну да..

- Вот весна настала

- Расцвела капуста

- У меня проснулись.... :-)

 

P.S.

Глупые индейцы ушли к другому Шерифу.. Все довольны, все смеются..

СпектакльХоливар закончен...

Занавес!

Бурные продолжительные аплодисменты...

 

P.P.S. Неплохо было бы вспомнить о ТС и вернуться к обсуждению темы. ;-)

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Здравствуйте, пишу сюда чтоб не плодить темы. Недавно обновился до FreeBSD 13, но началось все еще с 12 как появился iflib.
Поведение на разных серверах, аналогичное.
CPU 2 x CPU E5-2670
Сетевая карта ix, драйвер стандартный который идет с системой

Как я понял при загрузке создаются потоки для каждого ядра процессора.

procstat -at | grep if_io
    0 100019 kernel              if_io_tqg_0          -1   24 sleep   -
    0 100020 kernel              if_io_tqg_1          -1   24 sleep   -
    0 100021 kernel              if_io_tqg_2          -1   24 sleep   -
    0 100022 kernel              if_io_tqg_3          -1   24 sleep   -
    0 100023 kernel              if_io_tqg_4          -1   24 sleep   -
    0 100024 kernel              if_io_tqg_5          -1   24 sleep   -
    0 100025 kernel              if_io_tqg_6          -1   24 sleep   -
    0 100026 kernel              if_io_tqg_7          -1   24 sleep   -
    0 100027 kernel              if_io_tqg_8          -1   24 sleep   -
    0 100028 kernel              if_io_tqg_9          -1   24 sleep   -
    0 100029 kernel              if_io_tqg_10         -1   24 sleep   -
    0 100030 kernel              if_io_tqg_11         -1   24 sleep   -
    0 100031 kernel              if_io_tqg_12         -1   24 sleep   -
    0 100032 kernel              if_io_tqg_13         -1   24 sleep   -
    0 100033 kernel              if_io_tqg_14         -1   24 sleep   -
    0 100034 kernel              if_io_tqg_15         -1   24 sleep   -


Когда даю нагрузку на сеть, судя по top работают только первые 8 потоков, которые работают с первым процессором. Получается второй процессор вообще не используется.
Пробовал разные комбинации тюнинга sysctl не получается с iflib задействовать второй процессор.
Помогает только поставить драйвер ix из портов. Тогда появляется по 8 потоков на каждый порт сетевой карты, которые можно распределить по ядрам всех процессоров.
Но так не всегда удобно, если в сервере более 16 ядер то лишние не используются, а если менее 16 то попадает по несколько потоков на одно ядро.

Думал может в FreeBSD 13 что то изменилось, но нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В 05.05.2021 в 17:38, orca сказал:

CPU 2 x CPU E5-2670

Сетевая карта ix

 

попробуйте добавить в /boot/loader.conf

dev.ix.0.iflib.override_nrxqs=8
dev.ix.0.iflib.override_ntxqs=8

dev.ix.1.iflib.override_nrxqs=8
dev.ix.1.iflib.override_ntxqs=8

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, DDR сказал:

 

попробуйте добавить в /boot/loader.conf


dev.ix.0.iflib.override_nrxqs=8
dev.ix.0.iflib.override_ntxqs=8

dev.ix.1.iflib.override_nrxqs=8
dev.ix.1.iflib.override_ntxqs=8

 

Это все пробовал.
Оно меняет количество очередей сетевой карты, но эти очереди потом распределяются по if_io_tqg_ количество которых равно количеству ядер в системе. При двух процессорах работают только if_io_tqg_ которые привязаны к первому процессору.

В рассылку не писал. Честно говоря никогда туда не писал только читал иногда.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1 час назад, orca сказал:

В рассылку не писал. Честно говоря никогда туда не писал только читал иногда.

Ну вот пора начать.

В худшем случае проигнорят или завалят вопросами :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Кто то уже попробовал патч чтобы PPPoE разложилось по ядрам?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

On 5/6/2021 at 7:04 PM, orca said:

Это все пробовал.
Оно меняет количество очередей сетевой карты, но эти очереди потом распределяются по if_io_tqg_ количество которых равно количеству ядер в системе. При двух процессорах работают только if_io_tqg_ которые привязаны к первому процессору.

В рассылку не писал. Честно говоря никогда туда не писал только читал иногда.

Никак вы это не сделаете. Если сервер с двумя нума нодами, ставте вторую сетевую на pci шину второго проца. Но если сервер используется для рутинга - прироста в производительности это не даст ровно никакого.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.