[roma33rus]

Всем привет. Назрел вопрос по апгрейду железа. Сейчас стоит такая железка:

FreeBSD 9.3-RELEASE-p9, ipfw+dummynet и ipcad. Железка используется для шейпирования трафика и открытия/закрытия доступа в интернет.

2xCPU: Intel(R) Xeon(R) CPU X5650 @ 2.67GHz

Memory: 16Gb DDR3 1333 MHz

Сетевуха двухголовая 82599EB 10-Gigabit SFI/SFP+

 

Вот загрузка по прерываниям:

 

И трафик:

 

Я понимаю, что загрузка не близко к 100 еще, ну все равно хочется подготовиться заранее. В связи с этим хочу попросить совета по выбору железа. Может чего потюнить еще чего. Давно не трогали на этой машине sysctl и прочие такие вещи.

[GrandPr1de]

Да вряд ли чего можно тюнить. Смотреть на фаервол и его оптимизировать. Если есть конечно что оптимизировать.

А так для dummynet нужны ядра с высокой частотой. Ну и на NUMA я б ставку не делал, обычно от него только хуже.

[nixx]

очень рекомендую обновиться хотя бы до https://www.freebsd.org/releases/10.3R/announce.html

там The ixgbe(4) driver has been updated to Intel® FreeBSD Networking Group version 3.1.13-k, что дало лично мне снижение занятости проца процентов на 10-15 на глазок.

 

ну и проапгрейдиться до X5675, если менять платформу целиком неохота.

 

если же менять платформу, то брать что-то типа E3-1270v5, либо E5-1680v4 (ну это на что у меня глаз лежит, если кто подскажет что-то более шустрое для трафикомолотилки - мне тоже интересно).

Изменено 29 марта, 2018 пользователем nixx

[roma33rus]

19 часов назад, GrandPr1de сказал:

Да вряд ли чего можно тюнить. Смотреть на фаервол и его оптимизировать. Если есть конечно что оптимизировать.

А так для dummynet нужны ядра с высокой частотой. Ну и на NUMA я б ставку не делал, обычно от него только хуже.

У меня сейчас там 20 правил, примерно таких:

10000  4245385130868  2091246869288760 pipe tablearg ip from table(11) to any in recv ix0
10010  6030482475005  6710562827482955 pipe tablearg ip from any to table(10) out xmit ix0
30000  8418175259890  4140644651081061 allow ip from table(770) to any
30001 11934257222941 13269448791216948 allow ip from any to table(770)
30002        3237061         185427147 allow ip from 172.16.16.0/24 to any
30003        4841707        3300973961 allow ip from any to 172.16.16.0/24
64099        2968703         349478156 allow ip from any to me via ix0
64099        4086633         486632852 allow ip from me to any via ix0
64800        9404648        1646799697 allow ip from table(110) to table(100)
64801       13013364       11223618517 allow ip from table(100) to table(110)
64803     2481794577      275651226053 fwd 10.33.33.1,80 tcp from not table(10) to any dst-port 80 via ix0 in
65000     3914990428      312499363372 deny ip from not table(10) to any via ix0 in
65101        1598883        3576344662 allow ip from any to any via lo0
65105       78364159       11130524865 allow ip from me to any via ix1 keep-state
65111              0                 0 allow ip from me to any via bce0
65112              0                 0 allow ip from 192.168.88.2 to me dst-port 2200 via bce0
65531        2771978         229779380 allow icmp from any to any icmptypes 11
65532             88              6024 deny icmp from any to me
65533              0                 0 deny ip from any to me
65535    10503641283     2354491138564 allow ip from any to any

А в sysctl и loader.conf я уже давным давно несколько переменных покрутил, что нашел в темах на этом форуме :-)

 

3 часа назад, nixx сказал:

очень рекомендую обновиться хотя бы до https://www.freebsd.org/releases/10.3R/announce.html

там The ixgbe(4) driver has been updated to Intel® FreeBSD Networking Group version 3.1.13-k, что дало лично мне снижение занятости проца процентов на 10-15 на глазок.

 

ну и проапгрейдиться до X5675, если менять платформу целиком неохота.

 

если же менять платформу, то брать что-то типа E3-1270v5, либо E5-1680v4 (ну это на что у меня глаз лежит, если кто подскажет что-то более шустрое для трафикомолотилки - мне тоже интересно).

 

обновиться к сожалению не получится, хотя нет, получится, только это опасно. Ибо у нас такой сервак один, мало ли чего там не по плану пойдет, поэтому пока без обновы. А так обновиться то давно хочется конечно.

 

Ну вообще мы думали поменять целиком платформу. Бюджет ~150к. Ну и да. Была тут идея процы махнуть, ну это же все равно ненадолго, поэтому подумываем новую платформу.

Посмотрел на наге E3 и E5. Конечно E5 покруче будут. Стоит ли под эти задачи обращать внимание на кеш проца? Разница у них почти в два раза. И будет ли профит, если собрать с памятью DDR4? Или тут и ддр3 вполне нормально можно обойтись. Если брать E5 под ddr4 и ddr3 в сравнение по цене, то они прилично так отличаются.

[TheUser]

Коллеги, прошу прощение, что вторгаюсь в вашу беседу.

А не будет ли толку в такой ситуации поменять dummynet на ng_car?

[roma33rus]

40 минут назад, TheUser сказал:

Коллеги, прошу прощение, что вторгаюсь в вашу беседу.

А не будет ли толку в такой ситуации поменять dummynet на ng_car?

Думаете выгода будет какая-то?

Сейчас посмотрел на сайте разработчика нашего биллинга, они с ним работают, только с небольшими подводными камнями. Сейчас узнаю у них как в последней версии у них дело обстоит с netgraph, если ответ положителен будет, то в теории можно попробовать и сравнить.

[nixx]

10 часов назад, roma33rus сказал:

обновиться к сожалению не получится, хотя нет, получится, только это опасно. Ибо у нас такой сервак один, мало ли чего там не по плану пойдет, поэтому пока без обновы. А так обновиться то давно хочется конечно.

 

Ну вообще мы думали поменять целиком платформу. Бюджет ~150к. Ну и да. Была тут идея процы махнуть, ну это же все равно ненадолго, поэтому подумываем новую платформу.

Посмотрел на наге E3 и E5. Конечно E5 покруче будут. Стоит ли под эти задачи обращать внимание на кеш проца? Разница у них почти в два раза. И будет ли профит, если собрать с памятью DDR4? Или тут и ддр3 вполне нормально можно обойтись. Если брать E5 под ddr4 и ddr3 в сравнение по цене, то они прилично так отличаются.

я обновляюсь заменой винтов. если "чего не по плану пойдет", замена винта на старый - 10 минут максимум. заодно и "живой" бэкап всегда имеется )

на кэш - обращать внимание стоит.

про ddr4 не знаю, сравнивать не приходилось.

E5 под ddr3 - просто уже прилично старые и их много б/у на ебее. потому и цены соответствующие.

[roma33rus]

12 часов назад, nixx сказал:

я обновляюсь заменой винтов. если "чего не по плану пойдет", замена винта на старый - 10 минут максимум. заодно и "живой" бэкап всегда имеется )

на кэш - обращать внимание стоит.

про ddr4 не знаю, сравнивать не приходилось.

E5 под ddr3 - просто уже прилично старые и их много б/у на ебее. потому и цены соответствующие.

Это получается вы копии винта делаете? Чтобы две копии то держать всегда.

[nixx]

5 часов назад, roma33rus сказал:

Это получается вы копии винта делаете? Чтобы две копии то держать всегда.

да нет, просто беру пустой винт, ставлю на него на рабочем компе систему с нуля и копирую конфиги с сервера (ну с необходимой модификацией под новые версии софта, если нужно).

а старый остается в запасе после замены, ждет очередного обновления через год-другой.

[roma33rus]

1 час назад, nixx сказал:

да нет, просто беру пустой винт, ставлю на него на рабочем компе систему с нуля и копирую конфиги с сервера (ну с необходимой модификацией под новые версии софта, если нужно).

а старый остается в запасе после замены, ждет очередного обновления через год-другой.

У Вас никаких рейдов нету?

[nixx]

2 часа назад, roma33rus сказал:

У Вас никаких рейдов нету?

зачем? на роутерах нет никакой критичной информации, кроме конфигов ) которые и так бэкапятся.

ну а если у вас рейды, то берете такой же контроллер и получаете тот же результат.

[TheUser]

2 часа назад, roma33rus сказал:

У Вас никаких рейдов нету?

По идее RAID не нужен, если:

1) Диск используется для загрузки ОС;

2) Записи на диск не производится;

3) Возможен останов для замены вышедшего из строя носителя без прерывания абонентского сервиса.

 

Иначе лучше все-таки держать хотя бы софтовый RAID ("fake-raid").

[roma33rus]

В 30.03.2018 в 17:38, nixx сказал:

зачем? на роутерах нет никакой критичной информации, кроме конфигов ) которые и так бэкапятся.

ну а если у вас рейды, то берете такой же контроллер и получаете тот же результат.

Ага. У нас зеркало. На апппратном рейде hp) ну все равно, небольшой резерв. С рейдом вероятность восстановить работу сервака быстрее по моему.

 

В 30.03.2018 в 18:19, TheUser сказал:

По идее RAID не нужен, если:

1) Диск используется для загрузки ОС;

2) Записи на диск не производится;

3) Возможен останов для замены вышедшего из строя носителя без прерывания абонентского сервиса.

 

Иначе лучше все-таки держать хотя бы софтовый RAID ("fake-raid").

Да там только логи и записываются.

А вот с остановом проблемы. В связи с этим возник вопрос. Если входящий и исходящий интерфейсы завязать в бридж, можно ли на бридже запустить шейпинг? И если да, то как оно там все дело работает? Сейчас у нас сделано статической маршрутизацией, хотелось бы уйти от этого геморроя с прописыванием маршрутов и самое главное,  чтобы из этой цепочки безболезненно можно было выдернуть сервер шейпера и работать некоторое время без него, на случай выхода из строя, либо какого-нибудь апгрейда.

 

Кстати. Решили с апгрейдом всей платформы повременить, заказали два 5680 с частотой 3ггц. Думаюна пол гига хватить. А если еще крутануть переменные, то может и на дольше хватит. Может с бриджом нагрузки меньше будет? Или наоборот больше? Надо все варианты просчитать.

[GrandPr1de]

2 часа назад, roma33rus сказал:

наоборот больше

Мне кажется будет хуже для шейпинга.

А что б статичные рауты не прописывать - заведите себе FRR/bird, на крайняк кваггу (если секса хочется).

Очень странное решение "проблемы". Что б уйти от статик роутов - переехать на бриджы.

[nixx]

5 часов назад, roma33rus сказал:

Кстати. Решили с апгрейдом всей платформы повременить, заказали два 5680 с частотой 3ггц. Думаюна пол гига хватить. А если еще крутануть переменные, то может и на дольше хватит. Может с бриджом нагрузки меньше будет? Или наоборот больше? Надо все варианты просчитать.

x5680 - 3,3ггц, а не 3.

вы уточняли, воспримет ли ваш сервер нормально эти процы? сам просто натыкался однажды - у 5680 тепловыделение много выше, чем у моделей младше него, и возможны нюансы с поддержкой.

[roma33rus]

36 минут назад, nixx сказал:

x5680 - 3,3ггц, а не 3.

вы уточняли, воспримет ли ваш сервер нормально эти процы? сам просто натыкался однажды - у 5680 тепловыделение много выше, чем у моделей младше него, и возможны нюансы с поддержкой.

Да. Описался. 3.3, точно, вы правы. Судя описанию проца должен встать. Честно сравнивали только показатели нынешнего и 5680 процов. Думаете мат.плата может не состыковаться с ним?

[kayot]

@roma33rus 5680 весьма специфичный проц, во многих матерях он не заведется. Я в этот щит наступал пару лет назад, не пошли на HP G6.

Если в описании сервера/матери не заявлена явно поддержка - скорее всего работать не будет.

[roma33rus]

7 часов назад, kayot сказал:

@roma33rus 5680 весьма специфичный проц, во многих матерях он не заведется. Я ж этот щит наступал пару лет назад, не пошли на HP G6.

Если в описании сервера/матери не заявлена явно поддержка - скорее всего работать не будет.

Вот блин :-( не нашли тогда, в чем у вас не состыковка была?

[roma33rus]

 

14 часов назад, kayot сказал:

@roma33rus 5680 весьма специфичный проц, во многих матерях он не заведется. Я ж этот щит наступал пару лет назад, не пошли на HP G6.

Если в описании сервера/матери не заявлена явно поддержка - скорее всего работать не будет.

Посмотрел,  у нас тоже G6 стоит :-(

Изменено 2 апреля, 2018 пользователем roma33rus

[kayot]

7 часов назад, roma33rus сказал:

не нашли тогда, в чем у вас не состыковка была?

TDP 130w, если у сервера нет в списке поддерживаемых таких камней - он просто не стартует, никакие пляски не помогут. Я пробовал на DL180 G6, DL380 G6.

[roma33rus]

Эх да. Косяк. Судя описанию https://support.hpe.com/hpsc/doc/public/display?docId=emr_na-c02166948 Туда максимум x5670 идут. А они не особо мощнее. Какой у нас выход получается? Брать 5670 или собирать платформу новую?

[zhenya`]

новая платформа даст профита больше ) 

[roma33rus]

23 минуты назад, zhenya` сказал:

новая платформа даст профита больше ) 

Даже, если процы будут с такой же частотой?

[nixx]

1 час назад, roma33rus сказал:

Даже, если процы будут с такой же частотой?

проц, а не процы. не надо делать трафиколопатилку на многопроцессорном железе.

 

и да, даже с такой же частотой. а то и с более низкой.

сравните

https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+X5670+%40+2.93GHz&id=1307

https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E5-2650+v2+%40+2.60GHz&id=2042

строчку Single Thread Rating - это в попугаях скорость одного ядра проца.

 

почитайте https://forum.nag.ru/index.php?/topic/131000-freebsd-nat-dummynet/

Изменено 2 апреля, 2018 пользователем nixx

[roma33rus]

30 минут назад, nixx сказал:

проц, а не процы. не надо делать трафиколопатилку на многопроцессорном железе.

 

и да, даже с такой же частотой. а то и с более низкой.

сравните

https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+X5670+%40+2.93GHz&id=1307

https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E5-2650+v2+%40+2.60GHz&id=2042

строчку Single Thread Rating - это в попугаях скорость одного ядра проца.

 

почитайте https://forum.nag.ru/index.php?/topic/131000-freebsd-nat-dummynet/

 

Спасибо, сейчас примусь к прочтению. Платформу лучше изначально брать однопроцессорную?