[darkagent]

освежайте систему, и активно переходите на ng_nat с natd. нат на уровне ядра все таки по производительнее.

[netb0t]

Radiovoln_!_, город какой, если не секрет?

[photon]

А в чем проблема с natd? Например если 2 сетевушки и 8 ядер в рутере можно побить нагрузку адресами-подсетями, по демону на ядро прицепить и жевать свой гигабит in и столько-же out.

Это бред. Каким образом "прибивание" процесса к ядру процессора поможет избавиться от накладных расходов, вызванных копированием трафика из памяти ядра ОС в память процесса? У вас есть в production хоть одна машина с natd и гигабитными потоками трафика?

Изменено 4 января, 2010 пользователем photon

[terrible]

У вас есть в production хоть одна машина с natd и гигабитными потоками трафика?

тссс, спугнёшь :)

[goletsa]

40мбит это както несерьезно. Простой писюк свободно выдерживает.

У самого как помню проблемы начинались после 100 мбит, 1к+ юзеров.

Ща вот доросли до 700мбит, 4к юзеров чередой некоторых апгрейдов и оптимизаций.

 

[LuckySB]

goletsa

На чем делали ?

[mousus]

извините за оффтоп, но комп на фрибзде в состоянии отдавать и в одиночку 800-900 мегабит трафа, при том не просто пропуская с интерфейса на интерфейс на 3 уровне а на 7 уровне --- простой пример nginx на фронтэнде, так он еще и успевает часть контента сам генерировать с дисковой системы, тоесть еще и думать заставлять тачку. А вот как это сделать ---- всё очень просто надо заплатить: или баблом (быстрее) или личным временем (дольше, но переспективнее) ну и глядя как на msk-ix гордо рапортовали что на квагге работают --- и ведь оно явно на юникс операционке вертится...

 

из полезного можно почитать доклады Игоря Сысоева по тюнингу фрибзди, там очень много полезного

[bitbucket]

ну и глядя как на msk-ix гордо рапортовали что на квагге работают --- и ведь оно явно на юникс операционке вертится...

quagga там как route reflector используется: оно вообще не роутит.

[photon]

извините за оффтоп, но комп на фрибзде в состоянии отдавать и в одиночку 800-900 мегабит трафа, при том не просто пропуская с интерфейса на интерфейс на 3 уровне а на 7 уровне --- простой пример nginx на фронтэнде, так он еще и успевает часть контента сам генерировать с дисковой системы, тоесть еще и думать заставлять тачку.

У серверов пакетрейты значительно меньше, и большая часть трафика отправляется, а не принимается. В случае шейпера, входящего трафика приходит много, а отправляется он с задержками для эмуляции низкой скорости соединения.

 

из полезного можно почитать доклады Игоря Сысоева по тюнингу фрибзди, там очень много полезного

Да, но опять же это все применимо к нагруженным веб-серверам. Шейперам не нужен тюнинг параметров TCP и сокетов, о которых там в основном идет речь. Им нужны более низкоуровневые оптимизации: сетевухи с большими приемными буферами, правильно настроенные параметры interrupt mitigation и dummynet.

 

Проблема топикстартера скорее всего в том, что он использует неоптимальную классификацию трафика (каждый пакет проходит по нескольким сотням правил типа ipfw add pipe ... ip from any to 10.0.0.1) и крутит все задачи на одной машине. Radiovoln_!_, какие правила шейпинга использует биллинг при добавлении пользовательского аккаунта?

Изменено 5 января, 2010 пользователем photon

[Dm1try]

Поскольку самому все еще интересно, то советом помогу бесплатно, настроить - за деньги.

 

           input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
   1064078    0  695661325    1062119     0  695212228     0
   1249675    0  814110299    1250535     0  812786392     0
    694376     0  452946003     696300     0  452888767     0
    998575     0  646612106     998207     0  646186466     0
   1005263    0  648965879    1003187     0  648566369     0
    945353     0  620366988     947501     0  620097771     0
    970450     0  634045654     972225     0  634212986     0
   1282957    0  834787453    1283081     0  834203591     0
    714852     0  460340257     712883     0  459586179     0
   1032984    0  672270524    1035581     0  671807316     0
    949134     0  616372809     947768     0  616127565     0
    988355     0  643036862     988934     0  643120712     0
   1373205    0  891618948    1375159     0  890838494     0
    619480     0  402480802     617969     0  401772153     0
    990869     0  640523042     991421     0  639270413     0
    987148     0  636290264     987288     0  635977842     0
   1018113    0  658122366    1017408     0  658067302     0

 

Сам, сейчас, пытаюсь вырасти сам больше чем 1Mpps.

[bsdelnik]

Сам, сейчас, пытаюсь вырасти сам больше чем 1Mpps.

Это с натом, шейпом и netflow?

 

[Elisium]

Сам, сейчас, пытаюсь вырасти сам больше чем 1Mpps.

И на каком железе показывает такое чудо ?

Это чистый роутинг ?

[mousus]

извините за оффтоп, но комп на фрибзде в состоянии отдавать и в одиночку 800-900 мегабит трафа, при том не просто пропуская с интерфейса на интерфейс на 3 уровне а на 7 уровне --- простой пример nginx на фронтэнде, так он еще и успевает часть контента сам генерировать с дисковой системы, тоесть еще и думать заставлять тачку.

У серверов пакетрейты значительно меньше, и большая часть трафика отправляется, а не принимается. В случае шейпера, входящего трафика приходит много, а отправляется он с задержками для эмуляции низкой скорости соединения.

ну тут именно я упомянул nginx который работает на фронт-энде кластера вэб-серверов, тоесть он по сути является такимже маршрутизатором, но именно http трафика -- принимает запрос, проксирует запрос и отдаёт ответ, работая при этом на самом высоком уровне и как пришли все к выводу что упирается в производительности в малоэффективные медные гигабитные сетевухи, которые в силу своей архитектуры тупо не могут и 700 мегабит прогнать, а еще и в производительность самой шины и северного и южного моста чипсета ---- эксперименты ставили ставили в разные компы 10G стеклянные сетевухи и по результатам бенчмарков выжимали только 4.5 гигабита, при том упирались именно в шину на мамке, при том что даже мегапроизводительный проц тупо простаивал...

 

из полезного можно почитать доклады Игоря Сысоева по тюнингу фрибзди, там очень много полезного

Да, но опять же это все применимо к нагруженным веб-серверам. Шейперам не нужен тюнинг параметров TCP и сокетов, о которых там в основном идет речь. Им нужны более низкоуровневые оптимизации: сетевухи с большими приемными буферами, правильно настроенные параметры interrupt mitigation и dummynet.

 

Проблема топикстартера скорее всего в том, что он использует неоптимальную классификацию трафика (каждый пакет проходит по нескольким сотням правил типа ipfw add pipe ... ip from any to 10.0.0.1) и крутит все задачи на одной машине. Radiovoln_!_, какие правила шейпинга использует биллинг при добавлении пользовательского аккаунта?

...вполне возможно что и так у топикстартера ,можно тогда попробовать перейти с единичных пайпов и правил к табличным

[bitbucket]

Поскольку самому все еще интересно, то советом помогу бесплатно, настроить - за деньги.

Это без загруженного фаервола и с двумя записями в таблице маршрутизации ? Или же с fullview и сотней строк ipfw ?

[photon]

ну тут именно я упомянул nginx который работает на фронт-энде кластера вэб-серверов, тоесть он по сути является такимже маршрутизатором, но именно http трафика -- принимает запрос, проксирует запрос и отдаёт ответ, работая при этом на самом высоком уровне и как пришли все к выводу что упирается в производительности в малоэффективные медные гигабитные сетевухи, которые в силу своей архитектуры тупо не могут и 700 мегабит прогнать, а еще и в производительность самой шины и северного и южного моста чипсета ---- эксперименты ставили ставили в разные компы 10G стеклянные сетевухи и по результатам бенчмарков выжимали только 4.5 гигабита, при том упирались именно в шину на мамке, при том что даже мегапроизводительный проц тупо простаивал...

Видел такую штуку на старых железках, даже с гигабитными сетевухами. Для прокачивания 10 Гбит по идее должно хватать 8 лэйнов PCIe, тогда как в современных матерях их должно быть как минимум 32. Кроме этого, Intel в новых чипсетах, вслед за AMD, перешел на двухточечные соединения памяти с процессорами (QuickPath), контроллер памяти реализован внутри CPU и по идее тоже не должен являться узким местом (его пропускная способность -- десятки гигабайт/сек). Может это вендоры материнок химичат и не допаивают лэйны в слоты PCIe? При обработке HTTP-трафика данные неизбежно копируются из ядра в юзерлэнд и обратно, что создает дополнительную нагрузку. При маршрутизации все крутится исключительно в ядре, поэтому разница в производительности между проксированием и маршрутизацией должна быть ощутимой.

Изменено 7 января, 2010 пользователем photon

[Radiovoln_!_]

Добрый день!

Решили! :) Требла как предпологалось была железная и не в софтроутере. На пограничной циске ТТК порт жеско был привязан в фуллдуплексе на железке которая в него втыкалось стоял режим авто определения. Потеря пакетов прекратилось в тот момент когда на циске поставили режим авто. Месяц мозгоделанья :(((( Вопрос про стратегию развития актуален. всем кто на мыло стукнулся отвечу обязательно. Тему не закрываем, интересная темка получается :) Всех с праздником! Счастья и здоровья Вам!

[mousus]

таки рад за вас)) у нас когда стык с ттк был медиками были похожие грабли, долго кочумали, собсно щас соединены по sfp и жутко счастливы)

 

а вообще как грабли то железные очень часто именно в шине --- у многих матерей как бытовых компов так и серверов как всегд всё упирается во внутреннее присоединение к тормозной шине pci при этом pci-e появилось не так давно и многие тазике пыхтят сетевухами именно на тормозной шине, которая еще и всякими там малонужными операциями для роутеров типа дискового обмена занята

 

например есть на прошлой работе у меня сервачок --- 2 процовый ксеон, ксеоны 2 ядерные, память даже ECC и винты скази, и сетевуха гигабитная, и не какойнибудь там реалтек а интел! ...ну и что спросите вы? да хрен! не дует оно даже на одно tcp соединение больше 300 мегабит, и даже не в режиме роутинга а тупо запуском iperf (который из моей домашней одноядерной посудины 850 мегабит нечихая выжимает) и боже упаси вас на этом сервере еще какуюнибудь операцию дискового обмена запустить, сеть проваливается тут же, и если до 100 мегабтит то это еще хорошо... и на какой ... там 2 ксеона спросит читатель? да, правильно, воздух греть... ну и как бы в довесок: и биосы на мамке обновлялись, и настройки железа вертелись и всё что угодно делалось: результат нулевой, выше тупорылой архитектуры и тормозной шины прыгнуть не удалось, и как бы операционка непричом, хотя всё принято валить на неё...

[vitalyb]

В документации к матплате обычно есть картинка - что куда подключено и на какой шине висит. Если МП разрабатывалась с прицелом на вычислительную задачу - сетевую могли повесить "куда подальше", чтоб чисто для менеджмента была. А кому надо - воткнет в Правильный слот Правильный адаптер и получит или быстрый рейд, или быструю сеть, или что там кому надо (а так быстрая шина была бы заранее занята "ненужной" сетью)

 

[mousus]

так может тогда имеет смысл начинать собирать список матерей и моделей серверов где именно сетевая карта и обмен с ней висит на толстой шине?

[jab]

так может тогда имеет смысл начинать собирать список матерей и моделей серверов где именно сетевая карта и обмен с ней висит на толстой шине?

Может имеет смысл читать документацию до покупки, а не после ?

[jab]

а вообще как грабли то железные очень часто именно в шине --- у многих матерей как бытовых компов так и серверов как всегд всё упирается во внутреннее присоединение к тормозной шине pci при этом pci-e появилось не так давно и многие тазике пыхтят сетевухами именно на тормозной шине, которая еще и всякими там малонужными операциями для роутеров типа дискового обмена занята

Ерунду не надо писать. Бывает pci32/66, бывает pci-x, да и pci-e уже несколько лет везде используется. Если у вас на роутерах дисковый обмен, то Вы показываете яркий пример - как не надо делать роутеры.

 

например есть на прошлой работе у меня сервачок --- 2 процовый ксеон, ксеоны 2 ядерные, память даже ECC и винты скази, и сетевуха гигабитная, и не какойнибудь там реалтек а интел! ...ну и что спросите вы? да хрен! не дует оно даже на одно tcp соединение больше 300 мегабит, и даже не в режиме роутинга а тупо запуском iperf (который из моей домашней одноядерной посудины 850 мегабит нечихая выжимает) и боже упаси вас на этом сервере еще какуюнибудь операцию дискового обмена запустить, сеть проваливается тут же, и если до 100 мегабтит то это еще хорошо... и на какой ... там 2 ксеона спросит читатель? да, правильно, воздух греть... ну и как бы в довесок: и биосы на мамке обновлялись, и настройки железа вертелись и всё что угодно делалось: результат нулевой, выше тупорылой архитектуры и тормозной шины прыгнуть не удалось, и как бы операционка непричом, хотя всё принято валить на неё...

Вставить внешнюю сетевую видно религия не позволила.

[Dm1try]

Это без загруженного фаервола и с двумя записями в таблице маршрутизации ? Или же с fullview и сотней строк ipfw ?

Это 2xFV + netflow, раньше еще шейпинг был где-то на 1,5Gbit/s, но с ним стало тяжко и пришлось отказаться.

Считаю, что:

1. NAT - это плохо, у нас его нет и надеюсь не будет. Если бы был, то была бы отдельная машин(а|ы) с ng_nat.

2. Шейпер - это должен быть bridge - с нодами ng_car.

3. Netflow - это удел свитча ядра сети или вообще свитчей узлов агрегации.

 

P.S> Зачем 'сотней строк ipfw' на border - я мало понимаю :)

[bitbucket]

Это без загруженного фаервола и с двумя записями в таблице маршрутизации ? Или же с fullview и сотней строк ipfw ?

Это 2xFV + netflow, раньше еще шейпинг был где-то на 1,5Gbit/s, но с ним стало тяжко и пришлось отказаться.

тогда

netstat -rn|wc

ipfw list|wc

uname -a

vmstat -i

в студию !

 

P.S> Зачем 'сотней строк ipfw' на border - я мало понимаю :)

А почему бы им там не быть ? Если правильно делать фаервол - оно не сильно отличается 10 или 100. Или вы бордер без фаервола вообще гоняете ?

[Dm1try]

В чем смысл этих именно этих команд ? :)

# uname -r
7.2-RELEASE

# netstat -rn | wc
306855 1856703 20913099
# show ip bgp summary
RIB entries 568215, using 52 MiB of memory
Total number of neighbors 8

# vmstat -i
irq256: em0                         9999          0
irq257: em1                   7673736736        419
irq258: em2                  18298089992       1000
irq259: em3                  16007774299        875
irq260: em4                  15825221795        865
irq261: em5                  15981158464        873

 

И, вы таки удивитесь, но - да в ipfw у меня шесть правил всего.

# ipfw list | wc
       6      56     297

[Sonne]

Добрый день!

Решили! :) Требла как предпологалось была железная и не в софтроутере. На пограничной циске ТТК порт жеско был привязан в фуллдуплексе на железке которая в него втыкалось стоял режим авто определения. Потеря пакетов прекратилось в тот момент когда на циске поставили режим авто. Месяц мозгоделанья :(((( Вопрос про стратегию развития актуален. всем кто на мыло стукнулся отвечу обязательно. Тему не закрываем, интересная темка получается :) Всех с праздником! Счастья и здоровья Вам!

 

Переименуйте в "тему для нубов".