[NiTr0]

Допустим у нас в среднем (не минимум и максимум а на протяжении всего дня) в online находится постоянно по 2-3k пользователей.

Средняя температура по больнице? :)

Ориентируются при выборе только на максимум в ЧНН.

 

Какой бы вы для себе прикупили сервер? Несколько физических?

Конечно несколько. С таким расчетом, чтобы N-1 серверов вытянули всю нагрузку в ЧНН при аварии. Десктопные мамки с процами, интеловые сетевухи. Либо - одиночная 82576 + железка чтобы ее хватило на гиг в каждую из сторон, либо - несколько 82576 в бондинге и железка помощнее, либо - 10гбит карточка, ну и какой-то лга2011 проц на 6-8 ядер...

А по мере роста нагрузки - тупо добавлять сервера в пул.

 

Или может 1 мего физический а на нём вертуальные? Один или несколько вирт серверов?

Угу, сервер упал/сгорел - и сеть легла. А в штатном режиме имеем никакую производительность из-за оверхида виртуализации...

[DruGoe_DeLo]

Угу, сервер упал/сгорел - и сеть легла. А в штатном режиме имеем никакую производительность из-за оверхида виртуализации...

Да но можно же его и продублировать. Включть настроить чтобы он диски с полки например подсасывал. Один пал сгорел. Пришел второй включил.

Просто мне кажется, что 3 физ. сервера работающих постоянно. Подвержены больше износу чем тот который стоит в запасе и ждёт команды вкл. Потом опять же электро потребление. Хотя чаще о нём не задумываешь, да что я говорю о нём ващПе не задумываешься :D

[srg555]

стоит в запасе и ждёт команды вкл.

 

А если не включится? Лучше уж пусть работает и мониторится

[DruGoe_DeLo]

стоит в запасе и ждёт команды вкл.

 

А если не включится? Лучше уж пусть работает и мониторится

Аха. Вдруг война а я уставший :D Или волков боятся в лес не ходить.

Все может быть. И диски могут быть битыми потому что их по почте пересылали...

И провода мыши могут погрызть, и соседи затопить...

Можно предусмотреть 1000 случаем но всегда может возникнуть 1001.

Я не хочу начинать споры. Предложенные варианты хороши каждый по своему и у каждого есть свои плюсы.

Я просто выслушиваю мнение и стараюсь понять какой вариант подойдёт нам. Потому как пробывать сначало одно потом другое... это и дорого да и по времени затратно.

[NiTr0]

Да но можно же его и продублировать. Включть настроить чтобы он диски с полки например подсасывал.

Нафига брасу вообще диски? Чего на них хранить-то? Ось на 4 гига флэшку (желательно - не юсб) влазит с ооогромным запасом (у нас сейчас вообще менее 32 МБ на брасах занято), писать на флэш ничего не надо...

 

Просто мне кажется, что 3 физ. сервера работающих постоянно. Подвержены больше износу чем тот который стоит в запасе и ждёт команды вкл. Потом опять же электро потребление.

Какой такой износ? Как много серверов у вас отказало из-за какого-либо износа чего-либо кроме винтов?

Про энергопотребление - оно пропорционально нагрузке. Одна перегруженная машина будет жрать больше, чем 2-3 мелких тазика.

И да, 2 часа ночи, отпал мегосервер, абоны воют до 8 утра пока одмин проснется, или одмин в мыле бежит посреди ночи поднимать сервер... А если одмин на морях/заболел/утопил телефон в унитазе/лежит бухой в какашку/развлекается с девочками/исполняет супружеский долг (нужное подчеркнуть) - что с сервером и абонами будет, кто резерв поднимать будет?

[DruGoe_DeLo]

Слишком много если.

А насчёт электро потребления я не думаю. Выше головы блок питания не прыгнет.

А если все 3 сервака одновременно лягут из-за скачка электро питания или сам бем перебойник ёкнит. Или соседи затопят всю технику сверху? Админу что тогда? сразу вешаться?

Я же повторяюсь. Слишком много если. Мне больше интересны не идеи как то или иное ляжет или как это обезопасить или продублировать. Я спрашиваю про нагрузку на сервер. Как они себя покажут? Как они себя будут вести. А что если я физически не могу расположить в серверной три сервера? Вдруг у меня вообще нету место под серверную и я арендую юниты и критично само место. Всяких минусов я могу много придумать и космических ситуаций. И да отказывали сервера, и блоки питания горели, и память окислялась. И вода попадала. Хотя когда всё ставили, какая вода вы что!!!

Так что картина отказа может быть любой обсолютна. И это круто если в вашем случаи вы сталкивались только с винтами.

Ну да ладно. Вернёмся к вопросу.

В общем как я понимаю народ больше за hw решения. и его дублирование. А на сколько сложно настраивать accel-ppp?

Какие были за ним замечены косячки?

[alkanaft]

пилиядть. да купите же в кредит уже себе нормальную сиську с 2 питальниками, 2 ESP, 2 RP и обновляйте на ней iosxe изредка --- тогда админ неделями может в сиську не просыхать и забыть как консолью пользоваться. И оно будет работать!

[DruGoe_DeLo]

забыл дописать.

Вообсчето вы должны хранить данные в течении трёх лет, куда ваши пользователи ходили и что они там делали... в общем хранить всю их историю. Вот для этого например и использовать полку с дисками.

[srg555]

DruGoe_DeLo

это задача радиус-сервера/биллинга, а не браса

[NiTr0]

А насчёт электро потребления я не думаю. Выше головы блок питания не прыгнет.

Ниже головы - легко. В разы. Если не на порядки.

 

А если все 3 сервака одновременно лягут из-за скачка электро питания или сам бем перебойник ёкнит. Или соседи затопят всю технику сверху? Админу что тогда? сразу вешаться?

А если на вас завтра метеорит упадет? Так чо, из-за этого без каски по стройке ходить, и по городу на 250 км/ч ездить? :)

Какбы нормальный, разумный подход - дублирование/кластеризация всего, что дублируется.\параллелится и работа над дублированием того, что сейчас невозможно задублировать. Ибо вероятность отказа новой суперпупермегажелезки будет на несколько порядков выше, чем вероятность одновременного отказа нескольких тазиков на десктопном железе среднего уровня.

 

Я спрашиваю про нагрузку на сервер. Как они себя покажут? Как они себя будут вести.

Я уже ответил. Смысла ставить сверхмощный тазик, на него пихать каким-то чудом виртуалки и получать эпичного тормоза из-за дикого оверхида ввода-вывода (и бонусом - девайс, при отказе которой ложится вся сеть) нет.

 

А на сколько сложно настраивать accel-ppp?

Какие были за ним замечены косячки?

Настраивается с полпинка.

Могут быть грабли с MSS у кривых клиентов, и чегой-то вылазило с днс на некоторых говнороутерах от длинка.

[DruGoe_DeLo]

DruGoe_DeLo

это задача радиус-сервера/биллинга, а не браса

мммм вроде про брас то и речи не шло...

NiTr0

а у тебя какаясвязка стоит? Или ты счастливый обладатель кучи белых IP DHCP сервера ?:)

 

P.S. в общем спасибо ребятки за ваши прекрасные отзывы и критику. Благодаря им уже намечен путь и вырисовывается картинка. По большому счету можно уже и тему закрывать. А можно и побухтеть вдруг у кого какие вопросы остались.

[alkanaft]

не ну реально у кого сколько 5 роутерось выжала? чисто интересно сколько хомячков онлайном при тарифах 10-50 мегабит оно вытянет?

[NiTr0]

мммм вроде про брас то и речи не шло...

Как это не шло? Что, терминация PPPoE - это разве задача биллинга??? Не, есть конечно помойки "все в одном", и они даже работают, но лучше так не делать.

[nobody4097]

не ну реально у кого сколько 5 роутерось выжала? чисто интересно сколько хомячков онлайном при тарифах 10-50 мегабит оно вытянет?

Вам же говорят - мерить хомячками некорректно.

Нужно Packets Per Second (pps) указывать и используемые фишки: к-во правил фаервола, шейпинг, NAT, и т.д.

(хотя к-во правил - это тоже ни о чем: можно иметь много правил, но оптимизировать грамотно прохождение пакетов по цепочкам, а можно нафигачить кучу разной неведомой бороды типа layer7 фильтрации и прочих "сложные" действий)

Так же шейпинг может быть не оптимальным (например в 5.x версии simple queue - сильно больше грузят проц, по сравнению с Queue Tree).

Затем еще нужно обязательно указать проц (ядра, герцы), платформу, сетевой чип.

И тогда более менее тогда картина ясна.

 

Я могу описать свой опыт.

 

Предлагаю "единый шаблон":

 

1. OS: ROS 5.x

2. CPU iCore7-3930K (30-50% каждое ядро (ЧНН))

3. сеть i82576

4. MB Intel DX79TO

5. PPS: 55k+45k = 100 Kpps (ЧНН)

6. Traffic: 450M + 100М = 550 Мбит/с (ЧНН)

7. PPTP: 1800 шт в ЧНН (реально был случай, когда я наблюдал более двух тысяч (точно не помню - где-то 2300 шт))

Так что само по себе к-во тунелей - ни о чём. Много кто просто вообще роутеры не выключает, много еще кто на помегобайтных тарифах у нас (т.е. очень скромно утилизирует полосу).

8.Тарифы от мегабита до сотки (на сотке очень мало людей - дорого).

Большая масса клиентов: от 1 до 10 мегабит/с (т.е. в среденем 5 Мбит/с)

9. Шейпинг Queue Tree (маркировка в мангл + очереди PCQ) - несколько десятков

10. Firewall: NAT не используется, никаких экзотических правил, действий и фильтраций типа ограничений pps, сессий и т.д.

Также не юзаю QoS, матчинг и приоритезацию по типу трафика

11. Proxy не используется :)

12. Доп. фишки (которые почти не грузят проц): BGP/Syslog/Netflow/SNMP/RADIUS AAA/немножко VLANов

13. Общий вывод:

Понятно, что на "чистом" линуксе/фре - можно выжать гораздо больше - но нужно уметь готовить.

В Тике уже все готово (мне очень нравится простота настройки и управление шейпером).

настроил и забыл.

14. Стабильность: бывает, что некоторые серверы (не все) иногда уходят в ребут. После ребута (меньше минуты ) все снова работает без вмешательства человека.

Происходит это редко (раз в несколько месяцев) и без системы. Либо железо + конкретная сборка Микротика (используется зоопарк версий - нет политической воли обновить все),

либо происходят какие-то хитронеуловимые события в сети или нечаянные действия пользователей, типа подключения смарт холодильника с нестанадртными протоколами )))).....

Cудя по графикам - память не течет перед крахом (т.е. вообще не течёт - после краха тоже :)

 

15.

P.S. Ставлю на средние конторы (50-200 рабочих мест) железку типа RB1100AH2 - работает на 5.x стабильно и не ребутиться.

На мелкие конторы ставлю 751 и 433 борды с вафлей - тоже работает на 5.x стабильно и не ребутиться.

 

Короче, только на x86 бывают крахи (но тоже ясно - хз кто какое железо юзает - это вам ни Apple - где все "крутые" ребята (сотни миллионов человек) ходят с одинаковыми айфонами и айпадами и айпэдами )

Изменено 19 июля, 2013 пользователем nobody4097

[alkanaft]

а кто-нибудь фтЫкАл 5 рос в тазики с 10 гигабитными сетевыми и какие получались пакетные производительности?

[nobody4097]

Есть большая вероятность, что ROS 5 не "увидит" 10Г сетевуху.

Надо ROS 6 пробовать (новое ядро и дрова).

 

Ну и "пакетную производительность" Вы можете оценить, очень грубо экстраполируя мои показатели выше - похоже, что нечего делать 10Г карте в ROS 5 ))))

(ну или хз сколько ядер , процов и мегагерцев нужно :)

Потому что никто пока не представил результаты, чтобы выжать хотя бы 1+0,5 гигабит/c (вх/исх) и 250K pps

 

10Г надо ставить в "чистый линукс" и очень сильно тюнить.

Хотя надо читануть форум микротика - могет кто и ставил 10Г...

 

P.S.

господа, не стесняйтесь, пишите свои рекорды pps на тазиках (только реальные, а не синтетику или "я так предполагаю", или "у одного моего знакомого")

по вот этому шаблону http://forum.nag.ru/forum/index.php?showtopic=86586&view=findpost&p=860341

 

NiTr0, напиши реальный боевой пример для сборки софтроутера, которую ты любишь.

Изменено 19 июля, 2013 пользователем nobody4097

[NiTr0]

Ну и "пакетную производительность" Вы можете оценить, очень грубо экстраполируя мои показатели выше

Строго говоря, экстраполировать не особо получается. Ибо реально 50-60% нагрузки на ядра обычно = полка при росте нагрузки на каких-то 5-10%. + нелинейность нагрузки при росте кол-ва туннелей (если 500 туннелей по мегабиту грузят к примеру на 10%, то 1000 туннелей по мегабиту не факт что нагрузит на 20% - есть шанс получить загрузку в потолок).

 

И да, на тике пптп в юзерлевеле, от того - с производительностью там все грустно.

[dr.Livci]

кстати, да, NiTr0 - Вы так активно во всех темах, где упоминается микротик, считаете своим долгом обязательно не забыть всем напомнить, что он - УГ.

Так приведите пару примеров достижений леаф из реальной жизни.

 

p.S. топик стартер про pppoe спрашивал.

Так для протокола: pppoe в кернел моде работает в тике, и таки да - пптп/л2тп - в юзер моде.

Правда - это особо не играет роли )

В том смысле, что проц грузит в основном firewall+queuing (маркировка пакетов в mangle и шейпинг),

и при приличном pps - Тик сильно проиграет другим софтроутерам, заточенным под приличные нагрузки...

Предположу, что один из выйгрышных нюансов - отсутствие необходимости маркировки пакетов в мангл, и использование хешей для шейпера.

Изменено 19 июля, 2013 пользователем dr.Livci

[taf_321]

Предположу, что один из выйгрышных нюансов - отсутствие необходимости маркировки пакетов в мангл, и использование хешей для шейпера.

 

Портянку правил в mangle можно для tcp-mss убрать одним правилом. Это первое что я сделал, когда встала проблема производительности МТ на >300 сессиях на железку. Шейпирование в Simple Queue даже не упоминаю - эта фишка удобна когда соединени до двух десятков и скорости так себе.

[dr.Livci]

Портянку правил в mangle можно для tcp-mss убрать одним правилом. Это первое что я сделал, когда встала проблема производительности

Это само собой разумеется

Я не про change mss в mangle имел ввиду (там у меня всего два правила для всех юзерских тунелей).

Кстати в 6-ой ROS это уже из коробки наконец-то :)

(т.е. создается всего два правила на все PPP фейсы - вместо двух на каждый ппп фейс!!!).

 

Я имел ввиду про правила маркировки пакетов в мангл - по два штуки на каждый тариф.

Если тарифов штук 40 исторически накопилось, и в некоторых тарифах разные ступеньчатые скорости от объема трафика или времени суток

Прибавим разные турбокнопки - получается приличное к-во правил: а это каждый пакетик надо маркировать.

В итоге, я предполагаю, - это существенная нагрузка на проц, в отличии способа - когда в линухе фильтрация для шейпера - на хешах:

Hashing filters for very fast massive filtering

http://lartc.org/howto/lartc.adv-filter.hashing.html

Изменено 21 июля, 2013 пользователем dr.Livci

[dr.Livci]

del this post

Изменено 21 июля, 2013 пользователем dr.Livci

[NiTr0]

Так приведите пару примеров достижений леаф из реальной жизни.

Работа брасов/роутеров годами, без какого-либо внимания к ним. На любом железе, долго и счастливо. Апгрейд перетыканием флэшки в новый тазик, максимум - правка интерфейсов.

Вполне успешно работает в нескольких ПЛК (внутри - 150МГц 486й и целых 64МБ памяти), опять же с аптаймом годами. Ранние альфа-версии стабильнее некоторых релизов роутерос (к примеру, недавно обновил таки тазик с 4-альфа, еще с 2.6.32 ядром, на 5.0 - работал без проблем с апреля 2010).

[dr.Livci]

аптайм и перетыкивание флешки - это хорошо. Это просто офигенные аргументы сравнения.

Но таки примеров ппс и прочих подробностей хочется - по шаблону выше - иначе ни о чем спор.

4-й Тик тоже работает годами до сих пор на разном раритете - и кушать не просит - и что?

Но мы ща ведь не про тазики 90-х годов, да? - а про современные платформы для софтроутеров и гигабиты трафика и сотни тысяч ппс и десятки филиалов и тысячи юзеров - так что извольте современные примеры.

Годится ли леаф на такой продакшн? Или не годится?

Всем давно ясно, что микротик не годится на такой продакшн и хватит его уже говном поливать - все поняли его нишу - и в той нише он себя отлично чувствует, как бы Вы по детски бездарно не старались его говном поливать в каждой теме. (так же бездарно и по детски его защищает сааб).

И всем пофиг как там в леафе круто восстанавливать конфиг или что леафу подойдет корч 94 года - а микротику на такую же нагрузгу подойдет корч только аж не ниже 99 года.

(хотя в таком случае вообще некоторые железки микротика просто незаменимы по удобству - и идут нахер любые тазики и с леаф и с микротиком).

 

А вот место ли леафу в высоконагруженном современном софтроутере? Как у него с поддержкой свежих чипсетов?

 

Давайте, ребята четкие примеры - по шаблону - чтобы удобно было сравнивать.

Подключайтесь бздшники, пингвиноиды и прочие ребята с софтроутерами на тазиках.

 

Ну а я вообще склоняюсь к мысли - что серьезные масштабные сетевые решения - должны строится на серьезном специализированном железе.

Но мы ведь сейчас не об этом...

Изменено 21 июля, 2013 пользователем dr.Livci

[Ivan_83]

У меня фря на арм с 32 мегами работает.

[nobody4097]

пипец - мы сравниваем максимальные рекорды разных софтроутеров ?

Или, млять, у кого болгенОС на калькуляторе запустилась?

 

751 Микротик роутер борд на каком то говнопроцессоре + 32 метра памяти у меня тоже работает в моем умном доме по полгода аптайм и я от него мобилу заряжаю по юсб ? И что????

 

Это тема для хабра.)

 

А мы про высоконагруженные софтроутеры

а значит - пишите ппс, господа хорошие...

и прочие пункты - по шаблону

http://forum.nag.ru/forum/index.php?showtopic=86586&view=findpost&p=860341

 

а память никого не волнует - она стоит копейки и любые софтроутеры ее особо не кушают - даже микротик роутерось

Изменено 21 июля, 2013 пользователем nobody4097