NiTr0 Опубликовано 18 июля, 2013 · Жалоба Допустим у нас в среднем (не минимум и максимум а на протяжении всего дня) в online находится постоянно по 2-3k пользователей. Средняя температура по больнице? :) Ориентируются при выборе только на максимум в ЧНН. Какой бы вы для себе прикупили сервер? Несколько физических? Конечно несколько. С таким расчетом, чтобы N-1 серверов вытянули всю нагрузку в ЧНН при аварии. Десктопные мамки с процами, интеловые сетевухи. Либо - одиночная 82576 + железка чтобы ее хватило на гиг в каждую из сторон, либо - несколько 82576 в бондинге и железка помощнее, либо - 10гбит карточка, ну и какой-то лга2011 проц на 6-8 ядер... А по мере роста нагрузки - тупо добавлять сервера в пул. Или может 1 мего физический а на нём вертуальные? Один или несколько вирт серверов? Угу, сервер упал/сгорел - и сеть легла. А в штатном режиме имеем никакую производительность из-за оверхида виртуализации... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DruGoe_DeLo Опубликовано 18 июля, 2013 · Жалоба Угу, сервер упал/сгорел - и сеть легла. А в штатном режиме имеем никакую производительность из-за оверхида виртуализации... Да но можно же его и продублировать. Включть настроить чтобы он диски с полки например подсасывал. Один пал сгорел. Пришел второй включил. Просто мне кажется, что 3 физ. сервера работающих постоянно. Подвержены больше износу чем тот который стоит в запасе и ждёт команды вкл. Потом опять же электро потребление. Хотя чаще о нём не задумываешь, да что я говорю о нём ващПе не задумываешься :D Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
srg555 Опубликовано 18 июля, 2013 · Жалоба стоит в запасе и ждёт команды вкл. А если не включится? Лучше уж пусть работает и мониторится Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DruGoe_DeLo Опубликовано 18 июля, 2013 · Жалоба стоит в запасе и ждёт команды вкл. А если не включится? Лучше уж пусть работает и мониторится Аха. Вдруг война а я уставший :D Или волков боятся в лес не ходить. Все может быть. И диски могут быть битыми потому что их по почте пересылали... И провода мыши могут погрызть, и соседи затопить... Можно предусмотреть 1000 случаем но всегда может возникнуть 1001. Я не хочу начинать споры. Предложенные варианты хороши каждый по своему и у каждого есть свои плюсы. Я просто выслушиваю мнение и стараюсь понять какой вариант подойдёт нам. Потому как пробывать сначало одно потом другое... это и дорого да и по времени затратно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 18 июля, 2013 · Жалоба Да но можно же его и продублировать. Включть настроить чтобы он диски с полки например подсасывал. Нафига брасу вообще диски? Чего на них хранить-то? Ось на 4 гига флэшку (желательно - не юсб) влазит с ооогромным запасом (у нас сейчас вообще менее 32 МБ на брасах занято), писать на флэш ничего не надо... Просто мне кажется, что 3 физ. сервера работающих постоянно. Подвержены больше износу чем тот который стоит в запасе и ждёт команды вкл. Потом опять же электро потребление. Какой такой износ? Как много серверов у вас отказало из-за какого-либо износа чего-либо кроме винтов? Про энергопотребление - оно пропорционально нагрузке. Одна перегруженная машина будет жрать больше, чем 2-3 мелких тазика. И да, 2 часа ночи, отпал мегосервер, абоны воют до 8 утра пока одмин проснется, или одмин в мыле бежит посреди ночи поднимать сервер... А если одмин на морях/заболел/утопил телефон в унитазе/лежит бухой в какашку/развлекается с девочками/исполняет супружеский долг (нужное подчеркнуть) - что с сервером и абонами будет, кто резерв поднимать будет? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DruGoe_DeLo Опубликовано 18 июля, 2013 · Жалоба Слишком много если. А насчёт электро потребления я не думаю. Выше головы блок питания не прыгнет. А если все 3 сервака одновременно лягут из-за скачка электро питания или сам бем перебойник ёкнит. Или соседи затопят всю технику сверху? Админу что тогда? сразу вешаться? Я же повторяюсь. Слишком много если. Мне больше интересны не идеи как то или иное ляжет или как это обезопасить или продублировать. Я спрашиваю про нагрузку на сервер. Как они себя покажут? Как они себя будут вести. А что если я физически не могу расположить в серверной три сервера? Вдруг у меня вообще нету место под серверную и я арендую юниты и критично само место. Всяких минусов я могу много придумать и космических ситуаций. И да отказывали сервера, и блоки питания горели, и память окислялась. И вода попадала. Хотя когда всё ставили, какая вода вы что!!! Так что картина отказа может быть любой обсолютна. И это круто если в вашем случаи вы сталкивались только с винтами. Ну да ладно. Вернёмся к вопросу. В общем как я понимаю народ больше за hw решения. и его дублирование. А на сколько сложно настраивать accel-ppp? Какие были за ним замечены косячки? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alkanaft Опубликовано 18 июля, 2013 · Жалоба пилиядть. да купите же в кредит уже себе нормальную сиську с 2 питальниками, 2 ESP, 2 RP и обновляйте на ней iosxe изредка --- тогда админ неделями может в сиську не просыхать и забыть как консолью пользоваться. И оно будет работать! Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DruGoe_DeLo Опубликовано 18 июля, 2013 · Жалоба забыл дописать. Вообсчето вы должны хранить данные в течении трёх лет, куда ваши пользователи ходили и что они там делали... в общем хранить всю их историю. Вот для этого например и использовать полку с дисками. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
srg555 Опубликовано 18 июля, 2013 · Жалоба DruGoe_DeLo это задача радиус-сервера/биллинга, а не браса Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 18 июля, 2013 · Жалоба А насчёт электро потребления я не думаю. Выше головы блок питания не прыгнет. Ниже головы - легко. В разы. Если не на порядки. А если все 3 сервака одновременно лягут из-за скачка электро питания или сам бем перебойник ёкнит. Или соседи затопят всю технику сверху? Админу что тогда? сразу вешаться? А если на вас завтра метеорит упадет? Так чо, из-за этого без каски по стройке ходить, и по городу на 250 км/ч ездить? :) Какбы нормальный, разумный подход - дублирование/кластеризация всего, что дублируется.\параллелится и работа над дублированием того, что сейчас невозможно задублировать. Ибо вероятность отказа новой суперпупермегажелезки будет на несколько порядков выше, чем вероятность одновременного отказа нескольких тазиков на десктопном железе среднего уровня. Я спрашиваю про нагрузку на сервер. Как они себя покажут? Как они себя будут вести. Я уже ответил. Смысла ставить сверхмощный тазик, на него пихать каким-то чудом виртуалки и получать эпичного тормоза из-за дикого оверхида ввода-вывода (и бонусом - девайс, при отказе которой ложится вся сеть) нет. А на сколько сложно настраивать accel-ppp? Какие были за ним замечены косячки? Настраивается с полпинка. Могут быть грабли с MSS у кривых клиентов, и чегой-то вылазило с днс на некоторых говнороутерах от длинка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
DruGoe_DeLo Опубликовано 19 июля, 2013 · Жалоба DruGoe_DeLo это задача радиус-сервера/биллинга, а не браса мммм вроде про брас то и речи не шло... NiTr0 а у тебя какаясвязка стоит? Или ты счастливый обладатель кучи белых IP DHCP сервера ?:) P.S. в общем спасибо ребятки за ваши прекрасные отзывы и критику. Благодаря им уже намечен путь и вырисовывается картинка. По большому счету можно уже и тему закрывать. А можно и побухтеть вдруг у кого какие вопросы остались. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alkanaft Опубликовано 19 июля, 2013 · Жалоба не ну реально у кого сколько 5 роутерось выжала? чисто интересно сколько хомячков онлайном при тарифах 10-50 мегабит оно вытянет? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 19 июля, 2013 · Жалоба мммм вроде про брас то и речи не шло... Как это не шло? Что, терминация PPPoE - это разве задача биллинга??? Не, есть конечно помойки "все в одном", и они даже работают, но лучше так не делать. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nobody4097 Опубликовано 19 июля, 2013 (изменено) · Жалоба не ну реально у кого сколько 5 роутерось выжала? чисто интересно сколько хомячков онлайном при тарифах 10-50 мегабит оно вытянет? Вам же говорят - мерить хомячками некорректно. Нужно Packets Per Second (pps) указывать и используемые фишки: к-во правил фаервола, шейпинг, NAT, и т.д. (хотя к-во правил - это тоже ни о чем: можно иметь много правил, но оптимизировать грамотно прохождение пакетов по цепочкам, а можно нафигачить кучу разной неведомой бороды типа layer7 фильтрации и прочих "сложные" действий) Так же шейпинг может быть не оптимальным (например в 5.x версии simple queue - сильно больше грузят проц, по сравнению с Queue Tree). Затем еще нужно обязательно указать проц (ядра, герцы), платформу, сетевой чип. И тогда более менее тогда картина ясна. Я могу описать свой опыт. Предлагаю "единый шаблон": 1. OS: ROS 5.x 2. CPU iCore7-3930K (30-50% каждое ядро (ЧНН)) 3. сеть i82576 4. MB Intel DX79TO 5. PPS: 55k+45k = 100 Kpps (ЧНН) 6. Traffic: 450M + 100М = 550 Мбит/с (ЧНН) 7. PPTP: 1800 шт в ЧНН (реально был случай, когда я наблюдал более двух тысяч (точно не помню - где-то 2300 шт)) Так что само по себе к-во тунелей - ни о чём. Много кто просто вообще роутеры не выключает, много еще кто на помегобайтных тарифах у нас (т.е. очень скромно утилизирует полосу). 8.Тарифы от мегабита до сотки (на сотке очень мало людей - дорого). Большая масса клиентов: от 1 до 10 мегабит/с (т.е. в среденем 5 Мбит/с) 9. Шейпинг Queue Tree (маркировка в мангл + очереди PCQ) - несколько десятков 10. Firewall: NAT не используется, никаких экзотических правил, действий и фильтраций типа ограничений pps, сессий и т.д. Также не юзаю QoS, матчинг и приоритезацию по типу трафика 11. Proxy не используется :) 12. Доп. фишки (которые почти не грузят проц): BGP/Syslog/Netflow/SNMP/RADIUS AAA/немножко VLANов 13. Общий вывод: Понятно, что на "чистом" линуксе/фре - можно выжать гораздо больше - но нужно уметь готовить. В Тике уже все готово (мне очень нравится простота настройки и управление шейпером). настроил и забыл. 14. Стабильность: бывает, что некоторые серверы (не все) иногда уходят в ребут. После ребута (меньше минуты ) все снова работает без вмешательства человека. Происходит это редко (раз в несколько месяцев) и без системы. Либо железо + конкретная сборка Микротика (используется зоопарк версий - нет политической воли обновить все), либо происходят какие-то хитронеуловимые события в сети или нечаянные действия пользователей, типа подключения смарт холодильника с нестанадртными протоколами ))))..... Cудя по графикам - память не течет перед крахом (т.е. вообще не течёт - после краха тоже :) 15. P.S. Ставлю на средние конторы (50-200 рабочих мест) железку типа RB1100AH2 - работает на 5.x стабильно и не ребутиться. На мелкие конторы ставлю 751 и 433 борды с вафлей - тоже работает на 5.x стабильно и не ребутиться. Короче, только на x86 бывают крахи (но тоже ясно - хз кто какое железо юзает - это вам ни Apple - где все "крутые" ребята (сотни миллионов человек) ходят с одинаковыми айфонами и айпадами и айпэдами ) Изменено 19 июля, 2013 пользователем nobody4097 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
alkanaft Опубликовано 19 июля, 2013 · Жалоба а кто-нибудь фтЫкАл 5 рос в тазики с 10 гигабитными сетевыми и какие получались пакетные производительности? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nobody4097 Опубликовано 19 июля, 2013 (изменено) · Жалоба Есть большая вероятность, что ROS 5 не "увидит" 10Г сетевуху. Надо ROS 6 пробовать (новое ядро и дрова). Ну и "пакетную производительность" Вы можете оценить, очень грубо экстраполируя мои показатели выше - похоже, что нечего делать 10Г карте в ROS 5 )))) (ну или хз сколько ядер , процов и мегагерцев нужно :) Потому что никто пока не представил результаты, чтобы выжать хотя бы 1+0,5 гигабит/c (вх/исх) и 250K pps 10Г надо ставить в "чистый линукс" и очень сильно тюнить. Хотя надо читануть форум микротика - могет кто и ставил 10Г... P.S. господа, не стесняйтесь, пишите свои рекорды pps на тазиках (только реальные, а не синтетику или "я так предполагаю", или "у одного моего знакомого") по вот этому шаблону http://forum.nag.ru/forum/index.php?showtopic=86586&view=findpost&p=860341 NiTr0, напиши реальный боевой пример для сборки софтроутера, которую ты любишь. Изменено 19 июля, 2013 пользователем nobody4097 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 19 июля, 2013 · Жалоба Ну и "пакетную производительность" Вы можете оценить, очень грубо экстраполируя мои показатели выше Строго говоря, экстраполировать не особо получается. Ибо реально 50-60% нагрузки на ядра обычно = полка при росте нагрузки на каких-то 5-10%. + нелинейность нагрузки при росте кол-ва туннелей (если 500 туннелей по мегабиту грузят к примеру на 10%, то 1000 туннелей по мегабиту не факт что нагрузит на 20% - есть шанс получить загрузку в потолок). И да, на тике пптп в юзерлевеле, от того - с производительностью там все грустно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dr.Livci Опубликовано 19 июля, 2013 (изменено) · Жалоба кстати, да, NiTr0 - Вы так активно во всех темах, где упоминается микротик, считаете своим долгом обязательно не забыть всем напомнить, что он - УГ. Так приведите пару примеров достижений леаф из реальной жизни. p.S. топик стартер про pppoe спрашивал. Так для протокола: pppoe в кернел моде работает в тике, и таки да - пптп/л2тп - в юзер моде. Правда - это особо не играет роли ) В том смысле, что проц грузит в основном firewall+queuing (маркировка пакетов в mangle и шейпинг), и при приличном pps - Тик сильно проиграет другим софтроутерам, заточенным под приличные нагрузки... Предположу, что один из выйгрышных нюансов - отсутствие необходимости маркировки пакетов в мангл, и использование хешей для шейпера. Изменено 19 июля, 2013 пользователем dr.Livci Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
taf_321 Опубликовано 20 июля, 2013 · Жалоба Предположу, что один из выйгрышных нюансов - отсутствие необходимости маркировки пакетов в мангл, и использование хешей для шейпера. Портянку правил в mangle можно для tcp-mss убрать одним правилом. Это первое что я сделал, когда встала проблема производительности МТ на >300 сессиях на железку. Шейпирование в Simple Queue даже не упоминаю - эта фишка удобна когда соединени до двух десятков и скорости так себе. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dr.Livci Опубликовано 21 июля, 2013 (изменено) · Жалоба Портянку правил в mangle можно для tcp-mss убрать одним правилом. Это первое что я сделал, когда встала проблема производительности Это само собой разумеется Я не про change mss в mangle имел ввиду (там у меня всего два правила для всех юзерских тунелей). Кстати в 6-ой ROS это уже из коробки наконец-то :) (т.е. создается всего два правила на все PPP фейсы - вместо двух на каждый ппп фейс!!!). Я имел ввиду про правила маркировки пакетов в мангл - по два штуки на каждый тариф. Если тарифов штук 40 исторически накопилось, и в некоторых тарифах разные ступеньчатые скорости от объема трафика или времени суток Прибавим разные турбокнопки - получается приличное к-во правил: а это каждый пакетик надо маркировать. В итоге, я предполагаю, - это существенная нагрузка на проц, в отличии способа - когда в линухе фильтрация для шейпера - на хешах: Hashing filters for very fast massive filtering http://lartc.org/howto/lartc.adv-filter.hashing.html Изменено 21 июля, 2013 пользователем dr.Livci Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dr.Livci Опубликовано 21 июля, 2013 (изменено) · Жалоба del this post Изменено 21 июля, 2013 пользователем dr.Livci Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 21 июля, 2013 · Жалоба Так приведите пару примеров достижений леаф из реальной жизни. Работа брасов/роутеров годами, без какого-либо внимания к ним. На любом железе, долго и счастливо. Апгрейд перетыканием флэшки в новый тазик, максимум - правка интерфейсов. Вполне успешно работает в нескольких ПЛК (внутри - 150МГц 486й и целых 64МБ памяти), опять же с аптаймом годами. Ранние альфа-версии стабильнее некоторых релизов роутерос (к примеру, недавно обновил таки тазик с 4-альфа, еще с 2.6.32 ядром, на 5.0 - работал без проблем с апреля 2010). Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dr.Livci Опубликовано 21 июля, 2013 (изменено) · Жалоба аптайм и перетыкивание флешки - это хорошо. Это просто офигенные аргументы сравнения. Но таки примеров ппс и прочих подробностей хочется - по шаблону выше - иначе ни о чем спор. 4-й Тик тоже работает годами до сих пор на разном раритете - и кушать не просит - и что? Но мы ща ведь не про тазики 90-х годов, да? - а про современные платформы для софтроутеров и гигабиты трафика и сотни тысяч ппс и десятки филиалов и тысячи юзеров - так что извольте современные примеры. Годится ли леаф на такой продакшн? Или не годится? Всем давно ясно, что микротик не годится на такой продакшн и хватит его уже говном поливать - все поняли его нишу - и в той нише он себя отлично чувствует, как бы Вы по детски бездарно не старались его говном поливать в каждой теме. (так же бездарно и по детски его защищает сааб). И всем пофиг как там в леафе круто восстанавливать конфиг или что леафу подойдет корч 94 года - а микротику на такую же нагрузгу подойдет корч только аж не ниже 99 года. (хотя в таком случае вообще некоторые железки микротика просто незаменимы по удобству - и идут нахер любые тазики и с леаф и с микротиком). А вот место ли леафу в высоконагруженном современном софтроутере? Как у него с поддержкой свежих чипсетов? Давайте, ребята четкие примеры - по шаблону - чтобы удобно было сравнивать. Подключайтесь бздшники, пингвиноиды и прочие ребята с софтроутерами на тазиках. Ну а я вообще склоняюсь к мысли - что серьезные масштабные сетевые решения - должны строится на серьезном специализированном железе. Но мы ведь сейчас не об этом... Изменено 21 июля, 2013 пользователем dr.Livci Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ivan_83 Опубликовано 21 июля, 2013 · Жалоба У меня фря на арм с 32 мегами работает. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nobody4097 Опубликовано 21 июля, 2013 (изменено) · Жалоба пипец - мы сравниваем максимальные рекорды разных софтроутеров ? Или, млять, у кого болгенОС на калькуляторе запустилась? 751 Микротик роутер борд на каком то говнопроцессоре + 32 метра памяти у меня тоже работает в моем умном доме по полгода аптайм и я от него мобилу заряжаю по юсб ? И что???? Это тема для хабра.) А мы про высоконагруженные софтроутеры а значит - пишите ппс, господа хорошие... и прочие пункты - по шаблону http://forum.nag.ru/forum/index.php?showtopic=86586&view=findpost&p=860341 а память никого не волнует - она стоит копейки и любые софтроутеры ее особо не кушают - даже микротик роутерось Изменено 21 июля, 2013 пользователем nobody4097 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...