FreeBSD. Нет желания наступать на грабли.

[Radiovoln_!_]

Добрый день!

Всех с Новым годом!

Уперся в возможности собственных админов, а проблема в очередном приросте клиентской базы, появились проблемы с качеством услуги (лаги, потери пакетов и.т.п.) И как я догадываюсь, чем дальше тем будет веселее. Хочу по максимуму остаться на FreeBSD. Есть желание перестроить свой узел так, чтобы впоследствии через полгода или год опять не наступить на очередные грабли и упереться в маштабируемость системы. Прекрасно понимаю, что есть люди уже прошедшие этот тернистый путь. Желающих не бескорыстно помочь в подобных вопросах здесь реально найти ? Хотел Jab`у стукнуться в личку, не разрешены мне лс :) Предложения и вопросы сюда -> freebsd_freelance_adm псина maил.rу Всем заранее спасибо за помощь!

 

[sid1333]

А сколько абонентов? Что планируется делать на узле? Как авторизация происходит?

 

1-2к это одно, 10к - это другое, 50к - сами понимаете =)))

А так... на одну одну тачку нормальной производительности без особых проблем можно нагрузить 8к абонентов. 900 Мбит трафика на вход. Шейп, нат, netflow. Авторизация в другом месте.

[LuckySB]

А так... на одну одну тачку нормальной производительности без особых проблем можно нагрузить 8к абонентов. 900 Мбит трафика на вход. Шейп, нат, netflow. Авторизация в другом месте.

Осетра-то урежьте

900 мбит/8000 = 110кбит на абонента. Или 8к абонентов - это не количество онлайн, а кол-во подключенных по базе ?

 

Не совсем понятно почему авторизация в другом месте, с точки зрения производительности шейп и нат по разным машинам надо разносить.

 

[sid1333]

Осетра-то урежьте

900 мбит/8000 = 110кбит на абонента. Или 8к абонентов - это не количество онлайн, а кол-во подключенных по базе ?

 

Не совсем понятно почему авторизация в другом месте, с точки зрения производительности шейп и нат по разным машинам надо разносить.

:)

Да, всего живых 8к. Онлайн около 40%

Вы абсолютно правы: нат с этой машины нужно убирать.

[Radiovoln_!_]

Господа, на сегодня все пока проще, 40 метров аплинк и чуть меньше 1К пользователей. Nat, NetUP, Шейп на одной машине. Думаю настало время Х. Так вот хочется стратегию дальнейшей модернизации правильную и проверенную достать ;)

Edited January 3, 2010 by Radiovoln_!_

[darkagent]

Госпада, на сегодня все пока проще, 40 метров аплинк и чуть меньше 1К пользователей. Nat, NetUP, Шейп на одной машине. Думаю настало время Х. Так вот хочется стратегию дальнейшей модернизации правильную и проверенную достать ;)

а вы не думали что лаги и пр. это все же проблема упертости в аплинк, а не производительности узла? freebsd то может гораздо большие цифры переваривать. mrtg на аплинке рисуете? на портах In/out вашего маршрутизатора? прежде всего советую проанализировать всю сеть. чтоб поставить диагноз.

[TiFFolk]

Коли платите, то:

Подсказать: 1000р в час

Настроить все под ключ: 80к (цена уже обсуждалась и была принята приемлимой), стартапам и мелким сетям дешевле.

[jab]

40 метров аплинк и чуть меньше 1К пользователей. Nat, NetUP, Шейп на одной машине.

это не симптомы, это диагноз

[Radiovoln_!_]

40 метров аплинк и чуть меньше 1К пользователей. Nat, NetUP, Шейп на одной машине.

это не симптомы, это диагноз

Помоги доктор! :)))

(цена уже обсуждалась и была принята приемлимой),

Сроки реализации наверно тоже обсуждались ? ;) Что я получу в итоге тоже бы хотелось знать :)

[terrible]

Что я получу в итоге тоже бы хотелось знать :)

Нормальное качество услуг + информацию по масштабированию

вы админу (админам) сколько платите, раз они не справляются с такой задачей (или не хотят справляться)?

[Radiovoln_!_]

Что я получу в итоге тоже бы хотелось знать :)

вы админу (админам) сколько платите, раз они не справляются с такой задачей (или не хотят справляться)?

:) Они молодые просто еще :) Их бы побольше да умнее! Но где их взять? :)))) Правильно, НИГДЕ! Вот и занимаемся кузницей кадров. Старики в большие города на большие деньги мигрировали :-) А потом и вовсе свадебными фотографами и бейсиковыми программистами стали. Грусtноooooo…. :(((((

 

[boo]

а Вы собственно кем являетесь в этой компании? :)

 

[Radiovoln_!_]

а Вы собственно кем являетесь в этой компании? :)

Я, менеджер, менеджерю :)

[terrible]

Ну выкладывайте топологию сети, с указанием ширины аплинков, top с вашего сервера вечером, используемое оборудование, конфиги на нём (отдельными файликами, листинг тут не нужен), так-же:

 

Какие средства мониторинга используете? если да, то в каких местах что они показывают (графики ?)?

 

Добавлено: бюджет, который может быть выделен на модернизацию?

Edited January 3, 2010 by terrible

[Radiovoln_!_]

Ну выкладывайте топологию сети, с указанием ширины аплинков, top с вашего сервера вечером, используемое оборудование, конфиги на нём (отдельными файликами, листинг тут не нужен), так-же:

 

Какие средства мониторинга используете? если да, то в каких местах что они показывают (графики ?)?

 

Добавлено: бюджет, который может быть выделен на модернизацию?

Логичные вопросы... теперь мне точно есть чем занятся сегодня вечером :)

Глобально не мониторим, zabbix на нескольких узлах в тестах. И перловая пинговалка с вап надзором.

Я вот что подумал, может поэтапно как-то начать, чтобы сразу топологию сети не трогать, например с вопроса из-за какой х-ни на шлюзе ТТК теряется до 5% пакетов ? :( И это при том что если к этому порту нотик зацепить то ничего не теряется и тесты скорости показывают правильные цифры и как бы проблема у нас и мы дураки ? :)

Стата шлюза:

Edited January 3, 2010 by Radiovoln_!_

[darkagent]

Логичные вопросы... теперь мне точно есть чем занятся сегодня вечером :)

Глобально не мониторим, zabbix на нескольких узлах в тестах. И перловая пинговалка с вап надзором.

Я вот что подумал, может поэтапно как-то начать, чтобы сразу топологию сети не трогать, например с вопроса из-за какой х-ни на шлюзе ТТК теряется до 5% пакетов ? :( И это при том что если к этому порту нотик зацепить то ничего не теряется и тесты скорости показывают правильные цифры и как бы проблема у нас и мы дураки ? :)

40мбит/с на 1к абонентов - вот где причина потерь на аплинке ;)

а мониторинг хотя бы узлов должен быть постоянный, чтобы оценивать "узкие" места сети. и тут скажем так лучше mrtg пока ничего не придумали.

 

[Radiovoln_!_]

40мбит/с на 1к абонентов - вот где причина потерь на аплинке ;)

Я думаю при загрузке меньше чем на половину потерь не должно быть :) Ну погорячился с 1К абонентов, ну хочется мне чтобы их столько было! :)))) Ширина канала не является причиной ну или не столь очевидной причиной :)

[bsdelnik]

Не должно быть на таких скоростях потерь и ошибок. Выкладывайте данные, которые попросил terrible, без этого никак не определить природу вашего подземного стука.

[Radiovoln_!_]

Ех.... пошел рисовать :(

[mousus]

дааааааааа, 40 мегабит жжот... так навскидку заглянул на пару пппое брасов -- народу онлайн 550 чел на обоих, жрут 120 мегабит трафика, это не считая юриков по статике, физиков по статике и прочих иждевенцев ходящих через другие маршрутизаторы, вы кстати еще про 40 мегабит когда писали забыли приложить таблицу тарифных планов и рапределение по ним абонентов ---- вот помню в староглиняные времена в Ярославле все диалапщики яртелекома --- тогда еще монополиста сидели на 4 мегабитном канале.....

[Radiovoln_!_]

дааааааааа, 40 мегабит жжот... так навскидку заглянул на пару пппое брасов -- народу онлайн 550 чел на обоих, жрут 120 мегабит трафика, это не считая юриков по статике, физиков по статике и прочих иждевенцев ходящих через другие маршрутизаторы

Мне не понятен Ваш тонкий юмор ;(

 

 

Edited January 3, 2010 by Radiovoln_!_

[dsk]

Глюки на 16-и мбитах нагрузки в пиках это клиника... Пентиум 1 больше может прочухать и не подавиться. Тут видимо с нуля надо все лечить, и топологию, и роутеры и все остальное, включая головы.

[photon]

Если напихать под тысячу правил вида ipfw add pipe, то можно убить производительность на любой машине. Еще NAT небось на natd.

Edited January 3, 2010 by photon

[Ilya Evseev]

Radiovoln_!_

могу поделиться своим регламентом и svn-репозитарием для настройки шлюза на freebsd.

или настроить его под ключ.

решение не оптимальное (ipfw+dummynet+ngnetflow+pfnat в общей куче),

но тянет сейчас ~200 мбит/с и несколько тысяч клиентов.

отдельные куски открыты под gpl на http://sources.homelink.ru/

[make.kernel]

Еще NAT небось на natd.

А в чем проблема с natd? Например если 2 сетевушки и 8 ядер в рутере можно побить нагрузку адресами-подсетями, по демону на ядро прицепить и жевать свой гигабит in и столько-же out. Вариант конечно не очень с точки зрения производительности, зато rock solid. А ipfw nat на 7.2-RELEASE у меня почему-то крешил машину mpd+ng_car+nat. Хотя ядер у меня и не 8, но и за натом только бомж-пакеты.