Jump to content
Калькуляторы

PC-маршрутизатор небольшой домовой сети загибается канал в интернет - нужны помощь, советы, рекомендации

Доброго времени суток.

Решил обратиться сюда со своей проблемой, т.к. к сожалению не имею знакомых, администрирующих именно домовые сети со всеми их особенностями.

 

Имеем маленькую поселковую сеть в ~300 абонентов. Выход в интернет обеспечивает PC-маршрутизатор (Celeron 430, 1Gb DDR2, на внешку смотрит встроенный гигабитный реалтек, внутрь - ещё два 100Мбит PCI-реалтека), на нём стоит Debian. В инет выпускаем по VPN (pptp) NAT, т. о. у всех серые IP, здесь-же DNS, DHCP, биллинг, web-сервер с локальным новостным сайтом + мониторинг cacti и DC-хаб verlihub.

Сама локалка разбита на два широковещательных домена - один /24 с ~50 машинами и второй /22, в котором все остальные.

Канал у нас один - 30 Мбит.

Сейчас в последнее время интернет просто загибается. При 150 пользователях онлаин, задержки при пинге увеличиваются в 2-3 раза (до 120 - 150мс с обычных 35 - 50), тарифная скорость падает до нельзя, аплинк практически всё время загружен под потолок с 12:00 и до 1 - 2 ночи. Да, забыл о тарифах - в основном абоненты сидят на 1.5 и 2.5 Мбитах, безлимиты.

 

Что я уже сделал и что буду делать:

1. настроен QoS с помощью tc - помогает слабо

2. ограничивал количество одновременных tcp сессий до 100 или 300, тоже не то

3. уже купили новый сервер, мать на Intel 2x1Gb LAN Intel, 2Gb DDR2, Pent E5300, его ещё не поставили, но на него у меня вся надежда. На нём будет стоять FreeBSD + mpd5, сайты, DNS, DC-хаб ,будут вынесены на отдельную машину.

 

Так вот собственно вопрос, чтобы вы сделали, оказавшись на моём месте?. Вопрос на самом деле серьёзный, т.к. у абонентов терпение не резиновое...

Может мы в тарифах ошиблись, делая такие высокие скорости или железо уже не тянет? Вроде пользователей не много, а всё равно инет лагает.

 

Выслушаю любое мнение, в каком направлении двигаться дальше, что менять, что внедрять, в чём лопухнулись, наконец )))

Edited by lan-viper

Share this post


Link to post
Share on other sites

как тебе новый сервер поможет разгрузить внешний канал?

или расширяйся или мочи торренты

Share this post


Link to post
Share on other sites

думаю 30 мегабит маловато будет если у всех безлимы да еще 1.5 -2.5 мегабита

 

Share this post


Link to post
Share on other sites

Торренты мне уже по ночам снятся.

Мы географически находимся немного в стороне от оптических магистралей крупных провайдеров, поэтому интернет у нас по радиоканалу, наш вышестоящий провайдер говорит, что 30Мбит - это предел ихнего оборудования. Т.о. остаётся наверное второй канал ставить.

 

думаю 30 мегабит маловато будет если у всех безлимы да еще 1.5 -2.5 мегабита
вот здесь у меня мысли нехорошие, на счёт таких скоростей. Решение о введении этих тарифов принимал не я. Тогда пользователей было на треть меньше, а теперь мне расхлёбывать приходится...
Edited by lan-viper

Share this post


Link to post
Share on other sites

Дело в том, что не имея опыта за плечами, сложно ориентироваться в таких вопросах, как какой ширины нужен канал для N абонентов, у которых будут X,Y,Z скорости на тарифах и тому подобное. Сейчас же у меня в голове каша - толи железо не тянет, толи юзеры своими торрентами/вирусами/червями валят канал, толя я где в настройках софта ошибся.

 

Забыл добавить: грешу на железо из-за того, что процессор на сервере уже при ста абонентах загружается на 70 - 80 %, при >120 на все 100%, может в этом причина, хз?

Edited by lan-viper

Share this post


Link to post
Share on other sites
аплинк практически всё время загружен под потолок с 12:00 и до 1 - 2 ночи.
Ну вот и ответ. Расширяйте аплинк или еще один канал ставьте. Причем тут сервер?

 

ЗЫ. Бедные абоненты.

Edited by Starcrafter

Share this post


Link to post
Share on other sites
Имеем маленькую поселковую сеть в ~300 абонентов. Выход в интернет обеспечивает PC-маршрутизатор (Celeron 430, 1Gb DDR2, на внешку смотрит встроенный гигабитный реалтек, внутрь - ещё два 100Мбит PCI-реалтека), на нём стоит Debian. В инет выпускаем по VPN (pptp) NAT, т. о. у всех серые IP, здесь-же DNS, DHCP, биллинг, web-сервер с локальным новостным сайтом + мониторинг cacti и DC-хаб verlihub.
Забыл добавить: грешу на железо из-за того, что процессор на сервере уже при ста абонентах загружается на 70 - 80 %, при >120 на все 100%, может в этом причина, хз?
Писец подкрался незаметно, еще б seti@home на этот сервер поставили, вообще бы всё шоколадно стало.

Меняй RTL8139 на человеческий контроллер и убирай с него все ненужные сервисы на второй сервер.

 

PS. Загрузку CPU желательно иметь не более 70%. Если больше пора задумываться о новом тазике.

 

Сама локалка разбита на два широковещательных домена - один /24 с ~50 машинами и второй /22, в котором все остальные.
А кто занимается маршрутизацией между подсетями, опять этот писюк?
Edited by qwertzy

Share this post


Link to post
Share on other sites

Если у Вас запущен Cacti, то сначала определитесь, что загружено на 100% - процессор на сервере или внешний канал?

Если внешний канал, то должны помочь две меры:

 

1) техническая: выставление высокого приоритета на внешнем интерфейсе для http и icq, низкого для всего остального.

 

2) организационная: ограничение скорости - как минимум для качков, как минимум в часы пик.

 

Плюс развитие файлообменных и игровых сервисов в локальной сети.

По нашему опыту - способно помочь весьма существенно.

Share this post


Link to post
Share on other sites
А кто занимается маршрутизацией между подсетями, опять этот писюк?
Да.
Если у Вас запущен Cacti, то сначала определитесь, что загружено на 100% - процессор на сервере или внешний канал?
Не совсем понял, с чем определяться? ... В кактусе у меня стандартные графики - total Kbytes In/Out всех трёх интерфейсов. Загрузку проца смотрю с помощью top, htop. По второму пункту - будем изменять тарифы для желающих скачать весь интернет.
Плюс развитие файлообменных и игровых сервисов в локальной сети.
Зная своих абонентов скажу, что им нужен только интернет - основные предпочтения абонентов - это веб (хотят видео смотреть без тормозов с контакта и ютюба), у особо продвинутых - торренты, скайпом научились пользоваться даже бабушки/дедушки, желающие увидеть своих дитяток, живущих в других городах. Это всё основные жалобы - скайп, видео, школьники на пинг жалуются, типа "в онлайн игры нереал рубаться".
Edited by lan-viper

Share this post


Link to post
Share on other sites
Загрузку проца смотрю с помощью top, htop.
Смотрите её с помощью Cacti.

Если в часы пик она приближается к 100% - пора менять процессор и/или сетевые карты.

Share this post


Link to post
Share on other sites

lan-viper

Вы извращенцы.. Замените 'два 100Мбит PCI-реалтека' на пару любых гигабитных карт + замените целерон 430 на любую двухядерную core2duo или даже целерон двухядерный если совсем бедные :) Загрузка упадет раза в 3 и не нужно будет трогать сервер. Ну а дальше будет видно, в железе проблема или в канале.

Share this post


Link to post
Share on other sites

1. настроен QoS с помощью tc - помогает слабо

Он нормально работает, если правильно настроить. Максимальную скорость нужно выставлять на 10% меньше, чем скорость аплинка.

Share this post


Link to post
Share on other sites

Нужно трафик со всех ppp* интерфейсов заворачивать на виртуальный интерфейс, и на него вешать очереди. Поскольку используется NAT, то ifb не подойдёт, и нужно патчить ядро под imq.

Share this post


Link to post
Share on other sites

Ага, спасибо, примерно понял, о чём речь. В инете уже нашёл несколько статей про ifb и imq. Ещё в голову пришла мысль поставить дополнительно одну машину между приходом от провайдера и нашим горе-сервером, что-бы на ней рулить общим трафиком, но это помоему перебор...

 

Вот сейчас загрузка. Кстати есть нехорошие мысли по поводу оборудования вышестоящего провайдера, что ещё оно не справляется... были прецеденты. Радиоканал всётаки, а у нас трафик плотный идёт. Чуть позже напишу, что с загрузкой процессора.

 

Upd.: выложил график загрузки проца, в кактусе был у меня график, но он немного не корректно настроен, так что там ерунда отображается.

Edited by lan-viper

Share this post


Link to post
Share on other sites

У вас пробема в радиоканале.

На каком оборудовании он сделан, какое расстояние и все поподробнее.

Share this post


Link to post
Share on other sites

Ещё весь день на фаерволе стоят вот эти правила:

MAXCONN=100
$IPT -A FORWARD -p udp -i ppp+ -m connlimit --connlimit-above ${MAXCONN} --connlimit-mask 32 -j REJECT
$IPT -A FORWARD -p tcp -i ppp+ --syn -m connlimit --connlimit-above ${MAXCONN} --connlimit-mask 32 -j REJECT

Интернет немного дышать стал, хотябы скорость до тарифной стала дотягивать.

 

У вас пробема в радиоканале.

На каком оборудовании он сделан, какое расстояние и все поподробнее.

Радиомодемы от Comptek International, модель точно не знаю, но могу уточнить потом. Да! Есть достоверная информация, что этим каналом вышестоящий провайдер даёт пользоваться нашему ЖЭУ. Только это великая тайна для меня, инфы мало имею по этой теме (((. Расстояние даже низнаю, ну больше 10 км точно, видимость прямая, тарелка стоит типа спутниковой.

 

Upd.: радиомодем скорее всего вот этот, но могу ошибаться - http://www.comptek.ru/box/wireless/equipment/701

Edited by lan-viper

Share this post


Link to post
Share on other sites

Надо знать точную модель и технологию, по которой они работают - вайфай, ваймакс или проприоетарный TDMA на wi-fi.

Для этого либо лезть на крышу и посмотреть что на нем написано. Возможно все ваши проблемы из-за того, что ваш радиоканал не справляется с нагрузкой по скорости или пакетной производительности.

 

Если у вас модемы такие как вы описали - проблема 100% в радиоканале, они 30 мегабит в DL с трудом прожуют при наличии обратного трафика.

Share this post


Link to post
Share on other sites

Ясно. Завтра постараюсь выведать неподконтрольную мне информацию о модели и технологии ))), но с высокой вероятностью это именно та железка, работающая по обычному wi-fi, т.к. WiMax в прошлом году они пробовали настраивать - работало нестабильно.

Share this post


Link to post
Share on other sites

Попробуйте ограничить максимальное количество пакетов на пользователя из расчета 150-200 пакетов на мегабит, и максимальное количество одновременных соединений - 50-100 на пользователя. Для обычных клиентов это будет незаметно, а вот для любителей торрентов аукнется - нечего в винде количество соединений до 1000 увеличивать=)

Share this post


Link to post
Share on other sites

Про ограничения одновременных соединений я написал выше, уже сделал 100 по tcp и udp (на счёт этого протокола правда не уверен, подходит-ли такое правило, т.к. в udp по идее понятия соединения(сеанса) нет), а вот как pps ограничить надо подумать...

Share this post


Link to post
Share on other sites

lan-viper, я бы Вам рекомендовал обратиться к Вашему провайдеру ;)

Я думаю, оборудование у Вас: Revolution 5000 WANFleX MIMO.

Share this post


Link to post
Share on other sites
Saab95, вопрос к Вам, а откуда берутся значения количества пакетов за единицу времени, как их правильно считать?
Edited by lan-viper

Share this post


Link to post
Share on other sites

Я использую микротик, на нем это делается вот так:

 

chain=forward action=add-dst-to-address-list protocol=udp dst-address=192.168.2.6-192.168.2.200 address-list=dst_list address-list-timeout=0s

 

chain=forward action=accept dst-address-list=dst_list dst-limit=250,250,dst-address/1m40s

 

chain=forward action=reject reject-with=icmp-admin-prohibited dst-address-list=dst_list

 

Здесь 192.168.2.6-192.168.2.200 адреса для которых установлен лимит, а 250 это максимальное количество пакетов для каждого адреса.

 

Советую и вам купить лицензию 5-го уровня хотя бы, стоит она всего 2000р. А головной боли заметно поубавит.

Share this post


Link to post
Share on other sites

Не совсем в тему, но есть вопрос по pptp

Какой проц потянет ~100 подключений по pptp по 1 мбит/с каждое? То есть, постоянная нагрузка 100 мбит по pptp. ОС Linux

 

А роутинг с iptables нагрузки особой не дадут. Помнится, Pentium-133/64 Mb RAM прекрасно справлялся с 300-ми офисными машинами, двумя десятками маршрутов, почтой, апачем и сквидом. Нагрузка на него была в пределах 50% и то за счет сквида.

На мой взгляд, тут либо pps либо pptp рояль играют.

Share this post


Link to post
Share on other sites
На мой взгляд, тут либо pps либо pptp рояль играют.

У меня на данный момент к этому всё сводится. pptp кстати по soft irq нагрузку даёт почти 50% от всего процессорного времени (отчасти видно на скриншоте несколькими постами выше), всётаки работает в пространстве пользователя...

Edited by lan-viper

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this