Перейти к содержимому
Калькуляторы

PC-маршрутизатор небольшой домовой сети загибается канал в интернет - нужны помощь, советы, рекомендации

Доброго времени суток.

Решил обратиться сюда со своей проблемой, т.к. к сожалению не имею знакомых, администрирующих именно домовые сети со всеми их особенностями.

 

Имеем маленькую поселковую сеть в ~300 абонентов. Выход в интернет обеспечивает PC-маршрутизатор (Celeron 430, 1Gb DDR2, на внешку смотрит встроенный гигабитный реалтек, внутрь - ещё два 100Мбит PCI-реалтека), на нём стоит Debian. В инет выпускаем по VPN (pptp) NAT, т. о. у всех серые IP, здесь-же DNS, DHCP, биллинг, web-сервер с локальным новостным сайтом + мониторинг cacti и DC-хаб verlihub.

Сама локалка разбита на два широковещательных домена - один /24 с ~50 машинами и второй /22, в котором все остальные.

Канал у нас один - 30 Мбит.

Сейчас в последнее время интернет просто загибается. При 150 пользователях онлаин, задержки при пинге увеличиваются в 2-3 раза (до 120 - 150мс с обычных 35 - 50), тарифная скорость падает до нельзя, аплинк практически всё время загружен под потолок с 12:00 и до 1 - 2 ночи. Да, забыл о тарифах - в основном абоненты сидят на 1.5 и 2.5 Мбитах, безлимиты.

 

Что я уже сделал и что буду делать:

1. настроен QoS с помощью tc - помогает слабо

2. ограничивал количество одновременных tcp сессий до 100 или 300, тоже не то

3. уже купили новый сервер, мать на Intel 2x1Gb LAN Intel, 2Gb DDR2, Pent E5300, его ещё не поставили, но на него у меня вся надежда. На нём будет стоять FreeBSD + mpd5, сайты, DNS, DC-хаб ,будут вынесены на отдельную машину.

 

Так вот собственно вопрос, чтобы вы сделали, оказавшись на моём месте?. Вопрос на самом деле серьёзный, т.к. у абонентов терпение не резиновое...

Может мы в тарифах ошиблись, делая такие высокие скорости или железо уже не тянет? Вроде пользователей не много, а всё равно инет лагает.

 

Выслушаю любое мнение, в каком направлении двигаться дальше, что менять, что внедрять, в чём лопухнулись, наконец )))

Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как тебе новый сервер поможет разгрузить внешний канал?

или расширяйся или мочи торренты

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

думаю 30 мегабит маловато будет если у всех безлимы да еще 1.5 -2.5 мегабита

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Торренты мне уже по ночам снятся.

Мы географически находимся немного в стороне от оптических магистралей крупных провайдеров, поэтому интернет у нас по радиоканалу, наш вышестоящий провайдер говорит, что 30Мбит - это предел ихнего оборудования. Т.о. остаётся наверное второй канал ставить.

 

думаю 30 мегабит маловато будет если у всех безлимы да еще 1.5 -2.5 мегабита
вот здесь у меня мысли нехорошие, на счёт таких скоростей. Решение о введении этих тарифов принимал не я. Тогда пользователей было на треть меньше, а теперь мне расхлёбывать приходится...
Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Дело в том, что не имея опыта за плечами, сложно ориентироваться в таких вопросах, как какой ширины нужен канал для N абонентов, у которых будут X,Y,Z скорости на тарифах и тому подобное. Сейчас же у меня в голове каша - толи железо не тянет, толи юзеры своими торрентами/вирусами/червями валят канал, толя я где в настройках софта ошибся.

 

Забыл добавить: грешу на железо из-за того, что процессор на сервере уже при ста абонентах загружается на 70 - 80 %, при >120 на все 100%, может в этом причина, хз?

Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

аплинк практически всё время загружен под потолок с 12:00 и до 1 - 2 ночи.
Ну вот и ответ. Расширяйте аплинк или еще один канал ставьте. Причем тут сервер?

 

ЗЫ. Бедные абоненты.

Изменено пользователем Starcrafter

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Имеем маленькую поселковую сеть в ~300 абонентов. Выход в интернет обеспечивает PC-маршрутизатор (Celeron 430, 1Gb DDR2, на внешку смотрит встроенный гигабитный реалтек, внутрь - ещё два 100Мбит PCI-реалтека), на нём стоит Debian. В инет выпускаем по VPN (pptp) NAT, т. о. у всех серые IP, здесь-же DNS, DHCP, биллинг, web-сервер с локальным новостным сайтом + мониторинг cacti и DC-хаб verlihub.
Забыл добавить: грешу на железо из-за того, что процессор на сервере уже при ста абонентах загружается на 70 - 80 %, при >120 на все 100%, может в этом причина, хз?
Писец подкрался незаметно, еще б seti@home на этот сервер поставили, вообще бы всё шоколадно стало.

Меняй RTL8139 на человеческий контроллер и убирай с него все ненужные сервисы на второй сервер.

 

PS. Загрузку CPU желательно иметь не более 70%. Если больше пора задумываться о новом тазике.

 

Сама локалка разбита на два широковещательных домена - один /24 с ~50 машинами и второй /22, в котором все остальные.
А кто занимается маршрутизацией между подсетями, опять этот писюк?
Изменено пользователем qwertzy

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если у Вас запущен Cacti, то сначала определитесь, что загружено на 100% - процессор на сервере или внешний канал?

Если внешний канал, то должны помочь две меры:

 

1) техническая: выставление высокого приоритета на внешнем интерфейсе для http и icq, низкого для всего остального.

 

2) организационная: ограничение скорости - как минимум для качков, как минимум в часы пик.

 

Плюс развитие файлообменных и игровых сервисов в локальной сети.

По нашему опыту - способно помочь весьма существенно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А кто занимается маршрутизацией между подсетями, опять этот писюк?
Да.
Если у Вас запущен Cacti, то сначала определитесь, что загружено на 100% - процессор на сервере или внешний канал?
Не совсем понял, с чем определяться? ... В кактусе у меня стандартные графики - total Kbytes In/Out всех трёх интерфейсов. Загрузку проца смотрю с помощью top, htop. По второму пункту - будем изменять тарифы для желающих скачать весь интернет.
Плюс развитие файлообменных и игровых сервисов в локальной сети.
Зная своих абонентов скажу, что им нужен только интернет - основные предпочтения абонентов - это веб (хотят видео смотреть без тормозов с контакта и ютюба), у особо продвинутых - торренты, скайпом научились пользоваться даже бабушки/дедушки, желающие увидеть своих дитяток, живущих в других городах. Это всё основные жалобы - скайп, видео, школьники на пинг жалуются, типа "в онлайн игры нереал рубаться".
Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Загрузку проца смотрю с помощью top, htop.
Смотрите её с помощью Cacti.

Если в часы пик она приближается к 100% - пора менять процессор и/или сетевые карты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

lan-viper

Вы извращенцы.. Замените 'два 100Мбит PCI-реалтека' на пару любых гигабитных карт + замените целерон 430 на любую двухядерную core2duo или даже целерон двухядерный если совсем бедные :) Загрузка упадет раза в 3 и не нужно будет трогать сервер. Ну а дальше будет видно, в железе проблема или в канале.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. настроен QoS с помощью tc - помогает слабо

Он нормально работает, если правильно настроить. Максимальную скорость нужно выставлять на 10% меньше, чем скорость аплинка.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нужно трафик со всех ppp* интерфейсов заворачивать на виртуальный интерфейс, и на него вешать очереди. Поскольку используется NAT, то ifb не подойдёт, и нужно патчить ядро под imq.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ага, спасибо, примерно понял, о чём речь. В инете уже нашёл несколько статей про ifb и imq. Ещё в голову пришла мысль поставить дополнительно одну машину между приходом от провайдера и нашим горе-сервером, что-бы на ней рулить общим трафиком, но это помоему перебор...

 

Вот сейчас загрузка. Кстати есть нехорошие мысли по поводу оборудования вышестоящего провайдера, что ещё оно не справляется... были прецеденты. Радиоканал всётаки, а у нас трафик плотный идёт. Чуть позже напишу, что с загрузкой процессора.

 

Upd.: выложил график загрузки проца, в кактусе был у меня график, но он немного не корректно настроен, так что там ерунда отображается.

Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

У вас пробема в радиоканале.

На каком оборудовании он сделан, какое расстояние и все поподробнее.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ещё весь день на фаерволе стоят вот эти правила:

MAXCONN=100
$IPT -A FORWARD -p udp -i ppp+ -m connlimit --connlimit-above ${MAXCONN} --connlimit-mask 32 -j REJECT
$IPT -A FORWARD -p tcp -i ppp+ --syn -m connlimit --connlimit-above ${MAXCONN} --connlimit-mask 32 -j REJECT

Интернет немного дышать стал, хотябы скорость до тарифной стала дотягивать.

 

У вас пробема в радиоканале.

На каком оборудовании он сделан, какое расстояние и все поподробнее.

Радиомодемы от Comptek International, модель точно не знаю, но могу уточнить потом. Да! Есть достоверная информация, что этим каналом вышестоящий провайдер даёт пользоваться нашему ЖЭУ. Только это великая тайна для меня, инфы мало имею по этой теме (((. Расстояние даже низнаю, ну больше 10 км точно, видимость прямая, тарелка стоит типа спутниковой.

 

Upd.: радиомодем скорее всего вот этот, но могу ошибаться - http://www.comptek.ru/box/wireless/equipment/701

Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Надо знать точную модель и технологию, по которой они работают - вайфай, ваймакс или проприоетарный TDMA на wi-fi.

Для этого либо лезть на крышу и посмотреть что на нем написано. Возможно все ваши проблемы из-за того, что ваш радиоканал не справляется с нагрузкой по скорости или пакетной производительности.

 

Если у вас модемы такие как вы описали - проблема 100% в радиоканале, они 30 мегабит в DL с трудом прожуют при наличии обратного трафика.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ясно. Завтра постараюсь выведать неподконтрольную мне информацию о модели и технологии ))), но с высокой вероятностью это именно та железка, работающая по обычному wi-fi, т.к. WiMax в прошлом году они пробовали настраивать - работало нестабильно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Попробуйте ограничить максимальное количество пакетов на пользователя из расчета 150-200 пакетов на мегабит, и максимальное количество одновременных соединений - 50-100 на пользователя. Для обычных клиентов это будет незаметно, а вот для любителей торрентов аукнется - нечего в винде количество соединений до 1000 увеличивать=)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Про ограничения одновременных соединений я написал выше, уже сделал 100 по tcp и udp (на счёт этого протокола правда не уверен, подходит-ли такое правило, т.к. в udp по идее понятия соединения(сеанса) нет), а вот как pps ограничить надо подумать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

lan-viper, я бы Вам рекомендовал обратиться к Вашему провайдеру ;)

Я думаю, оборудование у Вас: Revolution 5000 WANFleX MIMO.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Saab95, вопрос к Вам, а откуда берутся значения количества пакетов за единицу времени, как их правильно считать?
Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я использую микротик, на нем это делается вот так:

 

chain=forward action=add-dst-to-address-list protocol=udp dst-address=192.168.2.6-192.168.2.200 address-list=dst_list address-list-timeout=0s

 

chain=forward action=accept dst-address-list=dst_list dst-limit=250,250,dst-address/1m40s

 

chain=forward action=reject reject-with=icmp-admin-prohibited dst-address-list=dst_list

 

Здесь 192.168.2.6-192.168.2.200 адреса для которых установлен лимит, а 250 это максимальное количество пакетов для каждого адреса.

 

Советую и вам купить лицензию 5-го уровня хотя бы, стоит она всего 2000р. А головной боли заметно поубавит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Не совсем в тему, но есть вопрос по pptp

Какой проц потянет ~100 подключений по pptp по 1 мбит/с каждое? То есть, постоянная нагрузка 100 мбит по pptp. ОС Linux

 

А роутинг с iptables нагрузки особой не дадут. Помнится, Pentium-133/64 Mb RAM прекрасно справлялся с 300-ми офисными машинами, двумя десятками маршрутов, почтой, апачем и сквидом. Нагрузка на него была в пределах 50% и то за счет сквида.

На мой взгляд, тут либо pps либо pptp рояль играют.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На мой взгляд, тут либо pps либо pptp рояль играют.

У меня на данный момент к этому всё сводится. pptp кстати по soft irq нагрузку даёт почти 50% от всего процессорного времени (отчасти видно на скриншоте несколькими постами выше), всётаки работает в пространстве пользователя...

Изменено пользователем lan-viper

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вставлено в виде отформатированного текста.   Вставить в виде обычного текста

  Разрешено не более 75 смайлов.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставить изображения напрямую. Загрузите или вставьте изображения по ссылке.