lan-viper Опубликовано 16 января, 2011 (изменено) · Жалоба Доброго времени суток. Решил обратиться сюда со своей проблемой, т.к. к сожалению не имею знакомых, администрирующих именно домовые сети со всеми их особенностями. Имеем маленькую поселковую сеть в ~300 абонентов. Выход в интернет обеспечивает PC-маршрутизатор (Celeron 430, 1Gb DDR2, на внешку смотрит встроенный гигабитный реалтек, внутрь - ещё два 100Мбит PCI-реалтека), на нём стоит Debian. В инет выпускаем по VPN (pptp) NAT, т. о. у всех серые IP, здесь-же DNS, DHCP, биллинг, web-сервер с локальным новостным сайтом + мониторинг cacti и DC-хаб verlihub. Сама локалка разбита на два широковещательных домена - один /24 с ~50 машинами и второй /22, в котором все остальные. Канал у нас один - 30 Мбит. Сейчас в последнее время интернет просто загибается. При 150 пользователях онлаин, задержки при пинге увеличиваются в 2-3 раза (до 120 - 150мс с обычных 35 - 50), тарифная скорость падает до нельзя, аплинк практически всё время загружен под потолок с 12:00 и до 1 - 2 ночи. Да, забыл о тарифах - в основном абоненты сидят на 1.5 и 2.5 Мбитах, безлимиты. Что я уже сделал и что буду делать: 1. настроен QoS с помощью tc - помогает слабо 2. ограничивал количество одновременных tcp сессий до 100 или 300, тоже не то 3. уже купили новый сервер, мать на Intel 2x1Gb LAN Intel, 2Gb DDR2, Pent E5300, его ещё не поставили, но на него у меня вся надежда. На нём будет стоять FreeBSD + mpd5, сайты, DNS, DC-хаб ,будут вынесены на отдельную машину. Так вот собственно вопрос, чтобы вы сделали, оказавшись на моём месте?. Вопрос на самом деле серьёзный, т.к. у абонентов терпение не резиновое... Может мы в тарифах ошиблись, делая такие высокие скорости или железо уже не тянет? Вроде пользователей не много, а всё равно инет лагает. Выслушаю любое мнение, в каком направлении двигаться дальше, что менять, что внедрять, в чём лопухнулись, наконец ))) Изменено 17 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
woddy Опубликовано 16 января, 2011 · Жалоба как тебе новый сервер поможет разгрузить внешний канал? или расширяйся или мочи торренты Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
mukca Опубликовано 16 января, 2011 · Жалоба думаю 30 мегабит маловато будет если у всех безлимы да еще 1.5 -2.5 мегабита Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 16 января, 2011 (изменено) · Жалоба Торренты мне уже по ночам снятся. Мы географически находимся немного в стороне от оптических магистралей крупных провайдеров, поэтому интернет у нас по радиоканалу, наш вышестоящий провайдер говорит, что 30Мбит - это предел ихнего оборудования. Т.о. остаётся наверное второй канал ставить. думаю 30 мегабит маловато будет если у всех безлимы да еще 1.5 -2.5 мегабитавот здесь у меня мысли нехорошие, на счёт таких скоростей. Решение о введении этих тарифов принимал не я. Тогда пользователей было на треть меньше, а теперь мне расхлёбывать приходится... Изменено 16 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 16 января, 2011 (изменено) · Жалоба Дело в том, что не имея опыта за плечами, сложно ориентироваться в таких вопросах, как какой ширины нужен канал для N абонентов, у которых будут X,Y,Z скорости на тарифах и тому подобное. Сейчас же у меня в голове каша - толи железо не тянет, толи юзеры своими торрентами/вирусами/червями валят канал, толя я где в настройках софта ошибся. Забыл добавить: грешу на железо из-за того, что процессор на сервере уже при ста абонентах загружается на 70 - 80 %, при >120 на все 100%, может в этом причина, хз? Изменено 16 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Starcrafter Опубликовано 16 января, 2011 (изменено) · Жалоба аплинк практически всё время загружен под потолок с 12:00 и до 1 - 2 ночи.Ну вот и ответ. Расширяйте аплинк или еще один канал ставьте. Причем тут сервер? ЗЫ. Бедные абоненты. Изменено 16 января, 2011 пользователем Starcrafter Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
qwertzy Опубликовано 16 января, 2011 (изменено) · Жалоба Имеем маленькую поселковую сеть в ~300 абонентов. Выход в интернет обеспечивает PC-маршрутизатор (Celeron 430, 1Gb DDR2, на внешку смотрит встроенный гигабитный реалтек, внутрь - ещё два 100Мбит PCI-реалтека), на нём стоит Debian. В инет выпускаем по VPN (pptp) NAT, т. о. у всех серые IP, здесь-же DNS, DHCP, биллинг, web-сервер с локальным новостным сайтом + мониторинг cacti и DC-хаб verlihub. Забыл добавить: грешу на железо из-за того, что процессор на сервере уже при ста абонентах загружается на 70 - 80 %, при >120 на все 100%, может в этом причина, хз?Писец подкрался незаметно, еще б seti@home на этот сервер поставили, вообще бы всё шоколадно стало.Меняй RTL8139 на человеческий контроллер и убирай с него все ненужные сервисы на второй сервер. PS. Загрузку CPU желательно иметь не более 70%. Если больше пора задумываться о новом тазике. Сама локалка разбита на два широковещательных домена - один /24 с ~50 машинами и второй /22, в котором все остальные.А кто занимается маршрутизацией между подсетями, опять этот писюк? Изменено 16 января, 2011 пользователем qwertzy Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 17 января, 2011 · Жалоба Если у Вас запущен Cacti, то сначала определитесь, что загружено на 100% - процессор на сервере или внешний канал? Если внешний канал, то должны помочь две меры: 1) техническая: выставление высокого приоритета на внешнем интерфейсе для http и icq, низкого для всего остального. 2) организационная: ограничение скорости - как минимум для качков, как минимум в часы пик. Плюс развитие файлообменных и игровых сервисов в локальной сети. По нашему опыту - способно помочь весьма существенно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 17 января, 2011 (изменено) · Жалоба А кто занимается маршрутизацией между подсетями, опять этот писюк?Да.Если у Вас запущен Cacti, то сначала определитесь, что загружено на 100% - процессор на сервере или внешний канал?Не совсем понял, с чем определяться? ... В кактусе у меня стандартные графики - total Kbytes In/Out всех трёх интерфейсов. Загрузку проца смотрю с помощью top, htop. По второму пункту - будем изменять тарифы для желающих скачать весь интернет.Плюс развитие файлообменных и игровых сервисов в локальной сети.Зная своих абонентов скажу, что им нужен только интернет - основные предпочтения абонентов - это веб (хотят видео смотреть без тормозов с контакта и ютюба), у особо продвинутых - торренты, скайпом научились пользоваться даже бабушки/дедушки, желающие увидеть своих дитяток, живущих в других городах. Это всё основные жалобы - скайп, видео, школьники на пинг жалуются, типа "в онлайн игры нереал рубаться". Изменено 17 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Ilya Evseev Опубликовано 17 января, 2011 · Жалоба Загрузку проца смотрю с помощью top, htop.Смотрите её с помощью Cacti.Если в часы пик она приближается к 100% - пора менять процессор и/или сетевые карты. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 17 января, 2011 · Жалоба lan-viper Вы извращенцы.. Замените 'два 100Мбит PCI-реалтека' на пару любых гигабитных карт + замените целерон 430 на любую двухядерную core2duo или даже целерон двухядерный если совсем бедные :) Загрузка упадет раза в 3 и не нужно будет трогать сервер. Ну а дальше будет видно, в железе проблема или в канале. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
m0xf Опубликовано 17 января, 2011 · Жалоба 1. настроен QoS с помощью tc - помогает слабо Он нормально работает, если правильно настроить. Максимальную скорость нужно выставлять на 10% меньше, чем скорость аплинка. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
m0xf Опубликовано 17 января, 2011 · Жалоба Нужно трафик со всех ppp* интерфейсов заворачивать на виртуальный интерфейс, и на него вешать очереди. Поскольку используется NAT, то ifb не подойдёт, и нужно патчить ядро под imq. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 17 января, 2011 (изменено) · Жалоба Ага, спасибо, примерно понял, о чём речь. В инете уже нашёл несколько статей про ifb и imq. Ещё в голову пришла мысль поставить дополнительно одну машину между приходом от провайдера и нашим горе-сервером, что-бы на ней рулить общим трафиком, но это помоему перебор... Вот сейчас загрузка. Кстати есть нехорошие мысли по поводу оборудования вышестоящего провайдера, что ещё оно не справляется... были прецеденты. Радиоканал всётаки, а у нас трафик плотный идёт. Чуть позже напишу, что с загрузкой процессора. Upd.: выложил график загрузки проца, в кактусе был у меня график, но он немного не корректно настроен, так что там ерунда отображается. Изменено 17 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Saab95 Опубликовано 17 января, 2011 · Жалоба У вас пробема в радиоканале. На каком оборудовании он сделан, какое расстояние и все поподробнее. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 17 января, 2011 (изменено) · Жалоба Ещё весь день на фаерволе стоят вот эти правила: MAXCONN=100 $IPT -A FORWARD -p udp -i ppp+ -m connlimit --connlimit-above ${MAXCONN} --connlimit-mask 32 -j REJECT $IPT -A FORWARD -p tcp -i ppp+ --syn -m connlimit --connlimit-above ${MAXCONN} --connlimit-mask 32 -j REJECT Интернет немного дышать стал, хотябы скорость до тарифной стала дотягивать. У вас пробема в радиоканале.На каком оборудовании он сделан, какое расстояние и все поподробнее. Радиомодемы от Comptek International, модель точно не знаю, но могу уточнить потом. Да! Есть достоверная информация, что этим каналом вышестоящий провайдер даёт пользоваться нашему ЖЭУ. Только это великая тайна для меня, инфы мало имею по этой теме (((. Расстояние даже низнаю, ну больше 10 км точно, видимость прямая, тарелка стоит типа спутниковой. Upd.: радиомодем скорее всего вот этот, но могу ошибаться - http://www.comptek.ru/box/wireless/equipment/701 Изменено 17 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Saab95 Опубликовано 17 января, 2011 · Жалоба Надо знать точную модель и технологию, по которой они работают - вайфай, ваймакс или проприоетарный TDMA на wi-fi. Для этого либо лезть на крышу и посмотреть что на нем написано. Возможно все ваши проблемы из-за того, что ваш радиоканал не справляется с нагрузкой по скорости или пакетной производительности. Если у вас модемы такие как вы описали - проблема 100% в радиоканале, они 30 мегабит в DL с трудом прожуют при наличии обратного трафика. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 17 января, 2011 · Жалоба Ясно. Завтра постараюсь выведать неподконтрольную мне информацию о модели и технологии ))), но с высокой вероятностью это именно та железка, работающая по обычному wi-fi, т.к. WiMax в прошлом году они пробовали настраивать - работало нестабильно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Saab95 Опубликовано 17 января, 2011 · Жалоба Попробуйте ограничить максимальное количество пакетов на пользователя из расчета 150-200 пакетов на мегабит, и максимальное количество одновременных соединений - 50-100 на пользователя. Для обычных клиентов это будет незаметно, а вот для любителей торрентов аукнется - нечего в винде количество соединений до 1000 увеличивать=) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 17 января, 2011 · Жалоба Про ограничения одновременных соединений я написал выше, уже сделал 100 по tcp и udp (на счёт этого протокола правда не уверен, подходит-ли такое правило, т.к. в udp по идее понятия соединения(сеанса) нет), а вот как pps ограничить надо подумать... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dm1try Опубликовано 18 января, 2011 · Жалоба lan-viper, я бы Вам рекомендовал обратиться к Вашему провайдеру ;) Я думаю, оборудование у Вас: Revolution 5000 WANFleX MIMO. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 18 января, 2011 (изменено) · Жалоба Saab95, вопрос к Вам, а откуда берутся значения количества пакетов за единицу времени, как их правильно считать? Изменено 21 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Saab95 Опубликовано 18 января, 2011 · Жалоба Я использую микротик, на нем это делается вот так: chain=forward action=add-dst-to-address-list protocol=udp dst-address=192.168.2.6-192.168.2.200 address-list=dst_list address-list-timeout=0s chain=forward action=accept dst-address-list=dst_list dst-limit=250,250,dst-address/1m40s chain=forward action=reject reject-with=icmp-admin-prohibited dst-address-list=dst_list Здесь 192.168.2.6-192.168.2.200 адреса для которых установлен лимит, а 250 это максимальное количество пакетов для каждого адреса. Советую и вам купить лицензию 5-го уровня хотя бы, стоит она всего 2000р. А головной боли заметно поубавит. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
bay Опубликовано 18 января, 2011 · Жалоба Не совсем в тему, но есть вопрос по pptp Какой проц потянет ~100 подключений по pptp по 1 мбит/с каждое? То есть, постоянная нагрузка 100 мбит по pptp. ОС Linux А роутинг с iptables нагрузки особой не дадут. Помнится, Pentium-133/64 Mb RAM прекрасно справлялся с 300-ми офисными машинами, двумя десятками маршрутов, почтой, апачем и сквидом. Нагрузка на него была в пределах 50% и то за счет сквида. На мой взгляд, тут либо pps либо pptp рояль играют. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lan-viper Опубликовано 18 января, 2011 (изменено) · Жалоба На мой взгляд, тут либо pps либо pptp рояль играют. У меня на данный момент к этому всё сводится. pptp кстати по soft irq нагрузку даёт почти 50% от всего процессорного времени (отчасти видно на скриншоте несколькими постами выше), всётаки работает в пространстве пользователя... Изменено 18 января, 2011 пользователем lan-viper Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...