[nio_jt]

Всем привет.

Пришла пора делать 3ю линию для обеспечения бОльшей пропускной способности и надежности. Решил проконсультироваться, а прямые ли у меня руки. Бюджет минимален.

 

Задача такая:

Пробросить сеть из дома А в дом Б. Дом А и дом Б напротив на одной улице, прямая видимость, расстояние 50м. Сразу скажу, что соплю между домами кинуть нельзя по ряду причин.

 

Как реализвано (я плохо рисую, так что извините текст):

 

Line1 этаж А: uplink > RB450G > OmniTIK U-5HnD > SXT 5HnD > сервак в виде компа с шейпером трафика > <i>свичи > свичи > свичи (неподконтрольная мне область)</i> > конечный потребитель

 

Line2 этаж Б: uplink > RB450G > SXT Lite5 > SXT Lite5 > сервак в виде компа с шейпером трафика > <i>свичи > свичи > свичи (неподконтрольная мне область)</i> > конечный потребитель

 

Line3 этаж Ц: думаю сделать копию Line2.

 

Детали:

- по сути тут два сегмента, из Б в А если смотреть то: по 100500 свичам всего здания приходят на мой сервак по 20-50 клиентов. Ну и вторая часть от вайфай части Б через А в аплинк.

- Файфай на 5G в nv2 работает как мост в проход и ничего более на нем не происходит, те наргрузка на него - передавай себе пакеты. Все. Если отключить клиентов и тестировать в проход, например один конечный клиент запустил 100500 торрентов со 100500 коннектами, прокачивается 97мбпс сутками, и не падает. По вафля-вафля уровни сигналов занижены максимально так, что бы перекрывать канал в 100мпбс процентов на 15% не более. Tx/Rx там вроде 120-160мбпс, и CCQ вроде 48%. Уровни сигналов не помню. Но можно выставить, чтобы было 300мбпс и 100% CCQ, но зачем и тесты показали, что так куда нестабильнее работает, а канал то все равно 100мбпс.

- Сервак делает там приоритет трафика, лимиты скорости, график нагрузки, логирование, кто чего сколько скачал и когда скачал, запись в базу тд и тп. Это все выводится на внутренную страничку. Там для админа инфа всякая по состоянию сети и для юзера новостная лента. Все это чудо на WinServer 2008rc2 + Tmeter. Ну так сложилось, что шейпить так было наименее времени и денежно затратно на момент реализации задачи и переделывать лень. Почему иммено это я иначе не могу объяснить. Работает же)

- характер трафика: 90% торренты

- в пики вечерней активности изпользуется близко к 100% пропускной. Канал всего 100mps на линк на 25 допустим юзеров в среднем. Один юзер потребляет от 3 до 5 mbps, да тарифы такие) Т.е. запаса конешно нет никакого, но работает же)

- скорость не основной параметр, 3-5мбпс на юзера пока хватает, а стабильность и отказоустойчивость в приоритете.

 

Какие проблемы у меня бывают:

- бывает, что ширины канала не хватает, и кто-то кто внизу приоритетов пользователей недополучает до своих 3мегабит. Лечить как? Имхо большим аплинком с вытекающей модернизцией всего. Или пробрасывать line4, line5...

- бывает, что по непонятной мне причине линк проседает до 40-50мбпс. Как лечить? Имхо надо причину понять сначала, где проблема. В сети того дома, в моем серваке, в антеннах или во входном роуте, или вообще в прове. Но закрывать на диагностику не хочется, а тестировать в лайв режиме еще больше постов мне и звонков, каждый долгом блин считает позвонить, если у него ВК не открывается с минуту... или в танках залагало...

- пинги самое зло... много кто играет и пинги не радуют( в пики от клиента до игрово сервера бывает 30-40ms, иногда пробивает на 100ms. В штатной нагрузке 10-20ms. А может и не в нагрузке дело, но явно все лаги, какие только происходят, происходят четко в один и тот же временной период вечерней активности.

- отдельного комента требует существующая в доме Б сеть. Она сама как-то живет, свою я протянуть не могу, тамошнего админа знаю, но ему настолько все равно, что там у него с сетью, что пичаль. Иногда мне звонят, а сеть лежит местная по дороге к серваку, а не моя. Крысы там перегрызли, света нет и тд и тп... Я что? Я еду чинить...

 

Что я в итоге хочу:

- ГЛАВНОЕ СТАБИЛЬНОСТЬ и сохранение уже имеющейся клиенской базы, не хочу чтобы мне звонили и писали, что танки лагают, а собственно хочу нормальный уровень пингов, что для этого нужно? наверное надо смотреть логи, нагрузку на девайсах и делать выводы. Подскажите какую инфу собрать, куда смотреть.

- хочу иметь возможность маштабирования, но количество точек выхода три штуки пожалуй максмимальное. Те маштабироваться придется железом. Как? Каким? Например 75 абонентов на линк с тарифами по 5мбпс и половина качают торренты, а второй надо играть в танки...

 

Особо не пинайте)

[Saab95]

Ничего не понятно, нарисуйте схему как все подключено и расположено, с указанием схемы авторизации.

[nio_jt]

 

Знал же, что рисовать придется...

 

Комментарий к B: все клиенты 1, 100 связаны между собой и все сервера PC тоже. Т.е. теоретически можно подключить любого клиента на любой сервер. Сейчас подключено по принципу *близости*. С клиента пингуются PC сервера, и который показывает меньшие пинги за период времени, к тому и подключается, это делается один раз при подключении нового клиента и остается неизменным. Сеть в В большая и старая. Там примерно 2500 машин. Я в нее вхожу и нужных клиентов подключаю к своим сервачкам. Как клиент подключается? в настройках клиентского подключения ставит собственно мой сервак как gateway и dns, ip пишет себе мною назначенный, ip не раздается мной. Сервак собственно фильтрует пользователей по ip и mac. Если совпадет с акцесс листом, пускает дальше за себя в А. Весь фаерволл можно мутить на PC, то там все прозрачно, все порты открыты и тд. Фильтрация по mac/ip и вперед.

Изменено 17 января, 2014 пользователем nio_jt

[Saab95]

Вам просто нужно выкинуть все серваки и прочее барахло =) далее поставить один сервак/микротик, в который заведете все каналы интернета, и через него по существующим антеннам передадите его в другое здание (или сначала передадите, а в здании сервак поставите), после всех абонентов переведете на авторизацию PPPoE, если сеть не управляемая, либо влан на абонента, после чего поставив отдельный биллинг, сможете легко всем управлять и предоставлять доступ без проблем.

[nio_jt]

Вам просто нужно выкинуть все серваки и прочее барахло =) далее поставить один сервак/микротик, в который заведете все каналы интернета, и через него по существующим антеннам передадите его в другое здание (или сначала передадите, а в здании сервак поставите)

 

1. А чем эта схема отличается от моей? Тем что стоит 1 сервак/микротик, а не 3 со стороны А? Смысл?

2. Если я в Б уберу серваки, то весь громаднй мусор трафика, который гуляет по сети Б, пойдет через мои антены и прикажет им длго жить, а еще и будет создавать нагрузку на сервак/микротик А, который Вы предлагаете сделать один.

 

Идея серваков в Б, в том чтобы резать ненужные пакеты как раз и не нагружать антенны, сервак это двухядерник средней мощности с хорошими картами, он куда как лучше имхо по производительности будет работать нежели железка микротика за те же деньги. Если нет, заменю РС сервак на Микротику с работсью. Но некий фаервол, чтобы отсекать пакеты из Б имхо нужен обязательно, нельзя их все в вафлю пускать.

 

Идея серваков/микротика в А, в том чтобы опять же антенны работали в проход бридж без нагрузки, а роутил уже во внешку сервак/микротик.

 

Соглашусь, вместо трех rb450g можно купить один, но:

- тянуть сотни метров кабеля до антенн? они же на разных этажах и по poe питаются

- отказоустойчивость одного сервера в три раза ниже чем тре серверов

- дешевле и производительней имхо не будет

- аплинк нужно будет другой

 

Основная проблема в том:

что слишком много pps идет по вафле и антенки не справляются просто их передавать... Решать надо ну знаю как, заворачивать в пакеты побольше на серваке Б и разворачивать на серваке А... Или резать количество соединений, порты и пр.

 

===============

UPDATE1: Атниспам на форуме запрещает пока больше трех сообщений в день писать, может здесь заметят...

По спекам http://routerboard.com/RB450G в худщем варианте роутинга имеет почти двухкратный запас по fps, по сравнению с SXT, коих кстати характеристик fps я что-то не найду. Сейчас в режиме "простоя" у меня 4k на передачу и 3k на прием на rb450g.

 

UPDATE2: что-то я не верю в "реальные" 40k пакетов что-то, по спеке

 

SXT 5HnD @400MHz (1 port test) 64 byte frames 512 byte frames 1518 byte frames

IP Firewall Conntrack Mode Mbps Fps Mbps Fps Mbps Fps

off off Bridging 49.66 97000 99.53 24300 99.58 8200

on off Routing 34 66400 99.53 24300 99.58 8200

on off Bridging 30.77 60100 99.53 24300 99.58 8200

on on Routing 25.6 50000 99.53 24300 99.58 8200

on on Bridging 18.02 35200 99.53 24300 99.58 8200

 

лайты считай еще поменьше на 30%.

Изменено 17 января, 2014 пользователем nio_jt

[Saab95]

У микротика по радио пролетает 40000 и более пакетов, скорее всего затык в другом месте, например производительности RB450G в режиме НАТа.

[nio_jt]

Посмотрите мой пост апдейт выше. В пики у меня на рб450г цпу 30-40%, памяти вагон, по 5-10к пактов шныряет. Думаю как раз эти 10к смешанных пакетов и есть непосильная нагрузка на антенны, нет? Когда 3-4к летает как самолет.

 

ХОТЯ, например omnitik - sxt у меня завести можно на 100% ccq и 300mpbs/300mpbs, и в тестах там если в одну сторону, то вам покажут под 200 мегабит, в обе если то по 90мегабит. Непонятно зачем писать там 300... SXT Lite заводят же при 100% ccq только на 172/172 мегабитах. Тест в одну сторону покажет 112 мегабит, ну и в обе помнеьше соответсвенно. Сигналы и там и там сильные (50 метров всего), синхронные -49 / -52 у SXT и -44 / -44 у SXT Lite и плавают на +/- два. ОДНАКО, ничего общего с пропускной способностью внутренние бандвиф тесты имхо не имеют. Реальный трафик прокачивает ну максимум на 80 мегабитах в одну сторону на SXT, в обе на передачу 60 на прием 30. Лайты ровно так же работают, разве что в одну сторону передает максимуму меньше чем обычнй SXT.

 

За время эксплуатации я ни выжимал, что с omnitik - sxt, что sxt - sxt, что на лайтах, что на секстанте более 60/30 мегабит реального трафика в PTP, это может нормально...? Плюс при нагрузке пропусная способность бывает падает до 10/10 мегабит, а потом опять все ОК, без видимых причин, те набирается пик активности плавно, выжимается максимум, а потом хоба и тебе 10 мегабит. Как будто антенки в свопе там) Непанятна(

 

Куда смотреть мне братцы? чтобы не было "работает работаем и потом хоба 15% от полосы осталось".

И вопрос два, вот мне надо аналогичную линию сделать, что мне взять посоветуете! Не обязательно микротик, убунту или еще что вполне. В самом начале, я пробовал ставил тплинк, длинк, топовые асус все с внешними антеннами выносными... Но поигравшись понял, что микротик за те же деньги работает раз в пять продуктивнее, все продал и вот сижу теперь думаю...

Условия такие :

- прямая видимость 50 метров

- только 5G, в 2.4G там 60 точек вообще смерть, может больше уже...

- нужно передавать инет по вафле потребителю, потребитель это 30 рядовых пользователей

- скорость PTP хотелось бы иметь 90-100 мбит на передачу и немножко на прием, скажем 25 мегабит

- fps у меня в среднем 5-10к в секунду

- и чтобы оно работало... Неужели нельзя чтобы иметь на аботенте скажет честные 10mbit трафика, кроме как корячить 20 БС и к ним по 5 cpe, чтобы в итоге было 100 окончаний и каждый заводить потребителю, этож изврат... или ообще всем PTP ставить...

Изменено 17 января, 2014 пользователем nio_jt

[SOFTOLAB]

nio_jt, может будет полезно: http://www.lanmart.ru/blogs/test_mikrotik_rb2011ls-in_and_sxtg_680_mbps_wi-fi/

[Saab95]

А настраивать правильно оборудование не пробовали? Например убавить мощность? Пишите сигналы -44, однако это очень сильные, на таком расстоянии при мощности 3-4дбм можно получить -50..-60 и гонять по 200мбит в каждую сторону без проблем. Если на ваших линках сделать разносы по частотам в 100мгц, убавить мощности до 3-4дбм, то все будет летать через них.

[ChargeSet]

ну вообще-то сааб дело говорит, нафиг вам куча каких-то там ПК, сагрегируйте все радиоканалы на одной железке (бондинг это называется)

просто на 50 метрах 5 СРЕ и 1 омни точка... Зверский эфир у вас там наверняка получается. Вы хоть частотно-территориально разнесли их? Ну и мощности в 0 дБм за глаза, и ширше 20 мгц я бы не полез

 

И да, на всякий случай: что МТ что убики показывают КАНАЛЬНУЮ скорость, это немного другие мегабиты. Теоретические, типа

[nio_jt]

nio_jt, может будет полезно: http://www.lanmart.ru/blogs/test_mikrotik_rb2011ls-in_and_sxtg_680_mbps_wi-fi/

 

Спасибо. Это как вариант, продать все и модернизироваться до ~1G по радио, хммм. Надо посчитать бюджет. Вопросики по статье думаю разумней задать там, их есть у меня.

Изменено 19 января, 2014 пользователем nio_jt

[nio_jt]

А настраивать правильно оборудование не пробовали? Например убавить мощность? Пишите сигналы -44, однако это очень сильные, на таком расстоянии при мощности 3-4дбм можно получить -50..-60 и гонять по 200мбит в каждую сторону без проблем. Если на ваших линках сделать разносы по частотам в 100мгц, убавить мощности до 3-4дбм, то все будет летать через них.

 

Хм, попробую. Скажите а бывает еще так, что проваливает обратный канал, например 300/300, а потом 300/30, это видимо из-за слишком сильных сигналов.

Пары антенн все три находятся очень близко, на одной линии друг над другом в расстоянии 10-20м. Дома стоят напротив, дома длинные, чую что все отражается от домов раз по 10. Попробую полосу 20 и сигналы потише, там щас стоит 7-8дбм, полоса 20, N-only.

 

p.s. подумал что омнитик снять надо нафиг, а то он там симафорит небось... Везде SXT Lite 5 имхо надо воткнуть.

Изменено 19 января, 2014 пользователем nio_jt

[Saab95]

На 20 метров мощности достаточно 2-3дбм, при этом уровни сигналов надо подгонять под -60дбм и не сильнее. Тогда будут четко стоять канальные скорости 270/270, что бы они были именно такими, а не 300/300, поставьте на вкладке HT в пункте Guard Interval значение Long - именно это значение следует использовать при работе на улице.

[nio_jt]

Итак, перенастроил. Получил 25% прироста к пропускной способности. Было 55 мегабит реального трафика, сейчас 80 мегабит. По pps 8-10k легко. По стабильности - понаблюдаю. Настроил собственно по местному ФАКу вот с такими вот исключениями по порядку:

1. Режим N only, ширину канала поставил 20/40 HT Above, в чистых 20, показывало почти в два раза меньшую пропускную способность в 40 мегабит, в ширине 10 еще меньше.

2. Tx power я поставил 1, по тестам 0, 2-3-4 и тд показывают более сильные сигналы и меньшую пропускную способность. Уровень 0 вообще странно работает как-то непонятно.

3. NV2 TDMA Period size поставил 1, аля для меньших задержек и меньшей скорости, однако ставил 2,4,8 значения, пинги возрастают, скорости нет.

4. Noise floor оставил дефолтным, ставил как по факу, это да влияло на сигнал, но канальные скорости и стабильность падала в любых слуаях, что менял в меньшую сторону, что в большую.

 

ОДНАКО,

немного беспокоят меня показания в статусе, присутствует разница сигналов чейнов аж в 10 единиц, и один из них слишком сильный даже на Tx power 1, на 0 только выше становится оба чейна. Одна это не влияет на ширину канала, 80 в обе стороны прокачивается.

 

p.s. Имхо 80 мегабит предел и не трогать ничего, если так работает стабильно. Скорости и пинги мне нравятся) Производительней ток на SXTG делать мост, да?

 

Статус на базе выглядит так:

Изменено 21 января, 2014 пользователем nio_jt

[Saab95]

Зайдите в IP-Firewall-Connection и отключите Connection Tracking. Тогда в 6 ветке пакетная производительность станет под 90 тысяч пакетов.

[ChargeSet]

CCQ у вас маловат и ACK что-то уж больно большой

Радио по уровню выставлены?

[nio_jt]

Радио по уровню выставлены?

Так себе, сейчас вдарило -20, мб отклонились чуть чуть, они там заколхожены так себе. Подправлю при случае.

 

Вопрос: если я поставлю ЕЩЕ антенны покрашенные желтым, как это отразится на работе всей системы? Две пары антенн отмеченные красным пока вроде не жалуются. Частотно могу разнести как угодно, излучаемые мощности минимальные.