[divxl]

Добрый день!

 

Прошу совета, есть небольшая сеть 100 хостов:

 

1. Центр Mikrotik CCR в ЦОДе.

2. 3 выноса Mikrotik HEX, на каждом по 2 сеторные антенны.

3. Абоненты, антенны микротик настроенные как роутеры.

4. Есть коллективные анетнны, за которыми неуправляемые коммутаторы и PPPoE поднимается на роутерах.

 

Проблема в том что из ЦОДа арендуем l2vpn до выносов и провайдер посредник дает один VLAN на все.

 

Есть белые IP, хватает на всех.

 

Сейчас настроенно так что на выносах все в бридже и везде белые IP. В будущем планируется установка СОРМ, можно будет работать с серыми IP.

 

Как понимаю лучше отдельный VLAN из центра на каждый сектор, но проблема что провайдер посредник создал один общий.

 

Если повешу просто серый адрес на интерфейс в ЦОД и всех 100 клиентов загоню в одну сеть, чем это грозит?

 

Или требовать выделения VALNов ?

Изменено 25 июля, 2016 пользователем divxl

[Constantin]

посредник дает один VLAN

попросите увеличение мту и согласуйте QiQ

[Saab95]

Вам надо изолировать абонентов на L3, то есть между ЦОД и выносами делаете L3 сеть, общую, тут не важно. Настраиваете OSPF, что бы выдать адресацию для БС, далее поверх трафик абонентов бриджуете на wlan с туннелем EoIP и пускаете трафик в туннелях в центр.

Коллективные антенны так же подключаете по PPPoE, только антенна работает не роутером, а бриджует данные из сетевого порта в EoIP туннель, который идет в центр на отдельный PPPoE сервер для этого туннеля. Таким образом у вас все изолировано:

 

1. Сеть вышестоящего изолирована от трафика абонентов.

2. Радио сеть изолирована от трафика коллективных абонентов. Т.к. если все антенны роутеры то туда ничего не попадет, а от коллективных как раз могут и петли залететь и мусорный трафик.

3. Интерфейсы баз изолированы от трафика абонентов, т.к. он сразу бриджуется в туннель и на ether1 уже не попадает.

[divxl]

попросите увеличение мту и согласуйте QiQ

 

Спасибо, была такая мысль. Попробую по совету Saab настроить, потестить.

 

Настраиваете OSPF

 

Воспользовался BGP local.

 

Коллективные антенны так же подключаете по PPPoE

 

А зачем коллективную по PPPoE ? На бридж указал сеть серую/24 сеть и на EoIP так же эту сеть указал для управления, чем так плохо?

 

3. Интерфейсы баз изолированы от трафика абонентов, т.к. он сразу бриджуется в туннель и на ether1 уже не попадает.

 

В центре нужны какие либо фильтры?

[Saab95]

А зачем коллективную по PPPoE ? На бридж указал сеть серую/24 сеть и на EoIP так же эту сеть указал для управления, чем так плохо?

 

Мусорный трафик по всей сети. Т.к. вам нужно будет разрешить пропуск трафика, отличного от PPPoE, что уже плохо. Так же нужно руками вешать адреса. В маленькой сети это понять сложно, т.к. устройств мало, когда будет 5000 устройств, то по такой схеме придется на 500 баз пробросить 500 туннелей и на каждый повесить 500 подсетей, из которых будут использоваться всего несколько адресов=)

 

Если уж хоте гонять трафик коллективных не в отдельном туннеле, то бриджуете беспроводной интерфейс с проводным, а pppoe-client вешаете на бридж, тогда он будет использоваться только для управления и не нужно никакие подсети никуда вешать.

 

Так же на абонентах, где антенны в режиме роутера, пппое-клиент нужно вешать на бридж, в который добавляете беспроводной адаптер, в этом случае при обрыве радио не будет обрываться соединение, и если связь восстановится в течении нескольких секунд, обрыва сессий у абонента не возникнет.

 

 

В центре нужны какие либо фильтры?

 

Фильтры нужны везде, а именно:

 

1. На БС передача только в сторону EoIP туннеля, все другое должно блокироваться.

2. На БС в центр должен идти только трафик PPPoE - именно по этому и нельзя вешать подсети для управления коллективными антеннами, т.к. для этого нужно включать ARP, а там могут и проблемы возникнуть.

3. На коллективных антеннах так же блокировка всего с сетевого порта, кроме PPPoE.

[divxl]

Так же нужно руками вешать адреса

 

Правильно ли я понимаю, что по Вашей схеме при начальной конфигурации Вы не даете IP адрес клиенской антенне, ну или дефолтные остается, а монтажник просто вписывает логин и пароль в pppoe?

 

а pppoe-client вешаете на бридж, тогда он будет использоваться только для управления

 

Проблема моей сети в том, что используем биллинг MikBill, а он абонам при отрицательном балансе меняет IP, что не совсем удобно для управления, если не задан некий "IP для управления", надеюсь понятно выразился.

 

 

1. На БС передача только в сторону EoIP туннеля, все другое должно блокироваться.

2. На БС в центр должен идти только трафик PPPoE - именно по этому и нельзя вешать подсети для управления коллективными антеннами, т.к. для этого нужно включать ARP, а там могут и проблемы возникнуть.

3. На коллективных антеннах так же блокировка всего с сетевого порта, кроме PPPoE.

 

Все три пункта решаются правилами ниже, правильно понимаю?

 

/interface bridge
add name=bridge1
/interface eoip
add !keepalive mac-address=02:39:ED:02:31:D4 name=eoip-mamaika remote-address=***** tunnel-id=0
/interface bridge filter
add chain=forward in-interface=eoip-mamaika mac-protocol=pppoe-discovery
add chain=forward in-interface=eoip-mamaika mac-protocol=pppoe
add action=drop chain=forward in-interface=eoip-mamaika
/interface bridge port
add bridge=bridge1 interface=wlan1
add bridge=bridge1 interface=eoip-mamaika

Изменено 27 июля, 2016 пользователем divxl

[divxl]

Коллективные антенны так же подключаете по PPPoE, только антенна работает не роутером, а бриджует данные из сетевого порта в EoIP туннель, который идет в центр на отдельный PPPoE сервер для этого туннеля. Таким образом у вас все изолировано

 

При такой схеме получили проблемы с MTU, у двух клиентов роутеры TP_Link и одноклассники перестали загружаться, поменяли принудительно MTU на роутерах на 1418, такой же как дает pppoe и все заработало. Что делаю не так?

[Saab95]

Правильно ли я понимаю, что по Вашей схеме при начальной конфигурации Вы не даете IP адрес клиенской антенне, ну или дефолтные остается, а монтажник просто вписывает логин и пароль в pppoe?

 

Монтажник вообще ничего не вписывает, он только антенну вешает. В дефолтном конфиге установлен логин, например new, а пароль test. При подключении он наводит антенну и она подключается, по лампочкам он более менее нормально все делает, далее админ заходит на антенну по выданному адресу этого тестового логина, по телефону дает команды куда крутить и настраивает уровни сигналов, далее проверяется скорость, если все ок то вбирает уже нужный логин/пароль и готово.

 

Проблема моей сети в том, что используем биллинг MikBill, а он абонам при отрицательном балансе меняет IP, что не совсем удобно для управления, если не задан некий "IP для управления", надеюсь понятно выразился.

 

Нужно просто использовать другой биллинг и все. Основная ошибка это не верный биллинг, то есть биллинг должен работать только по IP абонентам и устанавливать блокировки и ограничения скорости, а не менять адреса.

 

При такой схеме получили проблемы с MTU, у двух клиентов роутеры TP_Link и одноклассники перестали загружаться, поменяли принудительно MTU на роутерах на 1418, такой же как дает pppoe и все заработало. Что делаю не так?

 

У EoIP мту вообще 65535 байт, когда создаете туннели укажите мту вручную 1500 и все нормально заработает.

[divxl]

Нужно просто использовать другой биллинг и все.

 

Какой например?

 

У EoIP мту вообще 65535 байт, когда создаете туннели укажите мту вручную 1500 и все нормально заработает.

 

Разобрался с МТУ, спасибо.

 

 

Правила фильтрации указанные выше, верные?

[Saab95]

Правила фильтрации верные, но они работают не в ту сторону, если это точка со стороны абонентов или база, которая запихивает данные в туннель, то должен быть out-interface в качестве источника.

Кроме всего это правило работает только на клиентской антенне, к которой по кабелю подключены абоненты=) Т.к. в нем нет фильтрации между портами бриджа. Лучше всего в этом случае указывать in-interface=ether1.

[divxl]

Правила фильтрации верные, но они работают не в ту сторону, если это точка со стороны абонентов или база, которая запихивает данные в туннель, то должен быть out-interface в качестве источника.

Ага т.е. на базе вот так будет:

/interface bridge filter
add chain=forward mac-protocol=pppoe-discovery out-interface=eoip-mamaika
add chain=forward mac-protocol=pppoe out-interface=eoip-mamaika
add action=drop chain=forward disabled=yes in-bridge=bridge1 in-interface=!eoip-mamaika out-bridge=bridge1 out-interface=!eoip-mamaika
add action=drop chain=forward out-interface=eoip-mamaika

 

А на Коллективной антенне, где eoip бриджуется с eth1 делаем так:

/interface bridge filter
add chain=forward in-interface=ether1 mac-protocol=pppoe-discovery
add chain=forward in-interface=ether1 mac-protocol=pppoe
add action=drop chain=forward in-interface=ether1

 

Верно?

[Saab95]

Да.

[divxl]

Да.

 

Спасибо!

 

В центре EoIP не в бридже их ни как не фильтруем?

 

Какие рекомендации можете дать по настройкам файрволл/фильрации на центральном роутере? Понятно что из вне закрыто все что не разрешено, может что то еще?

[Saab95]

В центре ничего не фильтруется. На центральном роутере нужно отключить все не используемые службы (ip-services), поменять порты у ssh и телнета, если используете. Если есть днс то блокируете его извне, более никаких блокировок не нужно. Для учетных записей администраторов тоже указываете ограничение по IP, что бы из инета не могли подключиться. По мак телнету можно будет подключиться всегда. Так же нужно отключить мак сервер с EoIP туннелей, то есть указать в настройках только сетевые порты и все.

[divxl]

Так же на абонентах, где антенны в режиме роутера, пппое-клиент нужно вешать на бридж, в который добавляете беспроводной адаптер, в этом случае при обрыве радио не будет обрываться соединение, и если связь восстановится в течении нескольких секунд, обрыва сессий у абонента не возникнет.

 

Что то оборвалось

23:06:13 system,info device changed by admin 
23:06:16 wireless,info 4C:5E:0C:F9:65:1B@wlan1 established connection on 5350000, SSID ****
23:06:31 pppoe,ppp,info pppoe-out1: terminating... - disconnected 
23:06:31 pppoe,ppp,info pppoe-out1: disconnected 
23:06:31 pppoe,ppp,info pppoe-out1: initializing... 
23:06:31 pppoe,ppp,info pppoe-out1: connecting... 
23:06:31 system,info item removed 
23:06:39 pppoe,ppp,info pppoe-out1: authenticated 
23:06:39 pppoe,ppp,info pppoe-out1: connected

 

Связь пропала на 3 секунды, но PPPoE оборвался, что не так?

 

PPPoE в бридж добавляю так:

 

/interface bridge
add mtu=1500 name=bridge1 protocol-mode=none
/interface bridge port
add bridge=bridge1 interface=wlan1
/interface pppoe-client
add add-default-route=yes disabled=no interface=bridge1 max-mru=1480 max-mtu=1480 mrru=1600 name=pppoe-out1 password=kaPsfKJz use-peer-dns=yes user=\

[Saab95]

Вы вручную связь оборвали, или она сама оборвалась?

 

Если в центре на PPPoE сервере поставить руками таймаут, например секунд 30, тогда обрываться ничего не будет. Так же на клиенте нужно не забыть на вкладке вдс беспроводного адаптера включить добавление вдс интерфейса в бридж.