divxl Posted July 25, 2016 (edited) · Report post Добрый день! Прошу совета, есть небольшая сеть 100 хостов: 1. Центр Mikrotik CCR в ЦОДе. 2. 3 выноса Mikrotik HEX, на каждом по 2 сеторные антенны. 3. Абоненты, антенны микротик настроенные как роутеры. 4. Есть коллективные анетнны, за которыми неуправляемые коммутаторы и PPPoE поднимается на роутерах. Проблема в том что из ЦОДа арендуем l2vpn до выносов и провайдер посредник дает один VLAN на все. Есть белые IP, хватает на всех. Сейчас настроенно так что на выносах все в бридже и везде белые IP. В будущем планируется установка СОРМ, можно будет работать с серыми IP. Как понимаю лучше отдельный VLAN из центра на каждый сектор, но проблема что провайдер посредник создал один общий. Если повешу просто серый адрес на интерфейс в ЦОД и всех 100 клиентов загоню в одну сеть, чем это грозит? Или требовать выделения VALNов ? Edited July 25, 2016 by divxl Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Constantin Posted July 26, 2016 · Report post посредник дает один VLAN попросите увеличение мту и согласуйте QiQ Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted July 26, 2016 · Report post Вам надо изолировать абонентов на L3, то есть между ЦОД и выносами делаете L3 сеть, общую, тут не важно. Настраиваете OSPF, что бы выдать адресацию для БС, далее поверх трафик абонентов бриджуете на wlan с туннелем EoIP и пускаете трафик в туннелях в центр. Коллективные антенны так же подключаете по PPPoE, только антенна работает не роутером, а бриджует данные из сетевого порта в EoIP туннель, который идет в центр на отдельный PPPoE сервер для этого туннеля. Таким образом у вас все изолировано: 1. Сеть вышестоящего изолирована от трафика абонентов. 2. Радио сеть изолирована от трафика коллективных абонентов. Т.к. если все антенны роутеры то туда ничего не попадет, а от коллективных как раз могут и петли залететь и мусорный трафик. 3. Интерфейсы баз изолированы от трафика абонентов, т.к. он сразу бриджуется в туннель и на ether1 уже не попадает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
divxl Posted July 26, 2016 · Report post попросите увеличение мту и согласуйте QiQ Спасибо, была такая мысль. Попробую по совету Saab настроить, потестить. Настраиваете OSPF Воспользовался BGP local. Коллективные антенны так же подключаете по PPPoE А зачем коллективную по PPPoE ? На бридж указал сеть серую/24 сеть и на EoIP так же эту сеть указал для управления, чем так плохо? 3. Интерфейсы баз изолированы от трафика абонентов, т.к. он сразу бриджуется в туннель и на ether1 уже не попадает. В центре нужны какие либо фильтры? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted July 26, 2016 · Report post А зачем коллективную по PPPoE ? На бридж указал сеть серую/24 сеть и на EoIP так же эту сеть указал для управления, чем так плохо? Мусорный трафик по всей сети. Т.к. вам нужно будет разрешить пропуск трафика, отличного от PPPoE, что уже плохо. Так же нужно руками вешать адреса. В маленькой сети это понять сложно, т.к. устройств мало, когда будет 5000 устройств, то по такой схеме придется на 500 баз пробросить 500 туннелей и на каждый повесить 500 подсетей, из которых будут использоваться всего несколько адресов=) Если уж хоте гонять трафик коллективных не в отдельном туннеле, то бриджуете беспроводной интерфейс с проводным, а pppoe-client вешаете на бридж, тогда он будет использоваться только для управления и не нужно никакие подсети никуда вешать. Так же на абонентах, где антенны в режиме роутера, пппое-клиент нужно вешать на бридж, в который добавляете беспроводной адаптер, в этом случае при обрыве радио не будет обрываться соединение, и если связь восстановится в течении нескольких секунд, обрыва сессий у абонента не возникнет. В центре нужны какие либо фильтры? Фильтры нужны везде, а именно: 1. На БС передача только в сторону EoIP туннеля, все другое должно блокироваться. 2. На БС в центр должен идти только трафик PPPoE - именно по этому и нельзя вешать подсети для управления коллективными антеннами, т.к. для этого нужно включать ARP, а там могут и проблемы возникнуть. 3. На коллективных антеннах так же блокировка всего с сетевого порта, кроме PPPoE. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
divxl Posted July 27, 2016 (edited) · Report post Так же нужно руками вешать адреса Правильно ли я понимаю, что по Вашей схеме при начальной конфигурации Вы не даете IP адрес клиенской антенне, ну или дефолтные остается, а монтажник просто вписывает логин и пароль в pppoe? а pppoe-client вешаете на бридж, тогда он будет использоваться только для управления Проблема моей сети в том, что используем биллинг MikBill, а он абонам при отрицательном балансе меняет IP, что не совсем удобно для управления, если не задан некий "IP для управления", надеюсь понятно выразился. 1. На БС передача только в сторону EoIP туннеля, все другое должно блокироваться. 2. На БС в центр должен идти только трафик PPPoE - именно по этому и нельзя вешать подсети для управления коллективными антеннами, т.к. для этого нужно включать ARP, а там могут и проблемы возникнуть. 3. На коллективных антеннах так же блокировка всего с сетевого порта, кроме PPPoE. Все три пункта решаются правилами ниже, правильно понимаю? /interface bridge add name=bridge1 /interface eoip add !keepalive mac-address=02:39:ED:02:31:D4 name=eoip-mamaika remote-address=***** tunnel-id=0 /interface bridge filter add chain=forward in-interface=eoip-mamaika mac-protocol=pppoe-discovery add chain=forward in-interface=eoip-mamaika mac-protocol=pppoe add action=drop chain=forward in-interface=eoip-mamaika /interface bridge port add bridge=bridge1 interface=wlan1 add bridge=bridge1 interface=eoip-mamaika Edited July 27, 2016 by divxl Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
divxl Posted August 2, 2016 · Report post Коллективные антенны так же подключаете по PPPoE, только антенна работает не роутером, а бриджует данные из сетевого порта в EoIP туннель, который идет в центр на отдельный PPPoE сервер для этого туннеля. Таким образом у вас все изолировано При такой схеме получили проблемы с MTU, у двух клиентов роутеры TP_Link и одноклассники перестали загружаться, поменяли принудительно MTU на роутерах на 1418, такой же как дает pppoe и все заработало. Что делаю не так? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted August 3, 2016 · Report post Правильно ли я понимаю, что по Вашей схеме при начальной конфигурации Вы не даете IP адрес клиенской антенне, ну или дефолтные остается, а монтажник просто вписывает логин и пароль в pppoe? Монтажник вообще ничего не вписывает, он только антенну вешает. В дефолтном конфиге установлен логин, например new, а пароль test. При подключении он наводит антенну и она подключается, по лампочкам он более менее нормально все делает, далее админ заходит на антенну по выданному адресу этого тестового логина, по телефону дает команды куда крутить и настраивает уровни сигналов, далее проверяется скорость, если все ок то вбирает уже нужный логин/пароль и готово. Проблема моей сети в том, что используем биллинг MikBill, а он абонам при отрицательном балансе меняет IP, что не совсем удобно для управления, если не задан некий "IP для управления", надеюсь понятно выразился. Нужно просто использовать другой биллинг и все. Основная ошибка это не верный биллинг, то есть биллинг должен работать только по IP абонентам и устанавливать блокировки и ограничения скорости, а не менять адреса. При такой схеме получили проблемы с MTU, у двух клиентов роутеры TP_Link и одноклассники перестали загружаться, поменяли принудительно MTU на роутерах на 1418, такой же как дает pppoe и все заработало. Что делаю не так? У EoIP мту вообще 65535 байт, когда создаете туннели укажите мту вручную 1500 и все нормально заработает. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
divxl Posted August 4, 2016 · Report post Нужно просто использовать другой биллинг и все. Какой например? У EoIP мту вообще 65535 байт, когда создаете туннели укажите мту вручную 1500 и все нормально заработает. Разобрался с МТУ, спасибо. Правила фильтрации указанные выше, верные? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted August 4, 2016 · Report post Правила фильтрации верные, но они работают не в ту сторону, если это точка со стороны абонентов или база, которая запихивает данные в туннель, то должен быть out-interface в качестве источника. Кроме всего это правило работает только на клиентской антенне, к которой по кабелю подключены абоненты=) Т.к. в нем нет фильтрации между портами бриджа. Лучше всего в этом случае указывать in-interface=ether1. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
divxl Posted August 5, 2016 · Report post Правила фильтрации верные, но они работают не в ту сторону, если это точка со стороны абонентов или база, которая запихивает данные в туннель, то должен быть out-interface в качестве источника. Ага т.е. на базе вот так будет: /interface bridge filter add chain=forward mac-protocol=pppoe-discovery out-interface=eoip-mamaika add chain=forward mac-protocol=pppoe out-interface=eoip-mamaika add action=drop chain=forward disabled=yes in-bridge=bridge1 in-interface=!eoip-mamaika out-bridge=bridge1 out-interface=!eoip-mamaika add action=drop chain=forward out-interface=eoip-mamaika А на Коллективной антенне, где eoip бриджуется с eth1 делаем так: /interface bridge filter add chain=forward in-interface=ether1 mac-protocol=pppoe-discovery add chain=forward in-interface=ether1 mac-protocol=pppoe add action=drop chain=forward in-interface=ether1 Верно? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted August 5, 2016 · Report post Да. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
divxl Posted August 6, 2016 · Report post Да. Спасибо! В центре EoIP не в бридже их ни как не фильтруем? Какие рекомендации можете дать по настройкам файрволл/фильрации на центральном роутере? Понятно что из вне закрыто все что не разрешено, может что то еще? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted August 6, 2016 · Report post В центре ничего не фильтруется. На центральном роутере нужно отключить все не используемые службы (ip-services), поменять порты у ssh и телнета, если используете. Если есть днс то блокируете его извне, более никаких блокировок не нужно. Для учетных записей администраторов тоже указываете ограничение по IP, что бы из инета не могли подключиться. По мак телнету можно будет подключиться всегда. Так же нужно отключить мак сервер с EoIP туннелей, то есть указать в настройках только сетевые порты и все. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
divxl Posted August 8, 2016 · Report post Так же на абонентах, где антенны в режиме роутера, пппое-клиент нужно вешать на бридж, в который добавляете беспроводной адаптер, в этом случае при обрыве радио не будет обрываться соединение, и если связь восстановится в течении нескольких секунд, обрыва сессий у абонента не возникнет. Что то оборвалось 23:06:13 system,info device changed by admin 23:06:16 wireless,info 4C:5E:0C:F9:65:1B@wlan1 established connection on 5350000, SSID **** 23:06:31 pppoe,ppp,info pppoe-out1: terminating... - disconnected 23:06:31 pppoe,ppp,info pppoe-out1: disconnected 23:06:31 pppoe,ppp,info pppoe-out1: initializing... 23:06:31 pppoe,ppp,info pppoe-out1: connecting... 23:06:31 system,info item removed 23:06:39 pppoe,ppp,info pppoe-out1: authenticated 23:06:39 pppoe,ppp,info pppoe-out1: connected Связь пропала на 3 секунды, но PPPoE оборвался, что не так? PPPoE в бридж добавляю так: /interface bridge add mtu=1500 name=bridge1 protocol-mode=none /interface bridge port add bridge=bridge1 interface=wlan1 /interface pppoe-client add add-default-route=yes disabled=no interface=bridge1 max-mru=1480 max-mtu=1480 mrru=1600 name=pppoe-out1 password=kaPsfKJz use-peer-dns=yes user=\ Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Saab95 Posted August 9, 2016 · Report post Вы вручную связь оборвали, или она сама оборвалась? Если в центре на PPPoE сервере поставить руками таймаут, например секунд 30, тогда обрываться ничего не будет. Так же на клиенте нужно не забыть на вкладке вдс беспроводного адаптера включить добавление вдс интерфейса в бридж. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...