Yaten Posted January 4, 2014 Posted January 4, 2014 (edited) Имеется беспроводная сеть на микротике. В сети живут только статические маршруты. Все магистральные линки настроены как п2п, и зароучены поверх абонентские подсети. Пришло время дать всем реальные ипы и было решено давать их динамически по пппое. Мы видим два варианта реализации: - до каждой АП пробрасывать влан от центрального маршрузитатора где будет жить несколько десятков pppoe серверов. - поднимать на каждой АП по экземпляру пппое сервера и маршрутизировать с каждой АП через OSPF выданный реальный ИП. Вопросы такие у меня назрели - а не будет ли ospf колбасить, когда маршрут до конечных АП может достигать 3-6 хопов. - как построить ospf дерево через 6 хопов. пока освоил дерево через 1 хоп. - не будет ли колбасить беспроводные линки от бродкаста, когда в одном линке может быть до 10 вланов с 10-50 юзерами в каждом. - а вообще как нормальные люди внедряют pppoe на сети ? Главная цель внедрения pppoe - динамическая выдача реальных ИП абонентам. Edited January 4, 2014 by Yaten Вставить ник Quote
laplundik Posted January 4, 2014 Posted January 4, 2014 (edited) у меня иногда были проблемы когда провайдер что мне выдал белые ипы флудил в сети, и этот флуд шел через мосты и базу до абонента(потом все уладили с огромным трафиком) До сих пор к абоненту идет мусор 20-40 кбит, в месяц по 4гига набегает не из чего(кто то пытается сканить ипы, проверяет радмином и т.д) Edited January 4, 2014 by laplundik Вставить ник Quote
Yaten Posted January 4, 2014 Author Posted January 4, 2014 у меня безлим. От левого трафика никуда не денешься. Чтож тут поделать. Ну можно для профилактики icmp порезать из инета. Меньше сервисы будут сканить при отсутствии пинга. Вставить ник Quote
saaremaa Posted January 4, 2014 Posted January 4, 2014 (edited) Главная цель внедрения pppoe - динамическая выдача реальных ИП абонентам. В текущей ситуации только NAT и "серые". "реальные" по запросу и за денежку. Imho ~ 5% пользователей физлиц. реально понимают и нуждаются в "реальных IP". Я бы на Вашем месте начал строить vlan-per user + IPV6 dual-stack. Раньше мы строили след образом: WAN →(Fiber)→ Core (BGP+OSPF,Биллинг, Radius, Netflow, DNS, WWW, прочие сервисы) →(wireless)→ NAS-района(RB1100AHx2) (терминирование PPPOE сессий абонента) →(wireless)→ звездой растягиваются VLAN(на 1 дом, на 1 БС). Вполне рабочая схема. Броадкаст домен внутри одного vlan = 3-5 пользователей. На домах порты с acl и traffic segmentation. Были проблемы что пользователи путали кабели в роутере LAN вместо WAN (разрешили на портах только PPPoE). При отрицательном балансе пользователь может авторизоваться, но может попасть только в Личный кабинет. Сейчас все это переходит на MPLS + ipoe. Описывать пока не буду еще в процессе тестирования. MPLS используется для балансировки и резервирования посредством MPLT-TE. VPLS поверх MPLT-TE используется для построения L2VPN для "хотелок юрлиц" и для того чтобы избежать ситуации "построить ospf дерево через 6 хопов". Edited January 4, 2014 by saaremaa Вставить ник Quote
saaremaa Posted January 4, 2014 Posted January 4, 2014 - до каждой АП пробрасывать влан от центрального маршрузитатора где будет жить несколько десятков pppoe серверов. а почему бы и нет. только не вешайте всех абонентов в 1 vlan. Допустим на АП есть 3 подключенных дома и 15 физиков отдельно клиентами: Делаете по 1 vlan на каждый коммутатор в домах + vlan управления и остальные 15 физиков запихиваете в другой отдельный vlan. Опять же неизвестно что за АП будет. + не надо далеко ехать до pppoe сервера который стоит где-нибудь в промзоне. - поднимать на каждой АП по экземпляру пппое сервера и маршрутизировать с каждой АП через OSPF выданный реальный ИП. Опять же неизвестно что за АП будет. Имхо не стоит вешать на АП терминацию PPPoE. Я думаю что у Сааба будет другая точка зрения. :) Вставить ник Quote
Yaten Posted January 4, 2014 Author Posted January 4, 2014 В текущей ситуации только NAT и "серые". "реальные" по запросу и за денежку. Imho ~ 5% пользователей физлиц. реально понимают и нуждаются в "реальных IP".Я бы на Вашем месте начал строить vlan-per user + IPV6 dual-stack. Мне реальный ипы надо чтоб сорм сделать на оборудовании вышестоящего оператора. Только для этого. Раньше мы строили след образом:WAN →(Fiber)→ Core (BGP+OSPF,Биллинг, Radius, Netflow, DNS, WWW, прочие сервисы) →(wireless)→ NAS-района(RB1100AHx2) (терминирование PPPOE сессий абонента) →(wireless)→ звездой растягиваются VLAN(на 1 дом, на 1 БС). Вполне рабочая схема. Броадкаст домен внутри одного vlan = 3-5 пользователей. На домах порты с acl и traffic segmentation. Были проблемы что пользователи путали кабели в роутере LAN вместо WAN (разрешили на портах только PPPoE). При отрицательном балансе пользователь может авторизоваться, но может попасть только в Личный кабинет. Вот и у меня складывается такая схема в голове. (только зачем RB1100?, какой у вас макс тариф?) С единственной оговоркой, pppoe-сервер на секторе, от него в центральный маршрутизатор eoip туннель и поверх этого тунеля ospf. До MPSL мы ещё не доросли... ни мозгами, ни абонентами.... Вставить ник Quote
Yaten Posted January 4, 2014 Author Posted January 4, 2014 а почему бы и нет. только не вешайте всех абонентов в 1 vlan. Допустим на АП есть 3 подключенных дома и 15 физиков отдельно клиентами: Делаете по 1 vlan на каждый коммутатор в домах + vlan управления и остальные 15 физиков запихиваете в другой отдельный vlan. Опять же неизвестно что за АП будет.+ не надо далеко ехать до pppoe сервера который стоит где-нибудь в промзоне. Да, так стоит сделать. Управление в одном влане, юзеры в отдельных вланах. На АП будет что то типа 711 - 912 микротика. Больше не вижу смысла ставить. Опять же неизвестно что за АП будет. Имхо не стоит вешать на АП терминацию PPPoE. Думаете не потянет она 50 юзеров онлайна? Вставить ник Quote
saaremaa Posted January 4, 2014 Posted January 4, 2014 Думаете не потянет она 50 юзеров онлайна? IMHO. Саму терминацию потянет, но не более. На нарезку скорости может и не хватить. Vlan управления тоже сегментируйте по возможности, но без фанатизма. :) Вставить ник Quote
Saab95 Posted January 4, 2014 Posted January 4, 2014 - до каждой АП пробрасывать влан от центрального маршрузитатора где будет жить несколько десятков pppoe серверов. Можно пробрасывать влан, можно EoIP туннель, но что бы не было пакетного оверхеда, не забудьте на всех каналах увеличить MTU вместо стандартных 1500 до более высоких значений. На центральной железке создаете PPPoE сервер для каждого интерфейса. - поднимать на каждой АП по экземпляру пппое сервера и маршрутизировать с каждой АП через OSPF выданный реальный ИП. Если так сделаете, то придется либо иметь единую базу логинов, либо авторизовывать по радиусу, поэтому это не самый верный вариант. - а не будет ли ospf колбасить, когда маршрут до конечных АП может достигать 3-6 хопов. Не будет, можно хоть 100 узлов сделать. - как построить ospf дерево через 6 хопов. пока освоил дерево через 1 хоп. Точно так же, как и через один - соединяете маршрутизаторы между собой уникальными подсетями, например /29. Они через себя и будут пакеты передавать. Микротик сам соединяется с другими роутерами автоматически, главное единую сеть в настройках Networks OSPF иметь. - не будет ли колбасить беспроводные линки от бродкаста, когда в одном линке может быть до 10 вланов с 10-50 юзерами в каждом. Там будет только трафик абонентов, мусора не много, т.к. на каждой базе нужно блокировать трафик между абонентами, что бы не занимали ресурс БС, и весь трафик кроме PPPoE. Основной мусор это ARP и различные запросы на получение адресов, все это успешно отфильтровывается. - а вообще как нормальные люди внедряют pppoe на сети ? Делают схему влан/EoIP туннель на базу. Главная цель внедрения pppoe - динамическая выдача реальных ИП абонентам. Вы можете выдавать их и без PPPoE через OSPF - создаете на всех роутерах или базах DHCP сервера, которые по радиусу завязаны с биллингом, на каждом роутере вешаете подсеть, например 90.80.70.1/24, при запросе от абонента биллинг выдает свободный адрес, и по телнету или SSH отправляет на базу статический маршрут вида 90.80.70.10/32 на интерфейс, куда только что был выдан адрес. Он сразу по OSPF разлетается по всей сети и трафик абонента пойдет куда нужно. Время аренды 5 минут, если за это время адрес не обновится, он удаляется и может быть использован для выдачи другому абоненту. основные сложности тут в своевременном добавлении и удалении маршрутов, поэтому схема более сложная в техническом плане, чем PPPoE. Вставить ник Quote
Yaten Posted January 4, 2014 Author Posted January 4, 2014 IMHO. Саму терминацию потянет, но не более. На нарезку скорости может и не хватить.Vlan управления тоже сегментируйте по возможности, но без фанатизма. :) А шейпер у меня живет на центральном маршрутизаторе. Проверено - сектор на 711 не тянет шейпер с 30 абонентами и 25Мбит трафика. по vlan - учтем. По радио не знай как будет, а по оптике живет около 500 девайсов в одном управляющем влане и не кашляют. Можно пробрасывать влан, можно EoIP туннель, но что бы не было пакетного оверхеда, не забудьте на всех каналах увеличить MTU вместо стандартных 1500 до более высоких значений. На центральной железке создаете PPPoE сервер для каждого интерфейса. Ок, давайте о нем поговорим. Имеем на ethernet значения MTU и L2MTU. MTU понятно, ставим 1524, а L2MTU чего за зверь? Если так сделаете, то придется либо иметь единую базу логинов, либо авторизовывать по радиусу, поэтому это не самый верный вариант. А есть варианты кроме радиуса? у меня биллинг понимает радиус и он уже работает. Собственно другого и не планировалось. Точно так же, как и через один - соединяете маршрутизаторы между собой уникальными подсетями, например /29. Они через себя и будут пакеты передавать. Микротик сам соединяется с другими роутерами автоматически, главное единую сеть в настройках Networks OSPF иметь. ок, попробуем. Там будет только трафик абонентов, мусора не много, т.к. на каждой базе нужно блокировать трафик между абонентами, что бы не занимали ресурс БС, и весь трафик кроме PPPoE. Основной мусор это ARP и различные запросы на получение адресов, все это успешно отфильтровывается. Ну в принципе да, порезать весь трафик кроме пппое. Делают схему влан/EoIP туннель на базу. А на базе то чем рулятся абоненты. Не юзер на влан ведь. Вы можете выдавать их и без PPPoE через OSPF - создаете на всех роутерах или базах DHCP сервера, которые по радиусу завязаны с биллингом, на каждом роутере вешаете подсеть, например 90.80.70.1/24, при запросе от абонента биллинг выдает свободный адрес, и по телнету или SSH отправляет на базу статический маршрут вида 90.80.70.10/32 на интерфейс, куда только что был выдан адрес. Он сразу по OSPF разлетается по всей сети и трафик абонента пойдет куда нужно. Время аренды 5 минут, если за это время адрес не обновится, он удаляется и может быть использован для выдачи другому абоненту. основные сложности тут в своевременном добавлении и удалении маршрутов, поэтому схема более сложная в техническом плане, чем PPPoE. Это пропритарное решение. Думаю, что в данном случае лучше не программить новые ошибки... p.s. пробросил eoip туннель в центральный маршрутизатор от сектора. поднял на секторе пппое, подружил его с радиусом. Настроил OSPF. Подключение есть, трафик бегает. Пинг с ключем -f показывает, что фрагментация начинается на длинне пакета 1453. На пппое профиле включен change mss до 1440. Запутался я с этим mtu. Чего тут с ним получилось? Вставить ник Quote
Saab95 Posted January 5, 2014 Posted January 5, 2014 Можно пробрасывать влан, можно EoIP туннель, но что бы не было пакетного оверхеда, не забудьте на всех каналах увеличить MTU вместо стандартных 1500 до более высоких значений. На центральной железке создаете PPPoE сервер для каждого интерфейса. Ок, давайте о нем поговорим. Имеем на ethernet значения MTU и L2MTU. MTU понятно, ставим 1524, а L2MTU чего за зверь? L2MTU это максимальный размер, который поддерживает интерфейс. p.s. пробросил eoip туннель в центральный маршрутизатор от сектора. поднял на секторе пппое, подружил его с радиусом. Настроил OSPF. Подключение есть, трафик бегает. Пинг с ключем -f показывает, что фрагментация начинается на длинне пакета 1453. На пппое профиле включен change mss до 1440. Запутался я с этим mtu. Чего тут с ним получилось? Если у вас PPPoE сервер на базе, тогда не нужен EoIP туннель, достаточно включить OSPF, что бы сервер в центре знал, куда отправлять пакеты с нужными адресами. Туннель или влан нужен тогда, когда база просто бриджует весь трафик в него и отправляет в центр. Вставить ник Quote
Yaten Posted January 11, 2014 Author Posted January 11, 2014 (edited) Запустили pppoe сервер. Авторизация на радиус expertbilling До каждого сектора прокинуты статические маршруты. До каждого сектора прокинут тунель eoip По eoip запустили ospf и все заработало!!! Приключений было много, многое пришлось вспомнить и пару раз был сломан мозг на самых простых операциях, но мы все победили!!! Инженеры были в ужасе, когда у них то 678 была, то 691, то роутеры не конектились по полчаса.... но когда систему отладили, мнение изменилось. Типа пппое быстрее и проще настраивается у абонентов. Edited January 11, 2014 by Yaten Вставить ник Quote
dsk Posted January 11, 2014 Posted January 11, 2014 Интересно, почему не сделали схему NAT 1-в-1 и не оставили по сути доступ как есть? Или на всех реальников не хватает? Вставить ник Quote
Yaten Posted January 11, 2014 Author Posted January 11, 2014 реальники сегодня нет, завтра есть, послезавтра нет. Вставить ник Quote
Saab95 Posted January 11, 2014 Posted January 11, 2014 До каждого сектора прокинуты статические маршруты. До каждого сектора прокинут тунель eoip По eoip запустили ospf А зачем через EoIP гонять OSPF, разве напрямую нельзя? Вставить ник Quote
Sonne Posted January 12, 2014 Posted January 12, 2014 Зачем IPoE? Saab - это твоя вина, люди включают и даже не понимают зачем. Вставить ник Quote
Yaten Posted January 13, 2014 Author Posted January 13, 2014 это вы про какой такой ipoe? Вставить ник Quote
Saab95 Posted January 13, 2014 Posted January 13, 2014 это вы про какой такой ipoe? Имелось в виду EoIP, который не требуется создавать для работы OSPF. Этот туннель делают уже поверх сети, что бы трафик L2 передавать. Для работы OSPF достаточно вообще одной команды: /routing ospf network add area=backbone network=0.0.0.0/0 После чего просто указываете подсети на интерфейсах без указания маршрутов и роутеры сами все сделают. Вставить ник Quote
Yaten Posted January 14, 2014 Author Posted January 14, 2014 http://ru.wikipedia.org/wiki/OSPF#.D0.9E.D0.BF.D0.B8.D1.81.D0.B0.D0.BD.D0.B8.D0.B5_.D1.80.D0.B0.D0.B1.D0.BE.D1.82.D1.8B_.D0.BF.D1.80.D0.BE.D1.82.D0.BE.D0.BA.D0.BE.D0.BB.D0.B0 Типы сетей, поддерживаемые протоколом OSPF Широковещательные сети со множественным доступом (Ethernet, Token Ring) Точка-точка (T1, E1, коммутируемый доступ) Нешироковещательные сети со множественным доступом (NBMA) (Frame relay) Так, что L2 как раз тут нужен. Вставить ник Quote
Saab95 Posted January 14, 2014 Posted January 14, 2014 http://ru.wikipedia.....BE.D0.BB.D0.B0 Типы сетей, поддерживаемые протоколом OSPF Широковещательные сети со множественным доступом (Ethernet, Token Ring) Точка-точка (T1, E1, коммутируемый доступ) Нешироковещательные сети со множественным доступом (NBMA) (Frame relay) Так, что L2 как раз тут нужен. А связь между устройствами по ethernet или wireless не является подходящей средой передачи? К слову у меня EoIP не используется для транспорта OSPF - только для передачи L2 абонентского трафика. Вставить ник Quote
Yaten Posted January 14, 2014 Author Posted January 14, 2014 связь между устройствами p2p. не wds Вставить ник Quote
Saab95 Posted January 14, 2014 Posted January 14, 2014 связь между устройствами p2p. не wds Тоже не имеет значения, OSPF умеет ptp и ptmp связи, например по ppp туннелям. Вставить ник Quote
Yaten Posted January 15, 2014 Author Posted January 15, 2014 ptmp не умеет без широковещания Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.