[survivor]

Доброго времени суток!

 

Задался я задачей перевести все наше добро (несколько тыщ онлайн юзеров) с PPPoE на IPoE. Вводные данные: терминировать все на циско. Если делать на серваках - многие вопросы отпадают, поэтому давайте не отвлекаться от темы. Итак IPoE и cisco.

 

Вопросов сразу много. :-) Перво-наперво я решил начать с биллинга, так как я им ОЧЕНЬ доволен и менять не собираюсь - надо понять, что мне доступно. Оказалось, что мне доступны события: доступ разрешен, доступ запрещен, договор удален и на эти события я могу выполнять нужные мне команды на цисках. Например могу править acl и сделать route в null и зашатдаунить интерфейс. Хорошо. Доступные параметры: ip клиента и влан. Более чем достаточно, поэтому биллинг давайте не обсуждать, я даже его название не привожу.

 

Итак. Собрал тестовую схему. Пока говорим о статических IP чтобы немного упростить разговор. DHCP opt82 там поддерживается, так что это я потом докручу. Сейчас речь о другом.

 

На схеме все работает :-) Теперь нужно это дело масштабировать. Главный проблема - rate лимиты. Если сделать vlan на район (как у меня сейчас), то в одном саб интерфейсе будет затерминировано несколько десятков или сотня клиентов. Значит общий rate лимит не посадишь. Нужны rate лимиты по acl. Но это очень громоздко - из биллинга я должен искать первый свободный номерной acl, прописывать туда адрес клиента, затем на сабинтерфейсе района делать rate-limit access-group, затем все это проверять и удалять. А если все терминировать на одном брасе, при нескольких тысячах онлайн юзеров - acl'ов не хватит. Так, что тупик.

 

Отсюда приходим к vlan на пользователя. Эта архитектура мне итак интересна и предпочтительна по многим другим параметрам. Кроме того - для каждого пользователя на брасе отдельный сабинтерфейс, на который я просто могу из билинга сажать rate limit. А сабинтерфейс могу найти из биллинга по номеру влана. СУПЕР!

 

Но... во первых у меня на всех транзитных свичах закончатся вланы раньше чем я доведу клиентские вланы до браса. А брас у меня один в центре (так дешевле). Но с этой проблемой я уже научился бороться - у меня от точек присутствия идет QinQ который разворачивается только в центре.

 

Итак, я в центре имею несколько тысяч вланов и брас. Брас к слову я еще не купил :-) сейчас все терминирую на пачке 2811 цисок. Планирую приобрести asr1002, куда все и перенесу.

Если сделаю влан на пользователя - свичи в центре не потянут такое количество вланов. Значит нужно заводить qinq сразу на брас и разворачивать там. Примерно как QinQPPPoE (http://www.cisco.com/en/US/docs/ios/12_3t/12_3t7/feature/guide/gt_qinq.html). Но в таком случае я не получу на брасе по отдельному интерфейсу на абонента!

или же можно сделать так:

 

interface Gig0/0.100

description district-100-user-1

encapsulation dot1q 100 second-dot1q 1

 

interface Gig0/0.100

description district-100-user-2

encapsulation dot1q 100 second-dot1q 2

 

asr1002 такое съест? Я вообще плохо знаком с asr и может чего-то не знаю, поэтому буду рад советам :)

 

Итак, подытожу - для внедрения IPoE и интеграции его с биллингом мне нужно иметь отдельный интерфейс на брасе на каждого пользователя. Но при этом до браса по сети должно ходить гораздо меньшее число вланов.

Или же нужен какой-то способ ограничения скорости для конкретного IP на интерфейсе, к которому подключено много абонентов, но способ этот должен быть легко алгоритмизирован.

 

Помогите советом, пожалуйста. Спасибо заранее!

Изменено 8 февраля, 2011 пользователем survivor

[Картуччо]

ASR1002-1(config)#interface GigabitEthernet0/0/0.100

ASR1002-1(config-subif)#encapsulation dot1Q 100 ?

native Make this as native vlan

second-dot1q Configure this subinterface as a 1Q-in-1Q subinterface

<cr>

ASR1002-1(config-subif)#encapsulation dot1Q 100 second-dot1q ?

WORD Second (inner) VLAN IDs e.g. 100,200-300,400,500-600

any All Inner VLAN IDs not configured on another subinterface

ASR1002-1(config-subif)#encapsulation dot1Q 100 second-dot1q 1

 

ASR1002-1#sh run int gi0/0/0.100

interface GigabitEthernet0/0/0.100

encapsulation dot1Q 100 second-dot1q 1

end

 

[melmaxnvk]

Присоединяюсь к вопросу.

 

Сейчас также рассматриваю вариант перехода c PPPoE на IPoE.

Возникло 2 главных вопроса:

 

1) Как массово шейпить пользователей на циске? в данный момент стоит 7201, очень малая часть клиентов(большие юр. лица) работают через IPoE, шейпинг с помощью policy-map. Планируем брать asr-1002.

 

2) Как настраивать Vlan на пользователя? Планирую терминировать вланы на распределении с помощью L3 (возможно catalyst3750 с 10G uplink в ядро).

если руками - очень долго получится:прописать vlan на распределении, прописать vlan на доступе, acl для разрешения только одного ip в этом vlan.

[andryas]

Озабочен той же проблемой, но у меня ещё и дешевый доступ, т.е свитчи не умеют ни ACL ни opt82.

Пока вижу 2 решения

 

1. Нумеровать vlan'ы индивидуално для каждого пользователя, от 2 до 1000, следующую тысячу на следующий BRAS.

Из минусов - требуется постоянно дёргать свич, с каждым подключением заводя новый vlan, кроме того обязателен backup всех конфигов.

Из плюсов - всё красиво и просто терминируется.

 

2. Настраивать все свичи одинаково, условно говоря на всех 2 порт 2 vlan, 3 - 3, ... 48 - 48. Далее на аггрегации всё туннелировать QinQ и разбирать на bras.

Из плюсов - свитчи не надо бекапить, все настройки типичы.

Из минусов - не совсем понятно, как получить отдельный интерфейс на каждого пользователя на BRAS'е и как в таком случае настроить DHCP.

[melmaxnvk]

У меня с доступом тоже проблемы: половина умеет acl и opt 82, другая половина, соответственно - нет.

Рассматриваю те же варианты + замену тупых на умные.

 

К минусам второго варианта можно отнести, что локальный трафик в пределах одного уровня агрегации дойдет до BRAS, что не есть гуд.

Пока что не понимаю смысла в QinQ.

 

Можно, как я предложил выше, на агрегации поставить железку для терминации Vlan + DHCP opt 82+ACL и делать настройки на всех свичах одинаково (номер порта=номеру влана). Если верить http://forum.nag.ru/forum/index.php?showtopic=17328, если на агрегацию ставить cisco, то она будет в opt82 передавать и номер интерфейса (можно однозначно определить дом) и номер влана (а тут уже определяем пользователя).

 

[terrible]

1) если у вас влан на свич - то не вопрос номер порта = номер влана.

Стоит 3526, на нём закончились порты, вы ставите, допустим, 3552 вместо него, опять всё ок: номер порта = номер влана

А если нужен 3-й свич в этот влан, то что будете делать? имхо изначально ущербная политика назначения вланов

 

2) asr купили, вланы на него завел биллинг, всё круто. И вдруг, на ИБП сдыхает предохранитель таким образом, что нахер убивает БП на asr. Ваши действия? Второй asr - дорого.

 

3) Зачем нужен ACL, если схема vlan на пользователя? Я просто не совсем понял его смысл в этой схеме.

[darkagent]

2) asr купили, вланы на него завел биллинг, всё круто. И вдруг, на ИБП сдыхает предохранитель таким образом, что нахер убивает БП на asr. Ваши действия? Второй asr - дорого.

тем интересней вариант с шасси - второй БП никто не отменял ;)

 

[andryas]

Я не согласен с мнением, что, в общем случае, 1 модный BRAS лучше 5-ти подуставших. По стоимости в варианте с 5-ю ещё и резервных парочку на склад можно бросить. Ну и критический отказ единственного не станет армагедоном, 4/5 пользователей ничего и не заметят.

[azakharov]

Коллеги, приветствую.

 

Варианты перехода к VLAN на пользователя описывали тут

http://www.nag.ru/articles/article/16999/v...lternativy.html

 

Более чем за год, прошедший с публикации накопился опыт миграции городских провайдерских сетей с PPPoE/PPTP на IPoE, т.к. многие читатели обращались за советом и советы перерастали в реальные проекты.

 

Опишу простыми словами встречающиеся ситуации:

 

1. используются управляемые коммутаторы доступа, но без поддержки операторских функций (Opt82, PrivateVLAN и пр.)

когда покупали железо не обратили внимание/забыли/пропустили/недопоняли/взяли со склада по выгодной цене (вариант подчеркнуть)

при этом провайдер очень хочет их оставить, т.к. неслабо вложился в покупку и железо чаще всего свежее

задача решаемая, но трудоемкая, т.к. требуется вникнуть в существующую схему, аккуратно перенастроить и мигрировать абонентов, усиленно работать техподдержке, т.к. необходимо сменить настройки абонентских компьютеров и роутеров. без заранее разработанного и четко продуманного плана миграции можно потерять на переходе долю абонентов, особенно если конкуренция высокая а лояльность так себе.

 

2. используются управляемые коммутаторы с поддержкой операторских функций

железо бралось целенаправленно для IPoE, просто нехватало времени на перенастройку, т.к. имеющиеся linux/bsd-сервера, терминирующие PPPoE до поры до времени справлялись.

стимулом перехода на IPoE тут является проблема роста, желание использовать аппаратные решения, приносящие меньше головной боли, желание значительно быстрее выполнять подключения абонентов по принципу "интернет из розетки" и меньше тратить времени тех.поддержки на объяснение как домохозяйке настроить VPN-туннель.

 

3. используются частично управляемые, частично не управляемые коммутаторы доступа, причем полный зоопарк, как это все соединено и работает знал только один человек, который уволился и/или уехал в другой город

частота обращений абонентов стремится к бесконечности, качество услуг к нулю. нехватает времени подключать новых абонентов, т.к. постоянно латаются дыры. для продолжения провайдерской деятельности выход только один - тотальная модернизация.

 

Универсального решения по переходу на IPoE для уже работающей сети не существует, честно скажу, что проще и быстрее строить новую сеть, чем крестить ужей с ежами, поэтому требуется индивидуальная выработка решения.

 

Пожалуй, основные рекомендации тем, кто решил заняться переходом на IPoE:

1. Три раза подумайте, для чего вам это надо, четко осознайте какого результата и эффекта хотите достичь.

2. Не стройте новую архитектуру вашей сети на проприетарных функциях производителей, это большой риск, используйте стандарты, поддерживаемые разным железом.

3. Помните о масштабировании и ограничениях оборудования с его программным обеспечением, внимательно читайте документацию.

 

В нескольких словах рецепт по переходу на IPoE для сети в 1-4 тыс. абонентов:

- разбейте сеть на сегменты до 1000 абонентских портов

- каждый абонентский порт поместите в свой VLAN

- на каждый сегмент установите L3-коммутатор, на котором будете терминировать абонентские VLAN'ы

- L3-коммутаторы объедините в кольцо, а лучше сделайте mesh

- в центре поставьте железный IPoE BRAS одного из известных производителей

- самое трудоемкое - настройте связку биллинг и IPoE BRAS, чтобы политики по разрешению доступа и назначению скорости применялись автоматически в соответствии с тарифом.

- настройте DHCP-сервер и Opt82 на L3-коммутаторах для раздачи абонентских IP-адресов

- решите что делать с юр.лицами и их VLAN'ами, если таковые у вас имеются. как правило юр.лица приносят более существенный доход чем физ.лица и не терпят простоя, заранее предупредите их о переходе

- постепенно переводите коммутаторы доступа на новую схему, некоторое время будут жить две сети, пока всех не переведете.

- купите путевку на отдых, т.к. затраченные усилия, ресурсы и нервные клетки будут существенны, но оно того стоит.

 

 

Конкретные вопросы и задачи по миграции на IPoE готов обсуждать в личной переписке, т.к. повторюсь, что универсальных решений не существует. Кому тема действительно актуальна присылайте контакты и описание текущей ситуации, будем прорабатывать.

 

--

С уважением,

Андрей Захаров

team@metroethernet.ru

Изменено 8 февраля, 2011 пользователем azakharov

[melmaxnvk]

1) если у вас влан на свич - то не вопрос номер порта = номер влана.

Стоит 3526, на нём закончились порты, вы ставите, допустим, 3552 вместо него, опять всё ок: номер порта = номер влана

А если нужен 3-й свич в этот влан, то что будете делать? имхо изначально ущербная политика назначения вланов

 

2) asr купили, вланы на него завел биллинг, всё круто. И вдруг, на ИБП сдыхает предохранитель таким образом, что нахер убивает БП на asr. Ваши действия? Второй asr - дорого.

 

3) Зачем нужен ACL, если схема vlan на пользователя? Я просто не совсем понял его смысл в этой схеме.

1) Не влан на свич, а влан на пользователя. Номер порта=номер влана это на доступе.

 

3) В моей схеме потребуется. Т.к. чтобы упростить настройку доступа - все коммутаторы доступа имеют номер порта=номер влана. Соответственно на агрегации будет, что в одном влане сидит число клиентов равное кол-во коммутаторов доступа. Чтобы эти клиенты, сидящие в одном влане не пи$%ли ip друг друга - надо навешивать ACL.

[survivor]

ASR1002-1(config)#interface GigabitEthernet0/0/0.100

ASR1002-1(config-subif)#encapsulation dot1Q 100 ?

native Make this as native vlan

second-dot1q Configure this subinterface as a 1Q-in-1Q subinterface

<cr>

ASR1002-1(config-subif)#encapsulation dot1Q 100 second-dot1q ?

WORD Second (inner) VLAN IDs e.g. 100,200-300,400,500-600

any All Inner VLAN IDs not configured on another subinterface

ASR1002-1(config-subif)#encapsulation dot1Q 100 second-dot1q 1

 

ASR1002-1#sh run int gi0/0/0.100

interface GigabitEthernet0/0/0.100

encapsulation dot1Q 100 second-dot1q 1

end

 

Большое спасибо! Значит пробросив клиентские вланы на брас внутри qinq - я все равно смогу получить на нем по интерфейсу на пользователя! Только во сколько интерфейсов позволит мне создать asr? Мне-то надо несколько тысяч! :) Как думаете?

[survivor]

В моем случае - влан на пользователя (при нумерации - номер порта=номер влана) инкапсулируется в qinq и получается влан на свич, этот влан доходит до браса и там разворачивается. Получается интерфейс на пользователя - из биллинга гораздо удобнее работать с отдельным интерфейсом (те же rate-limit'ы например). Из плюсов - по сети транзитом ходит малое количество вланов, простая конфигурация свичей (номер порта=номер влана, причем масштабировать при смене свича на более многопортовый - удобно), все вланы от всех абонентов доступны в одном месте - значит можно поставить один брас (мы уже выясняли что один asr дешевле чем стопка 7200 тянущая такое же количество абонентов: http://forum.nag.ru/forum/index.php?showtopic=63809)

Изменено 9 февраля, 2011 пользователем survivor

[Картуччо]

Только во сколько интерфейсов позволит мне создать asr? Мне-то надо несколько тысяч! :) Как думаете?

Вот такое нашлось:

You can configure no more than 8100 802.1Q VLAN subinterfaces per Ethernet SPA in software releases prior to Cisco IOS XE Release 2.5. Beginning in Cisco IOS XE Release 2.5, you can use the hw-module subslot ethernet vlan unlimited command to increase the system default and enable support for configuration of up to 4094 dot1q VLANs per port per SPA. The default is 8100 VLANs.

[survivor]

Только во сколько интерфейсов позволит мне создать asr? Мне-то надо несколько тысяч! :) Как думаете?

Вот такое нашлось:

You can configure no more than 8100 802.1Q VLAN subinterfaces per Ethernet SPA in software releases prior to Cisco IOS XE Release 2.5. Beginning in Cisco IOS XE Release 2.5, you can use the hw-module subslot ethernet vlan unlimited command to increase the system default and enable support for configuration of up to 4094 dot1q VLANs per port per SPA. The default is 8100 VLANs.

КЛАСС! Спасибо!

[survivor]

А как быть с адресным пространством?

 

Итак у меня 4000 интерфейсов формата:

 

interface GigabitEthernet0/0/0.100
encapsulation dot1Q 100 second-dot1q 1
description switch-100-customer-1
rate-limit input 1024000 192000 384000 conform-action transmit exceed-action drop
rate-limit output 1024000 192000 384000 conform-action transmit exceed-action drop
ip helper-address 10.100.1.67
ip wccp web-cache redirect
no ip proxy-arp
no ip redirects

 

на dhcp сервере я раздаю, например (на самом деле я раздаю белые адреса):

сетку: 10.200.0.0/16,

gateway: 10.200.0.1

dns: ...

 

Возникает вопрос - что прописать в ip address на interface GigabitEthernet0/0/0.100 и где будет 10.200.0.1?

Может так?

interface Loopback0
ip address 10.200.0.1 255.255.255.255

interface GigabitEthernet0/0/0.100 
ip unnumbered Loopback0

 

Только вот на 3660 циске (для примера) такое не катит:

R1_3600(config)#int fastEthernet 0/0.24
R1_3600(config-subif)#ip unnumbered loopback 0
Point-to-point (non-multi-access) interfaces only

 

 

На каталистах можно так:

использование IP unnumbered в cisco catalyst

А на asr как?

[Картуччо]

interface GigabitEthernet0/0/0.100

encapsulation dot1Q 100 second-dot1q 1

ip unnumbered Loopback0

end

 

 

А вот rate-limit на сабинтерфейсе не получится прикрутить.

Я делал через service-policy.

[survivor]

interface GigabitEthernet0/0/0.100

encapsulation dot1Q 100 second-dot1q 1

ip unnumbered Loopback0

end

 

 

А вот rate-limit на сабинтерфейсе не получится прикрутить.

Я делал через service-policy.

Ёжкин кот! Ради этого ж все и затевалось.... А вот так можно?

policy-map 1024
  class class-default
   police 1024000

interface GigabitEthernet0/0/0.100
service-policy input 1024
service-policy output 1024

 

 

[Картуччо]

Можно.

[survivor]

interface GigabitEthernet0/0/0.100

encapsulation dot1Q 100 second-dot1q 1

ip unnumbered Loopback0

end

тут есть нюанс... Если:

interface Loopback0
ip address 10.200.0.1 255.255.0.0

interface GigabitEthernet0/0/0.100
encapsulation dot1Q 100 second-dot1q 1
ip unnumbered Loopback0
ip helper-address ...
end

interface GigabitEthernet0/0/0.100
encapsulation dot1Q 100 second-dot1q 2
ip unnumbered Loopback0
ip helper-address ...
end

interface GigabitEthernet0/0/0.100
encapsulation dot1Q 100 second-dot1q 3
ip unnumbered Loopback0
ip helper-address ...
end

 

Как роутер узнает на каком из интерфейсов находится, скажем, адрес 10.200.0.50, который клиент получил по DHCP?

В примере ip unnumbered на cisco catalyst делают так:

ip route адрес 255.255.255.255 интерфейс

Но этот вариант хорош только для статики...

Изменено 9 февраля, 2011 пользователем survivor

[survivor]

можно конечно сделать отдельный loopback для каждого интерфейса и сделать отдельный пул адресов в DHCP, но...

Изменено 9 февраля, 2011 пользователем survivor

[darkagent]

Как роутер узнает на каком из интерфейсов находится, скажем, адрес 10.200.0.50, который клиент получил по DHCP?

В примере ip unnumbered на cisco catalyst делают так:

ip route адрес 255.255.255.255 интерфейс

Но этот вариант хорош только для статики...

ip route IP MASK dhcp м?

 

 

The DHCP—Statically Configured Routes Using a DHCP Gateway feature enables the configuration of static routes that point to an assigned DHCP next-hop router (provided by DHCP option 3). The static routes are active only when the DHCP server provides the next-hop IP address. The routes remain in the routing table until the DHCP lease expires at which time the routes are removed.

 

The benefit of this feature is that it eliminates the need to configure static routes to an outside interface and the configuration of a next-hop router.

http://www.cisco.com/en/US/docs/ios/12_3t/...e/gtddgtwy.html

Изменено 9 февраля, 2011 пользователем darkagent

[survivor]

Как роутер узнает на каком из интерфейсов находится, скажем, адрес 10.200.0.50, который клиент получил по DHCP?

В примере ip unnumbered на cisco catalyst делают так:

ip route адрес 255.255.255.255 интерфейс

Но этот вариант хорош только для статики...

ip route IP MASK dhcp м?

 

 

The DHCP—Statically Configured Routes Using a DHCP Gateway feature enables the configuration of static routes that point to an assigned DHCP next-hop router (provided by DHCP option 3). The static routes are active only when the DHCP server provides the next-hop IP address. The routes remain in the routing table until the DHCP lease expires at which time the routes are removed.

 

The benefit of this feature is that it eliminates the need to configure static routes to an outside interface and the configuration of a next-hop router.

http://www.cisco.com/en/US/docs/ios/12_3t/...e/gtddgtwy.html

Спасибо!

[D^2]

Большое спасибо! Значит пробросив клиентские вланы на брас внутри qinq - я все равно смогу получить на нем по интерфейсу на пользователя! Только во сколько интерфейсов позволит мне создать asr? Мне-то надо несколько тысяч! :) Как думаете?

можно без проблем несколько тысяч завести на ericsson (redback) smartedge

 

!

interface clips multibind

ip address 10.193.0.1/16

dhcp server interface

!

port ethernet 2/1

no shutdown

medium-type copper

encapsulation dot1q

dot1q tunnel ethertype 9100

dot1q pvc 45 encapsulation 1qtunnel

dot1q pvc 45:500

bind interface vlan45:500 local

service clips dhcp maximum 1 context dhcp

dot1q pvc 45:501

bind interface vlan45:501 local

service clips dhcp maximum 1 context dhcp

!

 

можно даже сделать гибридный вариант, если у вас сейчас статика.

т.е. будут работать и юзеры со статикой. когда будете переводить их на DHCP - они будут работать с тем же конфигом и через DHCP. причем их, получивших адрес через DHCP, можно вынести в отдальный виртуальный маршрутизатор

[Картуччо]

ASR очень довольны, стоял 7206/G2 с ЦПУ большую часть суток за 80%, ASR ту же самую нагрузку тянет с ЦПУ ровной линией на 3%.

[melmaxnvk]

ASR очень довольны, стоял 7206/G2 с ЦПУ большую часть суток за 80%, ASR ту же самую нагрузку тянет с ЦПУ ровной линией на 3%.

А какая конфигурация у ASR?