Как сделать правильный IPoE?

[uk2558]

Добрый вечер. Имею IPoE следующего вида на 5к абонентов :

1. Vlan-per-user

2. vlan терминируется на Cisco 3750g с ip unnumbered

3. Cisco 3750 g релеет dhcp с opt 82 (номер vlan) на отдельный сервер с isg-dhcp, который выдает ip /32 из сети в соответствии с тарифом

4. Абонентский трафик между собой и ix соответственно на скорости порта, так как не выходит за пределы Cisco 3750g

5. Куча Cisco 3750 g между собой в кольце через ospf

6. Интернет идет через shaper сервер, которые нарезает скорость в соответствии с сеткой

7. Биллинг генирирует конфиги для dhcp сервера

Вроде все работает, но есть моменты , которые реально напрягают:

1. Cisco 3750g иногда рандомно перестает релеить запросы dhcp. Помогает только перезагрузка.

2. Isg-dhcp рандомно перестает выдавать ip с ошибкой no free leases , хотя по факту у клиенты аренда истекла , на Cisco bind нет, лечится. .. А ничем не лечится , через рандомное время начинает выдавать ip

3. Раз ip выдается /32 , то у шлюза по умолчанию соответственно ip в другой сети (ip loop back на Cisco) - многие soho роутеры не работают с такой конструкцией.

Соответственно , очень сложно объяснить абоненту, почему его роутер не работает в нашей сети и ему необходимо приобрести другой.

 

Как мне избавиться от этих 3 проблем на текущем оборудовании (Cisco 3750g, isg-dhcp сервер, shaper сервер) ?

Edited August 30, 2014 by uk2558

[DVM-Avgoor]

Как мне избавиться от этих 3 проблем на текущем оборудовании (Cisco 3750g, isg-dhcp сервер, shaper сервер) ?

 

 

Начать читать книжки про IPoE BRAS. Там придет понимание что надо или купить нормальный BRAS (который реально шейпит, сессии создает, ипы выдает), или сделать его из того что есть (писюк с софтом бета-версии), или хотя бы использовать текущий костыль ip unnumbered но на более мощных железках (4948/6500). Не выдавать клиенту /32, ибо это глупость, из каких доков вы это вычитали?

В общем-то критерий лишь один: реальное соотношение бабло/время/лейкопластырь. Это константа, конечно же, т.е. уменьшение одного свойства увеличивает другие. Потратьте немного времени - почитайте хотя бы тот же Day One Juniper на тему BRAS на MX. Там много прикладной инфы, хоть и вендор-специфик инфы еще больше.

[uk2558]

Книжки читать будем, /32 выдается для экономии адресного пространства. Смотрю , конечно, в сторону нормального bras, но с финансами туговато, федералы демпингуют, а тут еще новый сорм.

[Antares]

Вы выдаёте белые IP адреса???

[DVM-Avgoor]

Книжки читать будем, /32 выдается для экономии адресного пространства. Смотрю , конечно, в сторону нормального bras, но с финансами туговато, федералы демпингуют, а тут еще новый сорм.

 

Вот вы теорию зря пропустили. Когда говорят /32 на клиента при vlan-per-user, имеется ввиду, что у вас оно на оборудовании заводится роутом /32 на нужный влан-интерфейс.

Выдавать клиенту надо /24-23-22. А если очень хочется чтобы между пользователями трафик ходил включаем еще ip local-proxy-arp. Но локал-прокси-арп это палка о двух концах, он дает неплохую нагрузку на цпу. Поэтому "агрегатор вланов" должен быть с нормальным цпу. Ну а косяки 3750... Кто знает, может другим иосом лечатся. На 65 и 49 таких проблем я не встречал.

[uk2558]

Вы выдаёте белые IP адреса???

Да

 

Книжки читать будем, /32 выдается для экономии адресного пространства. Смотрю , конечно, в сторону нормального bras, но с финансами туговато, федералы демпингуют, а тут еще новый сорм.

 

 

Вот вы теорию зря пропустили. Когда говорят /32 на клиента при vlan-per-user, имеется ввиду, что у вас оно на оборудовании заводится роутом /32 на нужный влан-интерфейс.

Выдавать клиенту надо /24-23-22. А если очень хочется чтобы между пользователями трафик ходил включаем еще ip local-proxy-arp. Но локал-прокси-арп это палка о двух концах, он дает неплохую нагрузку на цпу. Поэтому "агрегатор вланов" должен быть с нормальным цпу. Ну а косяки 3750... Кто знает, может другим иосом лечатся. На 65 и 49 таких проблем я не встречал.

Когда появляется bind на Cisco , соответственно появляется роут на интерфейс. Пробовал /24 выдавать с local proxy arp - да, действительно проц ложился, начинались дропы на всех интерфейсах. В ходе тестов выяснилось, что глюк с релеем не зависит от версии ios.

Edited August 30, 2014 by uk2558

[DVM-Avgoor]

Когда появляется bind на Cisco , соответственно появляется роут на интерфейс.

Ну я знаю, у самого в обслуживании сетка на 65ых.

 

Пробовал /24 выдавать с local proxy arp - да, действительно проц ложился, начинались дропы на всех интерфейсах.

 

Дропы? Ну значит что-то не так сделали, арп хоть и программный но Л3 форвардинг все же там железный.

 

В ходе тестов выяснилось, что глюк с релеем не зависит от версии ios.

 

Да просто 3750 надо в топку. :)

 

ПС. /32 у клиента - это тупиковый путь. Я знаю одного очень крупного провайдера, который этим путем пошел и, вероятно из-за не желания признавать собственные ошибки, теперь имеет кучу мелких пулов "для тех у кого не заводится /32". А еще содержит жирнющую техподдержку, потому что звонят, звонят же постоянно с роутерами :) /32 пришло от классических брасов с PPPOE/PPTP/etc, ВПНу перпендикулярно на шлюзы, он p2p. В IPoE это невозможно, оно работает вопреки принципам маршрутизации сетей. Ну т.е. оно где-то работает а где-то нет.

[uk2558]

Просто так сложилось, что когда то нам за долги отдали пачку Cisco 3750g, вот и начали на них строить . Для проблемных клиентов с "неправильными" роутерами держим PPPoE. /32 так как ipv4 очень мало, а с NAT возиться не хочется. DVM-Avgoor, я понял вашу мысль, спасибо. Я примерно так и думал , что нужно уходить на нормальный bras и большие маски, но на bras денег не дадут. Попробую наскребсти на 4948-s.

[DVM-Avgoor]

/32 у клиента ничем ничего нигде не экономит. У вас же на лупбэке сетка вполне определенная висит, с вполне определенной маской. Вот ее и выдавали бы. Можно прокси-арп не включать, тогда цпу будет в порядке. Ну не будет между клиентами связи, переживут, не? :)

 

Берите лучше 65ый, суп32 сейчас копейки стоит, как и линейные карты древнего образца. А если уж 4948, то 10Г версию, в ней цпу приличнее.

 

ну и это...

но на bras денег не дадут. Попробую наскребсти на 4948-s.

 

С таким подходом лучше уж писюки, или закрыть бизнес нафиг. Если нет денег даже на копеечный брас за 200 тысяч, то лучше уж не мучиться вообще.

[uk2558]

На loopback серый адрес, 3 года назад, имея 1.5 к абонентов , мы зарабатывали в 2-3 раза больше, чем сейчас, имея 5к.

[DVM-Avgoor]

На loopback серый адрес, 3 года назад, имея 1.5 к абонентов , мы зарабатывали в 2-3 раза больше, чем сейчас, имея 5к.

 

Ох-ёх... Ну ладно, серый так серый.

Да мы тоже раньше зарабатывали больше, такова жизнь, инет в России ничего не приносит если у тебя доля рынка не 50+ процентов.

[dmvy]

считаю нужно отойти от схемы: "выделю ip-адрес из подсети для тарифа 5мбит". выделяйте конкренто сети на каждую цыску и выдавайте белые адреса, но с маской /24+-

А на шейпер нужно динамически подавать команды по ограничению скорости для каждого ip или раз в 5 минут перечитывать конфиг.

[uk2558]

считаю нужно отойти от схемы: "выделю ip-адрес из подсети для тарифа 5мбит". выделяйте конкренто сети на каждую цыску и выдавайте белые адреса, но с маской /24+-

А на шейпер нужно динамически подавать команды по ограничению скорости для каждого ip или раз в 5 минут перечитывать конфиг.

Спасибо за идею, подумаю и в эту сторону, но это не избавляет от проблемы локального трафика в разрезе vlan-per-user, если только vlan per switch ...

Edited September 1, 2014 by uk2558

[dmvy]

cisco 3550G-12 с 6000 абонентами легко делал proxy arp. 3750 и подавно должен справиться. проблема не в этом.

[VVSina]

бабло/время/лейкопластырь

 

потратив пол года времени и немного пластыря свёл затараты к покупке 1 тазика с1100 с парой L5520

в итоге: bras - модуль ядра

разбор QinQ без создания интерфейсов

сессии, проварка соответствия мак-влан-ip

встроенный dhcp сервер

динамически обновляемый конфиг

динамические маршруты

+ куча задумок на сей счёт.

 

в конфиге висит куча /26 - наследие от прежних времён

меж абонентский трафик бегает номально

проблем с дешманскими роутерами только одни - часто виснут, часто дохнут

 

итог сей басни таков - аксиома полностью подтверждена

[dmvy]

бабло/время/лейкопластырь

 

потратив пол года времени и немного пластыря свёл затараты к покупке 1 тазика с1100 с парой L5520

в итоге: bras - модуль ядра

разбор QinQ без создания интерфейсов

сессии, проварка соответствия мак-влан-ip

встроенный dhcp сервер

динамически обновляемый конфиг

динамические маршруты

+ куча задумок на сей счёт.

 

в конфиге висит куча /26 - наследие от прежних времён

меж абонентский трафик бегает номально

проблем с дешманскими роутерами только одни - часто виснут, часто дохнут

 

итог сей басни таков - аксиома полностью подтверждена

на qinq можно по подробнее? или ссылку.

[DVM-Avgoor]

cisco 3550G-12 с 6000 абонентами легко делал proxy arp. 3750 и подавно должен справиться. проблема не в этом.

 

Воу. Да он больше 500 SVI то не прожует, по крайней мере в минимальном конфиге раньше память заканчивается. Тем более что больше 4к SVI быть в принципе там не может.

 

итог сей басни таков - аксиома полностью подтверждена

 

пока тазик не стал зависать или умирать под ДДОСом, живется весело и беззаботно :)

[Butch3r]

Воу. Да он больше 500 SVI то не прожует, по крайней мере в минимальном конфиге раньше память заканчивается. Тем более что больше 4к SVI быть в принципе там не может.

Я вот тоже чёто не понял как на 3550 подняли 6к интерфейсов :)

[terrible]

6к абонентов не значит 6к svi, теоретически возможно

[Butch3r]

6к абонентов не значит 6к svi, теоретически возможно

топстартер имеет схему vlan-per-user

[DVM-Avgoor]

6к абонентов не значит 6к svi, теоретически возможно

 

 

Дак в том и смысл. Это все равно что сказать у меня 3550-12 в качестве бордера тащил 10к клиентов и 4г трафика при конском ппс, но при этом любой понимает что эти цифры не имеют никакого значения для оценки 3550-12 в качестве бордера. Он железный, ему пофиг на ппс - он лайнрейт полностью. А вот уточнить что было 5-6 SVI и конечно же fullview никакого в помине не было - уже что-то полезное. А для ip unnumbered целей как раз самые полезные цифры это кол-во SVI, включен ли local-proxy-arp, загрузка ЦПУ/памяти в такой конфигурации, сколько жрет ARP Input... Вот это уже инфа, а не то что "он тянет ХХХХ пользователей".

[dmvy]

количество SVI было порядка 40. при этом изоляцию портов делали на распределении/доступе. около 100 белых подсетей, local-proxy-arp, чтобы абоненты могли общаться. на системе было до 6000 ARP-записей одновременно и более 6Гбит по портам суммарно на прием. Средняя загрузка CPU не превышала 20%.

 

Так что в схеме vlan на коммутатор и изоляция портов 3550 потянет.

[Дятел]

cisco 3550G-12 с 6000 абонентами легко делал proxy arp. 3750 и подавно должен справиться. проблема не в этом.

Воу. Да он больше 500 SVI то не прожует, по крайней мере в минимальном конфиге раньше память заканчивается. Тем более что больше 4к SVI быть в принципе там не может.

3550 терминит 3 сетки /24, дальше действительно проблемы с памятью для конфига.

3560/3750 - честно все 1000 вланов...

[rdc]

Раз ip выдается /32, то у шлюза по умолчанию соответственно ip в другой сети (ip loop back на Cisco) - многие soho роутеры не работают с такой конструкцией.

Соответственно, очень сложно объяснить абоненту, почему его роутер не работает в нашей сети и ему необходимо приобрести другой.

Естественно. Лично я бы к такому провайдеру даже не стал бы подключаться(

Со стороны абонента не должно быть никаких /32.

 

Я делаю так:

- если абонент не заказывал внешний ipv4 адрес - я ему даю подсеть серых адресов по dhcp, без unnumbered, по обычной классической схеме.

- если заказал - дополнительно к серой подсети выдаётся белый адрес с тем же префиксом, что анонсится в инет (/20 или /24 в зависимости от региона).

С моей стороны на абонента при этом, разумеется, маршрут /32.

[uk2558]

Вообщем, в результате экспериментов, пришел к выводу , что если нет денег на нормальный железный bras с поддержкой ipoe , то нефиг мучать жопу. Поэтому перевожу всех абонентов на PPPoE. Спасибо всем за советы.

Edited September 21, 2014 by uk2558