Jump to content
Калькуляторы

Как сделать правильный IPoE?

Добрый вечер. Имею IPoE следующего вида на 5к абонентов :

1. Vlan-per-user

2. vlan терминируется на Cisco 3750g с ip unnumbered

3. Cisco 3750 g релеет dhcp с opt 82 (номер vlan) на отдельный сервер с isg-dhcp, который выдает ip /32 из сети в соответствии с тарифом

4. Абонентский трафик между собой и ix соответственно на скорости порта, так как не выходит за пределы Cisco 3750g

5. Куча Cisco 3750 g между собой в кольце через ospf

6. Интернет идет через shaper сервер, которые нарезает скорость в соответствии с сеткой

7. Биллинг генирирует конфиги для dhcp сервера

Вроде все работает, но есть моменты , которые реально напрягают:

1. Cisco 3750g иногда рандомно перестает релеить запросы dhcp. Помогает только перезагрузка.

2. Isg-dhcp рандомно перестает выдавать ip с ошибкой no free leases , хотя по факту у клиенты аренда истекла , на Cisco bind нет, лечится. .. А ничем не лечится , через рандомное время начинает выдавать ip

3. Раз ip выдается /32 , то у шлюза по умолчанию соответственно ip в другой сети (ip loop back на Cisco) - многие soho роутеры не работают с такой конструкцией.

Соответственно , очень сложно объяснить абоненту, почему его роутер не работает в нашей сети и ему необходимо приобрести другой.

 

Как мне избавиться от этих 3 проблем на текущем оборудовании (Cisco 3750g, isg-dhcp сервер, shaper сервер) ?

Edited by uk2558

Share this post


Link to post
Share on other sites

Как мне избавиться от этих 3 проблем на текущем оборудовании (Cisco 3750g, isg-dhcp сервер, shaper сервер) ?

 

 

Начать читать книжки про IPoE BRAS. Там придет понимание что надо или купить нормальный BRAS (который реально шейпит, сессии создает, ипы выдает), или сделать его из того что есть (писюк с софтом бета-версии), или хотя бы использовать текущий костыль ip unnumbered но на более мощных железках (4948/6500). Не выдавать клиенту /32, ибо это глупость, из каких доков вы это вычитали?

В общем-то критерий лишь один: реальное соотношение бабло/время/лейкопластырь. Это константа, конечно же, т.е. уменьшение одного свойства увеличивает другие. Потратьте немного времени - почитайте хотя бы тот же Day One Juniper на тему BRAS на MX. Там много прикладной инфы, хоть и вендор-специфик инфы еще больше.

Share this post


Link to post
Share on other sites

Книжки читать будем, /32 выдается для экономии адресного пространства. Смотрю , конечно, в сторону нормального bras, но с финансами туговато, федералы демпингуют, а тут еще новый сорм.

Share this post


Link to post
Share on other sites

Книжки читать будем, /32 выдается для экономии адресного пространства. Смотрю , конечно, в сторону нормального bras, но с финансами туговато, федералы демпингуют, а тут еще новый сорм.

 

Вот вы теорию зря пропустили. Когда говорят /32 на клиента при vlan-per-user, имеется ввиду, что у вас оно на оборудовании заводится роутом /32 на нужный влан-интерфейс.

Выдавать клиенту надо /24-23-22. А если очень хочется чтобы между пользователями трафик ходил включаем еще ip local-proxy-arp. Но локал-прокси-арп это палка о двух концах, он дает неплохую нагрузку на цпу. Поэтому "агрегатор вланов" должен быть с нормальным цпу. Ну а косяки 3750... Кто знает, может другим иосом лечатся. На 65 и 49 таких проблем я не встречал.

Share this post


Link to post
Share on other sites

Вы выдаёте белые IP адреса???

Да

 

Книжки читать будем, /32 выдается для экономии адресного пространства. Смотрю , конечно, в сторону нормального bras, но с финансами туговато, федералы демпингуют, а тут еще новый сорм.

 

 

Вот вы теорию зря пропустили. Когда говорят /32 на клиента при vlan-per-user, имеется ввиду, что у вас оно на оборудовании заводится роутом /32 на нужный влан-интерфейс.

Выдавать клиенту надо /24-23-22. А если очень хочется чтобы между пользователями трафик ходил включаем еще ip local-proxy-arp. Но локал-прокси-арп это палка о двух концах, он дает неплохую нагрузку на цпу. Поэтому "агрегатор вланов" должен быть с нормальным цпу. Ну а косяки 3750... Кто знает, может другим иосом лечатся. На 65 и 49 таких проблем я не встречал.

Когда появляется bind на Cisco , соответственно появляется роут на интерфейс. Пробовал /24 выдавать с local proxy arp - да, действительно проц ложился, начинались дропы на всех интерфейсах. В ходе тестов выяснилось, что глюк с релеем не зависит от версии ios.

Edited by uk2558

Share this post


Link to post
Share on other sites

Когда появляется bind на Cisco , соответственно появляется роут на интерфейс.

Ну я знаю, у самого в обслуживании сетка на 65ых.

 

Пробовал /24 выдавать с local proxy arp - да, действительно проц ложился, начинались дропы на всех интерфейсах.

 

Дропы? Ну значит что-то не так сделали, арп хоть и программный но Л3 форвардинг все же там железный.

 

В ходе тестов выяснилось, что глюк с релеем не зависит от версии ios.

 

Да просто 3750 надо в топку. :)

 

ПС. /32 у клиента - это тупиковый путь. Я знаю одного очень крупного провайдера, который этим путем пошел и, вероятно из-за не желания признавать собственные ошибки, теперь имеет кучу мелких пулов "для тех у кого не заводится /32". А еще содержит жирнющую техподдержку, потому что звонят, звонят же постоянно с роутерами :) /32 пришло от классических брасов с PPPOE/PPTP/etc, ВПНу перпендикулярно на шлюзы, он p2p. В IPoE это невозможно, оно работает вопреки принципам маршрутизации сетей. Ну т.е. оно где-то работает а где-то нет.

Share this post


Link to post
Share on other sites

Просто так сложилось, что когда то нам за долги отдали пачку Cisco 3750g, вот и начали на них строить . Для проблемных клиентов с "неправильными" роутерами держим PPPoE. /32 так как ipv4 очень мало, а с NAT возиться не хочется. DVM-Avgoor, я понял вашу мысль, спасибо. Я примерно так и думал , что нужно уходить на нормальный bras и большие маски, но на bras денег не дадут. Попробую наскребсти на 4948-s.

Share this post


Link to post
Share on other sites

/32 у клиента ничем ничего нигде не экономит. У вас же на лупбэке сетка вполне определенная висит, с вполне определенной маской. Вот ее и выдавали бы. Можно прокси-арп не включать, тогда цпу будет в порядке. Ну не будет между клиентами связи, переживут, не? :)

 

Берите лучше 65ый, суп32 сейчас копейки стоит, как и линейные карты древнего образца. А если уж 4948, то 10Г версию, в ней цпу приличнее.

 

ну и это...

но на bras денег не дадут. Попробую наскребсти на 4948-s.

 

С таким подходом лучше уж писюки, или закрыть бизнес нафиг. Если нет денег даже на копеечный брас за 200 тысяч, то лучше уж не мучиться вообще.

Share this post


Link to post
Share on other sites

На loopback серый адрес, 3 года назад, имея 1.5 к абонентов , мы зарабатывали в 2-3 раза больше, чем сейчас, имея 5к.

Share this post


Link to post
Share on other sites

На loopback серый адрес, 3 года назад, имея 1.5 к абонентов , мы зарабатывали в 2-3 раза больше, чем сейчас, имея 5к.

 

Ох-ёх... Ну ладно, серый так серый.

Да мы тоже раньше зарабатывали больше, такова жизнь, инет в России ничего не приносит если у тебя доля рынка не 50+ процентов.

Share this post


Link to post
Share on other sites

считаю нужно отойти от схемы: "выделю ip-адрес из подсети для тарифа 5мбит". выделяйте конкренто сети на каждую цыску и выдавайте белые адреса, но с маской /24+-

А на шейпер нужно динамически подавать команды по ограничению скорости для каждого ip или раз в 5 минут перечитывать конфиг.

Share this post


Link to post
Share on other sites

считаю нужно отойти от схемы: "выделю ip-адрес из подсети для тарифа 5мбит". выделяйте конкренто сети на каждую цыску и выдавайте белые адреса, но с маской /24+-

А на шейпер нужно динамически подавать команды по ограничению скорости для каждого ip или раз в 5 минут перечитывать конфиг.

Спасибо за идею, подумаю и в эту сторону, но это не избавляет от проблемы локального трафика в разрезе vlan-per-user, если только vlan per switch ...

Edited by uk2558

Share this post


Link to post
Share on other sites

cisco 3550G-12 с 6000 абонентами легко делал proxy arp. 3750 и подавно должен справиться. проблема не в этом.

Share this post


Link to post
Share on other sites

бабло/время/лейкопластырь

 

потратив пол года времени и немного пластыря свёл затараты к покупке 1 тазика с1100 с парой L5520

в итоге: bras - модуль ядра

разбор QinQ без создания интерфейсов

сессии, проварка соответствия мак-влан-ip

встроенный dhcp сервер

динамически обновляемый конфиг

динамические маршруты

+ куча задумок на сей счёт.

 

в конфиге висит куча /26 - наследие от прежних времён

меж абонентский трафик бегает номально

проблем с дешманскими роутерами только одни - часто виснут, часто дохнут

 

итог сей басни таков - аксиома полностью подтверждена

Share this post


Link to post
Share on other sites

бабло/время/лейкопластырь

 

потратив пол года времени и немного пластыря свёл затараты к покупке 1 тазика с1100 с парой L5520

в итоге: bras - модуль ядра

разбор QinQ без создания интерфейсов

сессии, проварка соответствия мак-влан-ip

встроенный dhcp сервер

динамически обновляемый конфиг

динамические маршруты

+ куча задумок на сей счёт.

 

в конфиге висит куча /26 - наследие от прежних времён

меж абонентский трафик бегает номально

проблем с дешманскими роутерами только одни - часто виснут, часто дохнут

 

итог сей басни таков - аксиома полностью подтверждена

на qinq можно по подробнее? или ссылку.

Share this post


Link to post
Share on other sites

cisco 3550G-12 с 6000 абонентами легко делал proxy arp. 3750 и подавно должен справиться. проблема не в этом.

 

Воу. Да он больше 500 SVI то не прожует, по крайней мере в минимальном конфиге раньше память заканчивается. Тем более что больше 4к SVI быть в принципе там не может.

 

итог сей басни таков - аксиома полностью подтверждена

 

пока тазик не стал зависать или умирать под ДДОСом, живется весело и беззаботно :)

Share this post


Link to post
Share on other sites

Воу. Да он больше 500 SVI то не прожует, по крайней мере в минимальном конфиге раньше память заканчивается. Тем более что больше 4к SVI быть в принципе там не может.

Я вот тоже чёто не понял как на 3550 подняли 6к интерфейсов :)

Share this post


Link to post
Share on other sites

6к абонентов не значит 6к svi, теоретически возможно

топстартер имеет схему vlan-per-user

Share this post


Link to post
Share on other sites

6к абонентов не значит 6к svi, теоретически возможно

 

 

Дак в том и смысл. Это все равно что сказать у меня 3550-12 в качестве бордера тащил 10к клиентов и 4г трафика при конском ппс, но при этом любой понимает что эти цифры не имеют никакого значения для оценки 3550-12 в качестве бордера. Он железный, ему пофиг на ппс - он лайнрейт полностью. А вот уточнить что было 5-6 SVI и конечно же fullview никакого в помине не было - уже что-то полезное. А для ip unnumbered целей как раз самые полезные цифры это кол-во SVI, включен ли local-proxy-arp, загрузка ЦПУ/памяти в такой конфигурации, сколько жрет ARP Input... Вот это уже инфа, а не то что "он тянет ХХХХ пользователей".

Share this post


Link to post
Share on other sites

количество SVI было порядка 40. при этом изоляцию портов делали на распределении/доступе. около 100 белых подсетей, local-proxy-arp, чтобы абоненты могли общаться. на системе было до 6000 ARP-записей одновременно и более 6Гбит по портам суммарно на прием. Средняя загрузка CPU не превышала 20%.

 

Так что в схеме vlan на коммутатор и изоляция портов 3550 потянет.

Share this post


Link to post
Share on other sites

cisco 3550G-12 с 6000 абонентами легко делал proxy arp. 3750 и подавно должен справиться. проблема не в этом.

Воу. Да он больше 500 SVI то не прожует, по крайней мере в минимальном конфиге раньше память заканчивается. Тем более что больше 4к SVI быть в принципе там не может.

3550 терминит 3 сетки /24, дальше действительно проблемы с памятью для конфига.

3560/3750 - честно все 1000 вланов...

Share this post


Link to post
Share on other sites
Раз ip выдается /32, то у шлюза по умолчанию соответственно ip в другой сети (ip loop back на Cisco) - многие soho роутеры не работают с такой конструкцией.

Соответственно, очень сложно объяснить абоненту, почему его роутер не работает в нашей сети и ему необходимо приобрести другой.

Естественно. Лично я бы к такому провайдеру даже не стал бы подключаться(

Со стороны абонента не должно быть никаких /32.

 

Я делаю так:

- если абонент не заказывал внешний ipv4 адрес - я ему даю подсеть серых адресов по dhcp, без unnumbered, по обычной классической схеме.

- если заказал - дополнительно к серой подсети выдаётся белый адрес с тем же префиксом, что анонсится в инет (/20 или /24 в зависимости от региона).

С моей стороны на абонента при этом, разумеется, маршрут /32.

Share this post


Link to post
Share on other sites

Вообщем, в результате экспериментов, пришел к выводу , что если нет денег на нормальный железный bras с поддержкой ipoe , то нефиг мучать жопу. Поэтому перевожу всех абонентов на PPPoE. Спасибо всем за советы.

Edited by uk2558

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this