[X-RaY™]

Имеется в частном секторе основной район размером 2 км на 5 км + небольшие районы по несколько улиц, это не коттеджи, зачастую даже не частные дома, а частные дворы. У людей платить за подключение больше 30 уе нет возможности в 90% случаев(пойдут к конкурентам). За свои деньги размещать управляемое оборудование на каждом узле(раз в 100 метров развешивать по 300уе на столб) невозможно, т.к. в месяц воруют по 5-10 свитчей, иногда прямо с боксами это раз, а второе, плотность абонентов совсем разная, то на 300 метров 5 человек, то в радиусе охвата 1 свитча 20 чел.

 

В данный момент делаем оптические выходы раз в 500 метров, от них в каждую строну по 2-3 мыльницы, с каждый сегмент с мыльницами смотрит свой влан. Получается в каждом влане около 25-30 портов\пользователей (онлайн в пике 60%). В каждый влан смотрит дхцп сервер, адреса выдаются динамически, так же выдаются роуты, роутится все на л3 свитче, инет через ппптп, реальные адреса динамически, ната нету. Вообщем пользователей около 2х тысяч. Мониторю трафик идущий через ядро, в пике может скакнуть до 3 гиг. Активного п2п нету, есть ДС, но людей там не больше 100ни в пике. В основном весь трафик идет из ядра, фтп, самба, инет\пирринг.

 

Вообщем почти все устраивает, кроме отсутствия контроля за "зайцами" по факту просто включился в свитч соседа и пользуйся локалкой(фтп сервера на 10ки террабайт с каталогами, возможностью просмотра онлайн (отдается плейлист и по самбе открывается) и т.д. которые скрипят от сотен чел в час пик) + соседи еще и инета раздадут в складчину купив 20 мбт за 25 уе. Теоретически при полном контроле за трафиком в сети нагрузка в ядре, на файловые сервера спадет я думаю процентов на 20% + это добавит платильщиков из ряда должников\зайцев.

 

Рассматриваю 2 варианта решения проблем и вечного счастья :)

 

Вариант 1 PPPoE

Идея с в следующем, перевести все это добро полностью на пппое. Протащить с каждого сегмента вланы на пппое сервера, по дхцп выдавать самую короткую сеть ип+маска, то есть единственным интерфейсом в сеть будет пппое. Без контроля остаются только маленькие участки по 15-20 чел в пике, и то им придется прописывать адреса руками и т.д.

Раньше думал о пппое, но на циски как всегда нет денег, а на средних дуал корах не очень шустро было с этим всем. Благо сейчас есть и7, в теории до гига без проблем протерминирует(принять пппое+не очень хитрый шейп). На текущую нагрузку(3 гига в пике теоретически, в реальности пока только 2.2 видел) планирую поставить:

 

3-4 пппое сервера на базе intel S3420GPLC + xeon X3450(2.66 ггц), ось freebsd, pppoe mpd 5, правила шейпов локалка, пирринг, точка обмена трафиком без шейпа, мир 5 скоростей, шейпер ipfw таблички, ната нету.

 

Какие проблемы могут возникнуть в этой схеме, кто работает с пппое с большими нагрузками, как оно балансировать сессии будет, не возникнет ли проблем с масштаированием допустим при 10 пппое серверах? Какие минусы кроме того, что весь траф через сервера едет и самого наличия "тунелятины"(настройка путем запуска програмки и последующего ввода логин+пароль)?

 

 

Вариант 2 ip unnumbered

Ядро(в дальнейшем станет агрегацией) - циска с ip unnumbered(предположительно кат 6500 с SUP32-GE-3B)

Агрегировать гиговые линки с узлов доступа любым свитчем умеющим 1.q(просто прокидывать вланы на 6500)

Доступ в многоэтажных домах полноценные л2 свитчи доступа(тут вроде все понятно, влан на свитч +опция 82 или порт влан, по желанию)

Частный сектор, узел с полноценным л2 свитчем и от него в стороны по 2-3 свитча с port based vlan включенными гирляндой.

 

Как я понимаю все что я могу при port based vlan\мыльницах для идентификации (при том что нужны динамические реальные адреса), это написать костыль который будет авторизировать пользователя через вэб и привязывать их мак к ип(как в дхцп так и на ближайший порт с ацл) на время сессии.

 

Принцип костыля примерно такой.

Включил абонент комп, ему по дхцп выдало серый адрес и шлюз(то что он ему нужен определилось по опции-82 по влану), за этим шлюзом доступ только к личному кабинету и саппорту. На любой вэб запрос(80 порт) его перекидывает на хттпс страничку личный кабинет, логин пароль (можно в браузере сохранить) он вводит ему пишут или все ок инет включен или плати деньги.

В случае если все ок, то на время сессии по дхцп выдается реальный адрес, привязывается к маку с которого ввели данные и на ближайший к нему умный порт на свитч вешается связка ип+мак скриптом или опция 82, dhcp snooping, IP Source Guard(им же все равно 1 адрес+мак или 20 ушло в порт?), сессия кончилась ип обратно в пул, мак на свитче забыли правило потерли. На портах управляемых запрещены все ипы, кроме тех что выдало по дхцп.

 

Как быстро винда переполучит адрес при смене его на дхцп сервере? Сдается мне что тут могут быть проблемы. Чего я не учел и какие грабли на горизонте?

Взлетит ли все таки эта схема при с ip unnumbered с колбасками из пары свитчей port based vlan на доступе и динамическими адресами по дхцп?

Ни кому еще не попадалось хотя бы обещаний о ip unnumbered от другого вендора?

 

Как внедрю какой нибудь из вариантов, напишу статью, думаю многим будет интересно из небольших сетей.

Спасибо за ответы и потраченное на прочтение время )

Изменено 1 февраля, 2010 пользователем X-RaY™

[SmokerMan]

Если вы на L2 абонентов не разделите, то разницы я никакой не вижу между pptp и pppoe. А вообще-то стройте и не парьтесь, все работоспособно.

[X-RaY™]

Разница в том что сейчас роутитятся все и для всех, т.е. на л3 все объединено + ппптп, то есть не оплатил подулючение или за услугу, пользуешся всеми ресурсами сети,а инет с соседом в складчену покупаешь(при том что не обязательно быть с ним в 1 лц сегменте). А в случае с пппое, весь трафик будет через пппое, не оплатил сидишь в очень маленьком л2 сегменте .

[lejek]

Разница в том что сейчас роутитятся все и для всех, т.е. на л3 все объединено + ппптп, то есть не оплатил подулючение или за услугу, пользуешся всеми ресурсами сети,а инет с соседом в складчену покупаешь(при том что не обязательно быть с ним в 1 лц сегменте). А в случае с пппое, весь трафик будет через пппое, не оплатил сидишь в очень маленьком л2 сегменте .

В Вашем случае не будет разницы, терминируете Вы на серверах PPPoE или PPTP. Чтобы получить плюсы pppoe Вам необходимо исключить даже небольшие общие l2 сегменты. Иначе поимеете проблемы с ложными pppoe серверами и т.п проблемами. Вилан на юзера и PPPoE не выдержит критики. Поэтому чаще всего для экономии используют сегментацию портов. Многие коммутаторы-мыльницы легко перепаиваются или перенастраиваются собственными утилитами. Можно и купить уже готовые неуправляемые с изолированными портами.

[X-RaY™]

Крутил эти чудо девайсы, конкретно Compex PS2216 . И честно говоря не особо понял что с ним делать. То есть после обычных управляемых свитчей, где порт-влан потом в транк на агрегацию, я не понял что делать как использовать VLAN в Compex. То есть , узел, от него ветка из 3 мыльниц , если в роли мыльниц Compex PS2216, то в случае если они включаются гирляндой друг в друга, то обмен трафиком между абонентами разных свитчей ведь будет происходить?

 

По поводу плюсов пппое, тут суть в том , что не авторизированный абонент получит только л2 с 15 чел в час пик. А в данный момент у него нету только интернета предоставленного нами, то есть всеми ресурсами от файловой помойки с каталогом и онлайн просмотром, игровых серверов до пиринга с другими сетями, а инетом можно 1 на 5рых пользоваться без привязки к месту, все ж роутится и роуты раздаются по дхцп.

Изменено 15 января, 2010 пользователем X-RaY™

[woddy]

идея правильная. раньше длинки 1008, 1024 легко настраивались на вланы (1 резистор запаять). последние 1(2) порта аплинк (использовать один из них на выбор). агрегировать на чем-то умном и тянуть до браса. сеть станет более предсказуемой и управляемой. сможете давать разные скорости локальной сети в зависимости от тарифа.

[lejek]

Крутил эти чудо девайсы, конкретно Compex PS2216 . И честно говоря не особо понял что с ним делать. То есть после обычных управляемых свитчей, где порт-влан потом в транк на агрегацию, я не понял что делать как использовать VLAN в Compex. То есть , узел, от него ветка из 3 мыльниц , если в роли мыльниц Compex PS2216, то в случае если они включаются гирляндой друг в друга, то обмен трафиком между абонентами разных свитчей ведь будет происходить?

 

По поводу плюсов пппое, тут суть в том , что не авторизированный абонент получит только л2 с 15 чел в час пик. А в данный момент у него нету только интернета предоставленного нами, то есть всеми ресурсами от файловой помойки с каталогом и онлайн просмотром, игровых серверов до пиринга с другими сетями, а инетом можно 1 на 5рых пользоваться без привязки к месту, все ж роутится и роуты раздаются по дхцп.

1. Если Вы выстроите гирлянду таких свитчей (с изолированными портами) в дерево, то пользователи никак друг с другом общаться не будут.

2. Или просто не выдавайте роуты по dhcp и Ваши пользователи остануться в в той-же л2 с 15 человеками. Хотят нормальные роуты - поднимают pptp или pppoe. Но лучше смотрите п.1

 

Сеть на неуправляемых свитчах страшное дело, но если очень надо и очень подумать, то будет работать.

[MMM]

GPON по цене не подходит?

[X-RaY™]

К сожалению арпу и специфика района не позволяют гпон за разумные деньги. (

Еще вопрос

intel S3420GPLC + xeon X3450(2.66 ггц), ось freebsd, pppoe mpd 5, правила шейпов локалка, пирринг, точка обмена трафиком без шейпа, мир 5 скоростей, шейпер ipfw таблички, ната нету.

гбит\ 150-200кпс протерминирует ?

[Kaban]

В pppoe по сравнению с pptp намного проще реализуется балансировка нагрузки и резервирование, кроме того pppoe не использует ip и поэтому все атаки основаные на подменах arp идут лесом ну и плюс ко всему есть масса юзеровских роутеров-мыльниц не дружащих pptp но я еще не видел ни одного который бы не дружил с pppoe.

[vadimus]

В общем и целом у меня такая сеть работает уже 4-й год, коммутаторы вообще неуправляемые в концах (а если сделать такие, где абонентские порты изолированы между собой

идея правильная. раньше длинки 1008, 1024 легко настраивались на вланы (1 резистор запаять). последние 1(2) порта аплинк (использовать один из них на выбор). агрегировать на чем-то умном и тянуть до браса. сеть станет более предсказуемой и управляемой. сможете давать разные скорости локальной сети в зависимости от тарифа.

то всё будет вообще идеально). Сервер у меня один, 2 проца E5450, там и НАТ, и named, и PPPoE-концентратор, и BGP пиринговый, в онлайне в пике 900 пользователей, в пиринг загрузка до 500 Мбит/с, в инет до 250, PPS где-то до 150 kpps, работает вообще без проблем, ОС правда Gentoo Linux. В такой схеме можно использовать только PPPoE потому что, во первых, он не восприимчив к прописыванию абонентами IP на своих компах самовольно, а во-вторых, нагрузка на проц всё же меньше у PPPoE даже по сравнению с accel-pptp реализацией PPtP сервера.

Изменено 16 января, 2010 пользователем vadimus

[X-RaY™]

Немного изменил тему, выбор между пппое и ипое местами на костылях )

[vadimus]

ИПоЕ не будет нормально работать если на доступе не будет стоять 3526 или что-нибудь подобное, да и в качестве BRAS желательно Cisco иметь. Если будете использовать для доступа и PPPoE, и IPoE, то как мне думается только поимеете много геммороя с поддержкой абонентов.

[photon]

Единственный реальный аргумент в пользу внедрения PPPoE -- плохие свичи на доступе. Плохие свичи на доступе нужны для того, чтобы меньше был ущерб от их воровства. Возникает вопрос: не проще ли решить для себя проблему воровства свичей? Рано или поздно это все равно придется сделать. Cisco в качестве BRAS для IPoE не обязателен, если пакетрейты до 200 kpps.

Изменено 1 февраля, 2010 пользователем photon

[X-RaY™]

С воровством проблему решить практически нереально, частный сектор, оборудование на виду, на опорах. А зачем циска в качестве браса в ипое? Тут то и фич не надо пока, оплатил поучил адрес который роутится в сеть\инет, не оплатил не получил. Пусть 6500 роутит и все.

[Giga-Byte]

Еще вопрос

intel S3420GPLC + xeon X3450(2.66 ггц), ось freebsd, pppoe mpd 5, правила шейпов локалка, пирринг, точка обмена трафиком без шейпа, мир 5 скоростей, шейпер ipfw таблички, ната нету.

гбит\ 150-200кпс протерминирует ?

скажу только, что xeon брать смысла особого нету, у аналогичного core2duo/quad тоже ядро за меньшие деньги.

при правильном шейпе (ng_car) с правильными NIC-ами (EXPI9400/EXPI9402/E1G42/E1G44) и с правильным тюнингом гораздо больше пророутит.

 

у нас два (для отказоустойчивости) концентратора собраных на s3000ahv + q6600 + expi9400 + expi9402 роутит не напрягаясь

 

[X-RaY™]

Giga-Byte спасибо за инфу.

А ксены стоят на копейки дороже, а вот в спеке материнки небыло заведется ли на простых дуалкорах и с ецц памятью не уточналось, ну и как то для души приятней заплатив лишние 10-15% иметь наклеечку ксеон и ецц память )

q6600 зверь у меня дома как 3.9 ггц трудится уже год+ без выключения, жаль серваки не принято разгонять, сразу представляю себе 4 ггц и7 и пару гиг трафа \ млн ппс через него ))

 

Т.е. у вас сервер на основе q6600(2.4 ггц) гбит\ 150-200кпс как пппое терминирует, ось какая, скок нагрузка на него?

Изменено 3 февраля, 2010 пользователем X-RaY™

[Giga-Byte]

Т.е. у вас сервер на основе q6600(2.4 ггц) гбит\ 150-200кпс как пппое терминирует, ось какая, скок нагрузка на него?

EXPI9402 - к абонентам, оба порта в LACP и на нём уже pppoe слушает (про vlan-ы молчу)

EXPI9400 - к бордерам и второму брасу

яндексовые драйверы

(почему-то со включеной в бивисе набортной NIC система улетала в корку при инициализации tx очередей на этих драйверах)

и нету никаких ipfw, dummynet, pf, всё в ng_bpf & ng_car

 

по pps-ам мне было неинтересно, т.к. нагрузка очень маленькая и более 30% нагрузки на процессор никогда не видел

(аттачи не прицепляются :( Upload failed. Please ask the administrator to ensure the uploads directory is available)

 

одно заметил - когда выключаю один брас, все перелазят на второй, интерфейсов становится около 1.4к, всё работает,

только sshd с текущей сессией отваливается с руганью fatal: Write failed: Cannot allocate memory (пока выяснять не собирался, всё устраивает)