grifin.ru Posted March 4, 2016 Не буду поднимать старую свою тему, сформулирую еще раз, тем более что исходные данные изменились. Итак, есть ЦОД, в нем есть стойка, и туда приходит два "интренета" от разных ISP. С обоими поднята BGP. Есть своя AS /23 Есть "объект". Там есть стойка, туда приходит два "интернета" с реальными IP адресами. Задача: Передать половину от /23 на "объект" с одновременным агрегированием каналов и, что самое важное, высокой доступностью. Предлагаемое решение: В ЦОДе поднимается VPN сервер. BGP маршрутиатор там уже поднят и он анонсит свою /24 На объекте к нему строятся два туннеля (каждый через своего провайдера) - мультитуннель. На объекте понимается BGP маршрутиазтор, который через мультитуннель по IBGP анонсит в ЦОД вторую /24 Другие варианты: в ЦОДе анонсить сразу всю /23 а потом нужную /24 ее через "мультитуннель" просовывать на объект. --------------- Все мысли чисто теоретические, если я где-то не прав - прошу направить в правильное русло. Особенно интересно как будет работать этот "мультитуннель" если задержки и ширина каналов разная. Можно ли будет, *** еще большей надежности, в этот мультитуннель включить LTE линки ? На каком железе все это делать, если считаем что предельная скорость мультитуннеля - 80мбит и шифрование на первом этапе не нужно. В ЦОДЕ уже стоит сервер с QUAGGA, думаю им и обойтись. На объекте можно что-то купить, или тоже сервер поднять. Хочется получить максимально "качественный и надежный" интернет из нескольких непонятно каких и, одновременно пробросить на объект подсеть. Вот как то так. Это бы перевый этап задачи. Второй напишу позже, дабы не путаться. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 4, 2016 Тогда по-другому спрошу: Мне нужно аггрегировать два туннеля, прокинутых через интернет. Хотелось бы использовать самый правильный для этого случая алгортим агрегации. Логику его работы я представляю так., как это происходит на паспортном контроле в ряде больших аэропортотов. Стоит одна общая очередь из пакетов и некий администратор ее держит и направляет пакеты по очереди в разные микроочереди к конкретным пограничникам, поддерживая длинну очереди не больше 2ух пакетов.. Такой же принцип в другую сторону. Вопросы: - Что это за протокол ? MLPPP Или есть варианты ? - На чем его реализовать со стороны ЦОДа (сервер с Centos) - Что купить на "объект" чтоб оно умело этот протокол, умело BGP, и держало трафик около 80мбит ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 4, 2016 Тогда по-другому спрошу: Мне нужно аггрегировать два туннеля, прокинутых через интернет. Хотелось бы использовать самый правильный для этого случая алгортим агрегации. Логику его работы я представляю так., как это происходит на паспортном контроле в ряде больших аэропортотов. Стоит одна общая очередь из пакетов и некий администратор ее держит и направляет пакеты по очереди в разные микроочереди к конкретным пограничникам, поддерживая длинну очереди не больше 2ух пакетов.. Такой же принцип в другую сторону. Вопросы: - Что это за протокол ? MLPPP Или есть варианты ? - На чем его реализовать со стороны ЦОДа (сервер с Centos) - Что купить на "объект" чтоб оно умело этот протокол, умело BGP, и держало трафик около 80мбит ? Из простого 2-а ovpn тоннеля в режиме ethernet и в бондинге с алгоритмом round-robin - вполне сносно работает. Из сложного - mpls с нарезкой полос под линии трафика поверх чего угодно - ipip, ovpn etc. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 4, 2016 Из простого 2-а ovpn тоннеля в режиме ethernet и в бондинге с алгоритмом round-robin - вполне сносно работает. round-robin это, если я не ошибаюсь, алгоритм с заранее заданным отношением числа пакетов в канал А к числу пактов в канал Б, да и L2 городить поверх L3 не вижу смысла. Чем плох MLPPP ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 4, 2016 round-robin это, если я не ошибаюсь, алгоритм с заранее заданным отношением числа пакетов в канал А к числу пактов в канал Б, да и L2 городить поверх L3 не вижу смысла. rr - это по сути ecmp. Не хотите доп. L2, делайте ipip тоннели и BGP с препендами :) Чем плох MLPPP? Не читал, но осуждаю. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 4, 2016 BGP с препендами Это ерунда, а не балансировка. ТОже плюс-минус трамвайная остановка, как и round-robin, даже еще хуже. А нужна 100% элластичность. Не зря я написал про аэропорт. Ищется технология, которая принимает решение о маршрутизации на основании "забитости" каналов. А как там эту забитось правильно считать - авторам протоколов виднее. Может на основе задержек, может на основании очереди но она точно должна ориентироваться на фактическую (в данный момент времени) а не теоретическую пропускную способность каналов, т.к. оба канала с негарантированной скоростью и плавать могут только так в обе стороны. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 4, 2016 Это ерунда, а не балансировка. ТОже плюс-минус трамвайная остановка, как и round-robin, даже еще хуже. А нужна 100% элластичность. Не зря я написал про аэропорт. Ищется технология, которая принимает решение о маршрутизации на основании "забитости" каналов. А как там эту забитось правильно считать - авторам протоколов виднее. Может на основе задержек, может на основании очереди но она точно должна ориентироваться на фактическую (в данный момент времени) а не теоретическую пропускную способность каналов, т.к. оба канала с негарантированной скоростью и плавать могут только так в обе стороны. mpls, я вам в первом сообщении и написал. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 4, 2016 mpls, я вам в первом сообщении и написал. Мне кажется что это вообще не о том, но я попробую почитать. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 4, 2016 mpls, я вам в первом сообщении и написал. Мне кажется что это вообще не о том, но я попробую почитать. То то, более того - позволит раскидать по нагрузке и строить в будущем так ненавистный вам L2 в vpls :) Просто я считаю, что mpls востребован там, где есть обмен большим кол-вом маршрутов, что обычно не в моих случаях. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 4, 2016 Вот об этом и речь. У меня нет вообще никаких маршрутов, кроме двух этих каналов, и обмена маршрутами тем более нет. Возможно он и умеет балансировку,как побочный эффект, но вообще это протокол вообще для другого, и его нужно делать к тому-же поверх туннелей. т.е. уже зоопарк. mlppp это ни что иное на Multi Link PPP. Т.е. как раз агрегирование ptp туннелей. Но информации по нему крайне мало, как он работает кто-то знает ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 4, 2016 Вот об этом и речь. У меня нет вообще никаких маршрутов, кроме двух этих каналов, и обмена маршрутами тем более нет. Возможно он и умеет балансировку,как побочный эффект, но вообще это протокол вообще для другого, и его нужно делать к тому-же поверх туннелей. т.е. уже зоопарк. mlppp это ни что иное на Multi Link PPP. Т.е. как раз агрегирование ptp туннелей. Но информации по нему крайне мало, как он работает кто-то знает ? Почему же? У вас есть целый блок /23 - это уже что то. mlppp не рекомендую, не ваш случай. Это скорее для pppoe. Вам либо ipip etc, либо ovpn в простейшем раскладе. Зря вы цепляетесь за mlppp. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted March 4, 2016 и в бондинге с алгоритмом round-robin и привет packet reordering... чем l3+l4 не угодил? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 5, 2016 и в бондинге с алгоритмом round-robin и привет packet reordering... чем l3+l4 не угодил? Это что такое ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 5, 2016 и в бондинге с алгоритмом round-robin и привет packet reordering... чем l3+l4 не угодил? Поверх бондинга еще раз натягиваем ovpn в режиме tcp и проблемы реордерингп ложатся на процессора компов :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 5, 2016 Ну не верю я что нет красивого, специально предназначенного для этой задачи решения, которое не представляет собой три, натянутых друг на друга гондона ! Неужели никто не знает ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
zi_rus Posted March 5, 2016 балансировать в зависимости от нагрузки может Cisco PfR. Опенсорсных решений на линупсе нет, но можно повторить его логику скриптами. Cisco меряет загруску канала по netflow, если трафик по каналу начаниет превышать его емкость он потоку на отдельные ip адреса уводит на второй канал. Там много всяких наворотов и активный и пассивный мониторинг, и полоса и задержки и джиттер, и если писать это самому то будет геморно, но если ограничиться только нужными функциями, то кажется все не сложно Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted March 5, 2016 Это что такое ? алгоритм хеширования Поверх бондинга еще раз натягиваем ovpn в режиме tcp и проблемы реордерингп ложатся на процессора компов :) IP -> OpenVPN -> lagg -> OpenVPN... вы случаем не с микротиков начинали? откуда такая привычка реализовывать все через анус? :) чем вам l3+l4 хеши-то не понравились? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 5, 2016 алгоритм хеширования Можно подробнее ? Причем тут хэширование вообще ? Какое железо купить/софт поставить и что на нем поднять. Подскажите куда гуглить пожалуйста. А лучше сразу ссылку на то как это все настраивать, а дальше я уже разберусь. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 5, 2016 балансировать в зависимости от нагрузки может Cisco PfR. Опенсорсных решений на линупсе нет, но можно повторить его логику скриптами. Cisco меряет загруску канала по netflow, если трафик по каналу начаниет превышать его емкость он потоку на отдельные ip адреса уводит на второй канал. Там много всяких наворотов и активный и пассивный мониторинг, и полоса и задержки и джиттер, и если писать это самому то будет геморно, но если ограничиться только нужными функциями, то кажется все не сложно Вот, уже что-то. Спасибо, буду курить. Я правильно понимаю что PfR начинает наливать во второй канал, только когда первый полный ? Или сначала она льет поровну, а когда один до краев - туда больше не льет ? Какие киски мне поставить для решения этой задачи ? (Необходимо и достаточно, без "запаса" и фанатизма. Скорость по каждому каналу - 40мбит, суммарно - 80мбит. И та и другая должна уметь BGP. Одна из должна быть с БП на постоянный ток DC 48-72В и для нее важен размер (1U в глубину и не более 40см в глубину) Шифрование не то что бы ненужно, если с ним будет стоит на 20% дороже - пусть будет. Если в два раза - ну его нафиг. 1900 серия потянет ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted March 5, 2016 Причем тут хэширование вообще ? к распределению трафика по линкам? Какое железо купить/софт поставить и что на нем поднять. если линукс - пара l2tpv3 каналов, поверх них - бондинг с хешем по l2+l3 либо l3+l4. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 5, 2016 если линукс - пара l2tpv3 каналов, поверх них - бондинг с хешем по l2+l3 либо l3+l4. Чем сделать туннели - вопрос десятый. что такое "бондинг с хешем по l2+l3 либо l3+l4" я не понимаю. Наверное я тупой. Назовите мне название пакета в линукс, который делает "бондинг с хешем по l2+l3 либо l3+l4" и дайте ссылку на статью по настройке "бондинг с хешем по l2+l3 либо l3+l4" Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
NiTr0 Posted March 5, 2016 ifenslave, в штатной поставке обычно идет... в гугле поищите linux bonding что ли :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 5, 2016 ifenslave, в штатной поставке обычно идет... в гугле поищите linux bonding что ли :) Вот ! Вот это другое дело. Ушел читать.... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
tartila Posted March 5, 2016 IP -> OpenVPN -> lagg -> OpenVPN... вы случаем не с микротиков начинали? откуда такая привычка реализовывать все через анус? :) чем вам l3+l4 хеши-то не понравились? Вам шашечки или ехать? l3+l4 может и не сработать, а rr бронебойный. ifenslave, в штатной поставке обычно идет... в гугле поищите linux bonding что ли :) Вот ! Вот это другое дело. Ушел читать.... Вот так и ушел, недослушав про mpls :) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
grifin.ru Posted March 5, 2016 Вот так и ушел, недослушав про mpls :) Рассказывайте, я подожду ))) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
