Jump to content
Калькуляторы

Недостаточная скорость туннелей

Добрый день, уважаемые коллеги!

 

Такой вопрос: какой туннель самый скоростной в микротике? Остановился на EoIP. Но также пробовал GRE, IPIP, L2TP, IPSec.

Скорость не нравится нигде.

 

Объединяем 2 офиса, везде скорость интернета около 100 мегабит.

 

Москва - радиоканал (full-duplex), СПБ - медь (full-duplex). По измерениям SpeedTest, torrents: 80 мегабит всегда есть туда-сюда.

По bandwidth тесту между микротами - 83 мегабита по tcp. Как напрямую, таки через EoIP и прочие туннели.

 

Прописал маршруты, видны подсети, все ок. Скорость не поднимается выше 40-50 мегабит. Копирую iso файл 4 гб - более-менее разгонятеся до 50.

Если копировать из проводника копи-пастой - 2-3 мегабайта в сек. Микротик как-будто ограничивает и резервирует канал. Это плохо. Нигде нет ограничения скоростей. А он ограничивает.

 

Как сделать честные 80 мегабит между офисами? Какой туннель использовать? На время теста отключал firewall запрещающие правила, реально ничего не мешает.

 

Модели микротиков: CCR1036-8G-2S+ и CCR1016-12G, прошивка 6.38.5 (stable) на обоих.

Share this post


Link to post
Share on other sites

какие микротики? Загрузка их цпу?

Модели микротиков: CCR1036-8G-2S+ и CCR1016-12G, прошивка 6.38.5 (stable) на обоих.

 

Загрузка по нулям почти, не превышает 10%. Шифрование на туннеле отключал и включал, без разницы.

Share this post


Link to post
Share on other sites

Попробую переформулировать вопрос:

 

Скорость между туннелями точно такая, какая нужна.

 

Почему между 2 отдельно взятыми рабочими станциями "низкая" скорость? Как разогнать, отменить это резервирование канала?

В Queues интерфейсы eoip не мониторятся и не ограничиваются (no-queue). Где еще можно глянуть настройки данного резервирования?

С MTU игрался, без результатов. Бондинг работает не более 40 мегабит. Хотя, каждый отдельно взятый канал выдает 80 легко.

Share this post


Link to post
Share on other sites

Если копировать из проводника копи-пастой - 2-3 мегабайта в сек. Микротик как-будто ограничивает и резервирует канал. Это плохо. Нигде нет ограничения скоростей.

ЕМНИП, это обычное поведение винды на длинных линках. Хотя вроде бы в новых версиях винды сильно оптимизировали smh

 

Стоит посмотреть с помощью wireshark что происходит

Share this post


Link to post
Share on other sites

Если есть порывы гонять поверх файловую 1с, то я бы бросил эту затею и перешел на rdp

Share this post


Link to post
Share on other sites

А пинг сколько между узлами за микротиками?

Share this post


Link to post
Share on other sites

А пинг сколько между узлами за микротиками?

 

Напишу за своего коллегу, лимит сообщений у него в сутки:

 

>>с локальными сетями все нормально?

 

Да, все отлично. Микротики везде являются DHCP серверами. На интерфейсах ошибок нет. Подсети различаются.

 

>>ЕМНИП, это обычное поведение винды на длинных линках. Хотя вроде бы в новых версиях винды сильно оптимизировали smh

>>Стоит посмотреть с помощью wireshark что происходит

 

Скорость разнится утром, днем, вечером. Сегодня с утра было 8-9 мегабайт в секунду, потом через минуту-две, упала до 5 мегабайт/с.

Возникло резонное подозрение на качество канала, но не уверен. Или загруженность в течении дня.

Попробую копировать с Windows 10 на Windows 2012 Server, например.

Можно ли как-то обойти ограничение на длинных линках?

 

>>Если есть порывы гонять поверх файловую 1с, то я бы бросил эту затею и перешел на rdp

Нет, таких бредовых порывов нет, всегда 1С на терминалке.

Гоняем только трафик Revit и Autocad. Нужно работать из одного места (Москва), не получится реплицировать по ночам данные Москвы и СПБ для удобной работы пользователей.

Ревит использует свою БД и хранилище, его нельзя децентрализовать. Пока единственный выход это туннель, а также расширение канала в Москве. Сидим в БЦ с конскими тарифами

например, за 100 мегабит просят 80 000 рублей (поэтому подключили 2 радиоканала по 80-100 мегабит). О гигабите даже и не слышали в этом БЦ. Других не пускают, бьемся лет 5 уже.

Сейчас мутим FSO канал, но очень дорого. Также, рассматриваем радиорелейку на гигабит.

 

В СПБ проблем с гигабитом нет, там все по меди, могут завести оптику без проблем за вкусную цену.

 

По спецификации EOIP туннеля сказано, что он еще отнимает 10-15% от пропускной способности канала, поэтому, картина вырисовывается примерно такая, какая сейчас есть...

 

 

>>А пинг сколько между узлами за микротиками?

СПБ-МСК avg за 5 минут 19ms 1% loss

МСК-СПБ avg за 5 минут 18ms 0% loss

Share this post


Link to post
Share on other sites

1% потерь - это неприемлемо

 

попробуйте ход конём: openvpn поверх tcp/ip. вдруг линуксовая реализация tcp окажется более толерантна к потерям.

Share this post


Link to post
Share on other sites

Citrix SD-WAN WANOP :-) взять лицензию на 200 мегабит, и обьъединить пару интернет каналов от двух разных провайдеров.

Share this post


Link to post
Share on other sites

1% потерь - это неприемлемо

 

попробуйте ход конём: openvpn поверх tcp/ip. вдруг линуксовая реализация tcp окажется более толерантна к потерям.

Какие цифры приемлемы?

Share this post


Link to post
Share on other sites

Такой вопрос: какой туннель самый скоростной в микротике? Остановился на EoIP. Но также пробовал GRE, IPIP, L2TP, IPSec.

 

Ага простое такое сравнение туннелей=)

 

Ставьте L2TP и все будет отлично работать. Для маршрутизации нужно OSPF использовать - с ним скорость будет самая высокая. Однако если есть задержка на линке, а файлы копируются виндой в один поток - высоких скоростей не будет.

Share this post


Link to post
Share on other sites

Какие цифры приемлемы?

ну пусть будет 0.1%

Share this post


Link to post
Share on other sites

Такой вопрос: какой туннель самый скоростной в микротике? Остановился на EoIP. Но также пробовал GRE, IPIP, L2TP, IPSec.

 

Ага простое такое сравнение туннелей=)

 

Ставьте L2TP и все будет отлично работать. Для маршрутизации нужно OSPF использовать - с ним скорость будет самая высокая. Однако если есть задержка на линке, а файлы копируются виндой в один поток - высоких скоростей не будет.

 

Можно ли как-то исправить ситуацию и поправить копирование в один поток? Пробовал копировать не через туннель, выносил компьютер в МСК офисе в DMZ - копировал с СПБ на него в шару на уровне 10 мегабайт в секунду. Значит венда не причем? тупо туннель? В любом случае, попробую OSPF over EoIP и L2TP с OSPF, спасибо!

Share this post


Link to post
Share on other sites

Вы определите сначала скорость. Например программой btest с компа до какого-то дальнего устройства. Так же попробуйте копировать один файл, а потом запустить параллельно другой - и на микротике смотреть, увеличилась ли загрузка канала вторым потоком, или нет. И сделать подобные действия по всем направлениям.

Share this post


Link to post
Share on other sites

Такой вопрос: какой туннель самый скоростной в микротике? Остановился на EoIP. Но также пробовал GRE, IPIP, L2TP, IPSec.

 

Ага простое такое сравнение туннелей=)

 

Ставьте L2TP и все будет отлично работать. Для маршрутизации нужно OSPF использовать - с ним скорость будет самая высокая. Однако если есть задержка на линке, а файлы копируются виндой в один поток - высоких скоростей не будет.

Есть проблема с OSPF через EOIP и L2tp: падает линк если тип сети не nbma. Измучился. Маршруты на секунду появляются, затем в логах ospfv2 neighbor state change from full to down, туннель передергивается.

Курю эту проблему.

 

Вы определите сначала скорость. Например программой btest с компа до какого-то дальнего устройства. Так же попробуйте копировать один файл, а потом запустить параллельно другой - и на микротике смотреть, увеличилась ли загрузка канала вторым потоком, или нет. И сделать подобные действия по всем направлениям.

МСК-СПБ btest между микротиками tcp 83 мегабита, а через проводник 20-25 мегабит

СПБ-МСК btest между микротиками tcp 80 мегабит, через проводник 70-80 мегабит

 

ситуация одинаковая на всех 4 провайдерах и 2 туннелях.

 

Скорость делится пополам :( при запуске 2 потоков.

Share this post


Link to post
Share on other sites

Получилось настроить OSPF через SSTP, маршрутами обменивается без падения. Скорость ужасная - 10-20 мегабит. В любую сторону. Делится при 2 потоках.

В общем, остаюсь пока на EOIP.

Share this post


Link to post
Share on other sites

Есть проблема с OSPF через EOIP и L2tp: падает линк если тип сети не nbma. Измучился. Маршруты на секунду появляются, затем в логах ospfv2 neighbor state change from full to down, туннель передергивается.

 

Может что-то не так? Тип сети OSPF вообще менять не надо, там все само определяется и исправно работает. Обрывы происходят по какой-то другой причине - например нарушение очередности следования пакетов.

 

Получилось настроить OSPF через SSTP, маршрутами обменивается без падения. Скорость ужасная - 10-20 мегабит. В любую сторону. Делится при 2 потоках.

В общем, остаюсь пока на EOIP.

 

L2TP поверх интернета работает быстрее, чем EoIP поверх интернета.

Share this post


Link to post
Share on other sites

Нахера тащить сюда ospf? Это стандартная виндовая бяка с тормозами самбы на длинных линках.

Я решил это проще - в каждой точке есть файловый сервер с ролью DFSR+DFSN, пользователям файлопомойка монтируеся по пути \\domain.ltd\sharename.

Пользователь фактически работает всегда с локальными данными. В моем случае проблема с каналами не имеет решения, т.к. физику обмануть не выходит. Из всех типов туннелей, которые доступны на тике лучше всего показал себя l2tp с ipsec.

sstp/ovpn показали самые худшие результаты.

Share this post


Link to post
Share on other sites

Есть проблема с OSPF через EOIP и L2tp: падает линк если тип сети не nbma. Измучился. Маршруты на секунду появляются, затем в логах ospfv2 neighbor state change from full to down, туннель передергивается.

 

Может что-то не так? Тип сети OSPF вообще менять не надо, там все само определяется и исправно работает. Обрывы происходят по какой-то другой причине - например нарушение очередности следования пакетов.

 

Получилось настроить OSPF через SSTP, маршрутами обменивается без падения. Скорость ужасная - 10-20 мегабит. В любую сторону. Делится при 2 потоках.

В общем, остаюсь пока на EOIP.

 

L2TP поверх интернета работает быстрее, чем EoIP поверх интернета.

 

Отваливается туннель только на одном роутере, в СПБ. В МСК все чисто по логам. Не победил пока. В инетах пишут что дублируются маршруты, поэтому и валится туннель.

Тестил разные провайдеры, МТU... не помогло. Сегодня продолжаю изыскания.

L2TP также отваливалось с OSPF как и EOIP, а также отваливается при добавлении статичного роута.

 

Нахера тащить сюда ospf? Это стандартная виндовая бяка с тормозами самбы на длинных линках.

Я решил это проще - в каждой точке есть файловый сервер с ролью DFSR+DFSN, пользователям файлопомойка монтируеся по пути \\domain.ltd\sharename.

Пользователь фактически работает всегда с локальными данными. В моем случае проблема с каналами не имеет решения, т.к. физику обмануть не выходит. Из всех типов туннелей, которые доступны на тике лучше всего показал себя l2tp с ipsec.

sstp/ovpn показали самые худшие результаты.

Я тестил напрямую до сервера, выносил его голой ж... мордой в интернет - скорость была на уровне скорости интернет-канала, а значит дело в криво настроенных туннелях или специфике работы в микротике.

Share this post


Link to post
Share on other sites

Для маршрутизации нужно OSPF использовать - с ним скорость будет самая высокая.

Расскажите пожалуйста чайнику, как прокол выбора маршрутов влияет на скорость линка?

 

MetrS

L2TPv3 ethernet pseudowire? Или L2TP клиент-серверный? Опыт использования говорит в пользу L2TPv3, который дает L2 поверх L3. Ethernet pseudowire без соединений, динамическая маршрутизация работает нормально, link-detect всегда считает, что тунельный интерфейс в состоянии UP, реальная связь там не важна, соединение всегда отваливается по "dead interval"

Как вариант, с помощью статических маршрутов можно прибить гвоздями каждый тунель к конкретному провайдеру.

Работа openvpn поверх tcp позволяет компенсировать небольшие потери трафика в канале, но сильно просаживает скорость.

На тилеровских процессорах свежие ядра ведут себя странно, спонтанные падения на девките под нагрузкой, причина пока не ясна, возможно, вешается матрица ускорения фильтрации и маршрутизации трафика. По работе их ковыряю. Кристалл топовый. Для своих я забил на мудохание с микротиками и сделал самосборы на младших атомах с загрузочной флешкой с минимальным образом линукса, собранным cross-emerge'ем. Пропускная способность - 162~164Kpps без тунелирования. Для справки: Cisco 2821 не менее 100Kpps, до 128Kpps без тунелей в зависимости от фазы луны.

Я тестил напрямую до сервера, выносил его голой ж... мордой в интернет - скорость была на уровне скорости интернет-канала, а значит дело в криво настроенных туннелях или специфике работы в микротике.

Пускать встроенные в микротики тестеры скорости занятие неблагодарное: поскольку это софтроутер, то разница между замерами "изнутри" и под внешней нагрузкой сильно различается. Я привел свои цифры под внешней нагрузкой, RFC2544, генератор Spirent SPT-N4U c двумя платами по 12 гигабитных комбо портов.

Share this post


Link to post
Share on other sites

Для маршрутизации нужно OSPF использовать - с ним скорость будет самая высокая.

Расскажите пожалуйста чайнику, как прокол выбора маршрутов влияет на скорость линка?

 

MetrS

L2TPv3 ethernet pseudowire? Или L2TP клиент-серверный? Опыт использования говорит в пользу L2TPv3, который дает L2 поверх L3. Ethernet pseudowire без соединений, динамическая маршрутизация работает нормально, link-detect всегда считает, что тунельный интерфейс в состоянии UP, реальная связь там не важна, соединение всегда отваливается по "dead interval"

Как вариант, с помощью статических маршрутов можно прибить гвоздями каждый тунель к конкретному провайдеру.

Работа openvpn поверх tcp позволяет компенсировать небольшие потери трафика в канале, но сильно просаживает скорость.

На тилеровских процессорах свежие ядра ведут себя странно, спонтанные падения на девките под нагрузкой, причина пока не ясна, возможно, вешается матрица ускорения фильтрации и маршрутизации трафика. По работе их ковыряю. Кристалл топовый. Для своих я забил на мудохание с микротиками и сделал самосборы на младших атомах с загрузочной флешкой с минимальным образом линукса, собранным cross-emerge'ем. Пропускная способность - 162~164Kpps без тунелирования. Для справки: Cisco 2821 не менее 100Kpps, до 128Kpps без тунелей в зависимости от фазы луны.

Я тестил напрямую до сервера, выносил его голой ж... мордой в интернет - скорость была на уровне скорости интернет-канала, а значит дело в криво настроенных туннелях или специфике работы в микротике.

Пускать встроенные в микротики тестеры скорости занятие неблагодарное: поскольку это софтроутер, то разница между замерами "изнутри" и под внешней нагрузкой сильно различается. Я привел свои цифры под внешней нагрузкой, RFC2544, генератор Spirent SPT-N4U c двумя платами по 12 гигабитных комбо портов.

L2TP клиент-серверный

Share this post


Link to post
Share on other sites

Меняйте. Как вариант, на gre, ipip, если L2TPv3 нету. По ним ospf ходить должен, должен протухать по dead interval, если отвалился.

Share this post


Link to post
Share on other sites

Меняйте. Как вариант, на gre, ipip, если L2TPv3 нету. По ним ospf ходить должен, должен протухать по dead interval, если отвалился.

Извиняюсь за глупый вопрос: а где искать L2TPv3 в микротике? Очень куцая инфа в гугле

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now