Posledny Izgoi Posted July 29, 2015 Добрый день, уважаемые коллеги. Имею следующий конфиг: Интернет приходит в Микротик на обычном писюке, в микротике поднято PPPoE соединение и NAT. Потом это все уходит к вышестоящему роутеру. Работает прекрасно. Поставлена была задача сунуть микротик в виртуалку. В качестве гипервизора стоит ProxMox, железные сервера Intel и IBM. Для начала провел испытания на резервном канале интернета. Провайдер дает тупо белый адрес, маску и шлюз. Провод провайдерский сунут в коммутатор в access-порт вилана, установлена KVM-ка с микротиком, настроена, работает прекрасно. Соответственно добавлено к ней 2 виртуальных сетевухи, одна без VLAN, вторая забирает VLAN, в котором провайдер. Работает прекрасно. Теперь проблема: точно такая же виртуалка, с точно таким же конфигом но с PPPoE поверх VLAN-а с провайдером. Подключается, работает, канал утилизируется полностью, но с разной периодичностью на PPPoE интерфейсе наблюдается 0bps и 0p/s на 4-6 секунд. PPPoE при этом не рвется, после все просирается и дальше идет трафик. Что пробовал - менял физические сервера, менял настройки KVM, разные виртуальные сетевые карты, MTU/MRU - изменений нет. На хосте пробовал Linux Bridge и Open V Switch - изменений нет. Тегирующие коммутаторы менял - изменений нет. Гугл копал - у всех все прекрасно, в том числе PPPoE over VLAN. Что я упускаю? UPD: нули наблюдаются в полях Rx Packet Rate и Rx Packets на микротике. tcpdump-ом смотрел на хосте интерфейс с VLAN-ом провайдерским, в эти моменты тупо нет ответных пакетов. Это происходит как при полной утилизации канала, так и при пустом канале. Сервер при этом не загружен, кроме KVM-ки с микротиком на нем ничего нет. Под виртуалки выделен отдельный физический адаптер. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Posledny Izgoi Posted July 29, 2015 Проблема не в KVM, сейчас полностью исключена виртуализация - симптомы остались. Есть ли какие-либо ньюансы пропускания PPPoE внутри VLAN-а? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
nuclearcat Posted July 29, 2015 Mikrotik под x86 очень плохо поддерживают, он явно не в приоритете. Кто-то писал про это на форуме. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
shader Posted July 29, 2015 Проблема не в KVM, сейчас полностью исключена виртуализация - симптомы остались. Есть ли какие-либо ньюансы пропускания PPPoE внутри VLAN-а? обновите RouterOS Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vladimirslk Posted July 29, 2015 сетевая карта :) у меня с интелом гигабитным двух портовым прикол был. 5.26 - проблем нет, апгрейдим на 6.хх потери :) даунграйд - всё чупа-чупс Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Posledny Izgoi Posted July 29, 2015 (edited) Mikrotik под x86 очень плохо поддерживают, он явно не в приоритете. Кто-то писал про это на форуме. От него требуется по сути только NAT, больше ничего. обновите RouterOS Тестировал на RB750, там не особо свежая версия, 6.х вроде бы. В KVM 6.30.1, предпоследняя. На обоих воспроизводится. сетевая карта :) у меня с интелом гигабитным двух портовым прикол был. 5.26 - проблем нет, апгрейдим на 6.хх потери :) даунграйд - всё чупа-чупс У меня Broadcom NetXtreme II BCM5709 на одном сервере, Intel 82574L на другом, на обоих воспроизводится. Ну и если сунуть напрямую шнурок с VLAN-ом, в котором провайдер, в RB750, то тоже воспроизводится. Проблема имхо не в железе. Завтра попробую еще парочку коммутаторов потестить и попробую откатить на RB750 RouterOS. Коммутаторы пробовал D-Link DES-1100 и Netgear Prosafe gs105ge. Попробую еще HP. Спасибо! Edited July 29, 2015 by Posledny Izgoi Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
SUrov_IBM Posted July 29, 2015 Posledny Izgoi, доброго времени суток. Как предположение: Возможно, проблема кроется в IP MTU на интерфейсе маршрутизатора (Mikrotik), через который в тегированном состоянии проходит Ваш VLAN (внутри которого PPPoE). У меня, при похожей схеме (софт маршрутизатор FreeBSD) на физическом интерфейсе, через который проходят несколько VLAN в тегированном состоянии установлено IP MTU 1504. Соответственно на виртуальных интерфейсах (использующихся для растегирования), образованных от этого физического, IP MTU 1500 (стандартное). В моём случае, поправка в 4 байта на физическом интерфейсе маршрутизатора, сделана для корректного прохождения тегированного трафика. Поскольку при использовании стандартного Ethernet MTU 1500 инкапсуляция в VLAN добавляет 4 байта. Задать значение MTU более 1500 на физическом интерфейсе, позволяют не все сетевые карточки. Всё зависит от «железного» чипа и драйвера под конкретную ОС. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Posledny Izgoi Posted July 30, 2015 Решено. Косячил Netgear. Поставил вонючий DIR-100, прошитый под VLAN-ы - все стало прекрасно. Правда подмешался multicast провайдерский в локалку и разломал мне ProxMox-кластер, но это уже другая история и ее тоже удалось решить. Спасибо всем за ценные советы! Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vladimirslk Posted July 30, 2015 Mikrotik под x86 очень плохо поддерживают, он явно не в приоритете. Кто-то писал про это на форуме. От него требуется по сути только NAT, больше ничего. обновите RouterOS Тестировал на RB750, там не особо свежая версия, 6.х вроде бы. В KVM 6.30.1, предпоследняя. На обоих воспроизводится. сетевая карта :) у меня с интелом гигабитным двух портовым прикол был. 5.26 - проблем нет, апгрейдим на 6.хх потери :) даунграйд - всё чупа-чупс У меня Broadcom NetXtreme II BCM5709 на одном сервере, Intel 82574L на другом, на обоих воспроизводится. Ну и если сунуть напрямую шнурок с VLAN-ом, в котором провайдер, в RB750, то тоже воспроизводится. Проблема имхо не в железе. Завтра попробую еще парочку коммутаторов потестить и попробую откатить на RB750 RouterOS. Коммутаторы пробовал D-Link DES-1100 и Netgear Prosafe gs105ge. Попробую еще HP. Спасибо! не знаю чем нетгеар не угодил, у меня работают вполне себе. может вы их готовите неправильно :))) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Posledny Izgoi Posted July 30, 2015 не знаю чем нетгеар не угодил, у меня работают вполне себе. может вы их готовите неправильно :))) Да всем угодил, хороший коммутатор, только вот давал непонятные симптомы. На нем кстати был включен IGMP Snooping, может из за этого были такие симптомы, в первом посте описано. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...