[65465132152]

Добрый вечер коллеги. Задало тут мне руководство загадку. Обрывается видео на пульте охраны. начал изучать топологию сети и понял что имеем множество удаленных объектов с видео камерами и регистраторами на них. Там стоят микротики с 4g модемами. У нас в серверной нашел микротик  CCR 1036. Пинги более 3000 мс до регистраторов. Начал смотреть конфигурацию, там поднят OpenVPN в нем подняд Eiop. и заведено несколько Vlan (видеонаблюдение и scada). Как можно переработать все это безобразие что бы увелисить скорость и уменьшить пинги?

[weedman]

Мое скроимное мнение- дело не в настройке, а в плохой связи с удаленными устройствами. из удаленных мест пробовали пинговать 1036? 

[65465132152]

из удаленных не пробовал. Но пинг с микротика до микротика намного лучше ( в первом посте забыл указать что 3000 мс это от места оператора до видеорегистратора на удаленном объекте.

SEQ HOST                                     SIZE TTL TIME  STATUS                                  
    0 10.1.1.89                                56  64 276ms
    1 10.1.1.89                                56  64 237ms

 

Пинг с места оператора до регистратора 1500 - 3000 мс. С места оператора до 8.8.8.8 примерно 40 мс. Не могу пока понять причину.
 

 

Читал что EoIP over OpenVPN вообще плохая штука. vpn еще через TCP настроен. Прошивка 6 версии

[weedman]

12 минут назад, 65465132152 сказал:

из удаленных не пробовал. Но пинг с микротика до микротика намного лучше ( в первом посте забыл указать что 3000 мс это от места оператора до видеорегистратора на удаленном объекте.

SEQ HOST                                     SIZE TTL TIME  STATUS                                  
    0 10.1.1.89                                56  64 276ms
    1 10.1.1.89                                56  64 237ms

 

Пинг с места оператора до регистратора 1500 - 3000 мс. С места оператора до 8.8.8.8 примерно 40 мс. Не могу пока понять причину.
 

 

Читал что EoIP over OpenVPN вообще плохая штука. vpn еще через TCP настроен. Прошивка 6 версии

Попробуйте пинговать с удаленного внешний адрес 1036, с удаленного VPN адрес 1036. На сколько я понимаю, просесть там может только ЦПУ, но пигном вы его не просадите.

[jffulcrum]

34 минуты назад, 65465132152 сказал:

EoIP over OpenVPN вообще плохая штука. vpn еще через TCP настроен

Да, это плохо. Но если тащить VLAN, а точки без фикс.IP - то альтернатив мало. Вопрос, на который надо найти ответ - зачем тащить VLAN через туннель? Почему нельзя маршрутизировать на точках?

[65465132152]

Пингануть завтра попробую к ним доступа нет. А вот к главному есть и буду сейчас дальше смотреть из дома .

Вланы там нужны отделу асу. У них скады работают в одном из вланов. У видео тоже свой влан.

 

[weedman]

13 минут назад, 65465132152 сказал:

Пингануть завтра попробую к ним доступа нет. А вот к главному есть и буду сейчас дальше смотреть из дома .

Вланы там нужны отделу асу. У них скады работают в одном из вланов. У видео тоже свой влан.

 

Проверьте за одно возможные проблемы с мту, а то там уже много слоев, у меня с EoIP по началу были с этим проблемы

[65465132152]

Как мту проверить? Что не так с ним ?

[fractal]

48 минут назад, 65465132152 сказал:

Пингануть завтра попробую к ним доступа нет. А вот к главному есть и буду сейчас дальше смотреть из дома .

Вланы там нужны отделу асу. У них скады работают в одном из вланов. У видео тоже свой влан.

 

Тянуть через lte vlan, это что то из ряда колхоза, но что поделать раз так сделали, видимо L3 не осилили тот кто городил... Вообщем, верно Вам советуют, более вероятная проблема lte, на него влияет все что угодно, если тянуть влан, то я бы делал на wireguard + eoip, ну и l2tp + eoip тоже хорошо работает. 

[65465132152]

Тестирую Open VPN из дома. Канал дома 250 мс/с. на микротике в серверной 100 мб/с.

Пинг с домашнего компа до микротика в серверной 34 - 46 мс

 

[Saab95]

МТУ уменьшите на туннеле и станет нормально работать. Часто у сотовых операторов проблемы с прохождением больших пакетов или нарушением их очередности, вообще хватит и просто L2TP без всяких опенвпн. Если он работает по TCP то там гарантированная доставка пакетов, а в случае потерь это сильно увеличивает пинг.

[65465132152]

Знать бы где ещё уменьшить? В каком окошке и до скольки 

[weedman]

10 часов назад, 65465132152 сказал:

Знать бы где ещё уменьшить? В каком окошке и до скольки 

В настройках VPN-соединения. Возможно, чтобы отвязаться от vlan, но оставить L2 и сегментацию, можно поднять несколько EoIP до одной точки и гонять разные сегменты через них. Не знаю на сколько верное решение, кто-нибудь прокомментирует.

Edited February 10, 2023 by weedman

[65465132152]

С двух сторон уменьшать? Тут в сервере?

Слышал можно пинговать с запретом фрагментации. Это может помочь узнать mtu&

[jffulcrum]

1 час назад, weedman сказал:

можно поднять несколько EoIP до одной точки и гонять разные сегменты через них. Не знаю на сколько верное решение, кто-нибудь прокомментирует.

Проблема в том, что это размножение мостов не только на точках, но и в центре. А значит умножение бродкаста в сети и оверхеда на точках, где, вероятно, и так не толстые каналы.

[65465132152]

На 1 из объектов iRZ RL21w.  Похоже на остальных тоже

[weedman]

3 часа назад, 65465132152 сказал:

С двух сторон уменьшать? Тут в сервере?

Слышал можно пинговать с запретом фрагментации. Это может помочь узнать mtu&

Пингом проверяйте с запретом фрагментации, все верно

 

[jffulcrum]

1 час назад, 65465132152 сказал:

iRZ RL21w

 

Штуковины интересные.

 

В целом, если пинг не обусловлен самими каналами, то делать L3, разделяя сеть на IP-подсети и ограничивая обмен правилами firewall как в центре, так и на точках. Уйдете от одного уровня вложенности, увеличится mtu, исчезнет широковещательный шум на WAN связи, повысится управляемость сети в целом. Обьектов в целом сколько?

[65465132152]

Там таких 2 устройства. 1 напрямую идет в регистратор видео наблюдения. Второе в куда в скаду. Отсюда у меня вывод что вполне возможно Eiop не сделан поверх open vpn. Это 2 разных соединения. Как это проверить только

 

не понимаю. пинг с терминала микротика до удалённого адреса EIOP туннеля маленький

ping 10.1.1.85
  SEQ HOST                                     SIZE TTL TIME  STATUS                                  
    0 10.1.1.85                                56  64 84ms 
    1 10.1.1.85                                56  64 88ms 
    2 10.1.1.85                                56  64 80ms 
    3 10.1.1.85                                56  64 79ms 
    4 10.1.1.85                                56  64 86ms 
    5 10.1.1.85                                56  64 118ms

 

пинг до остальных такой же. Но с операторского места иногда вообще пропадает. Я начанаю предпологать что есть что то между оператором и микротиком

[HarDik]

Нужно копать конфиг, для этого нужны знания и понимание, проблема решается за день два.

Если нет этого, проще все сломать и заново настроить все с нуля...

[weedman]

2 часа назад, 65465132152 сказал:

Там таких 2 устройства. 1 напрямую идет в регистратор видео наблюдения. Второе в куда в скаду. Отсюда у меня вывод что вполне возможно Eiop не сделан поверх open vpn. Это 2 разных соединения. Как это проверить только

 

не понимаю. пинг с терминала микротика до удалённого адреса EIOP туннеля маленький

ping 10.1.1.85
  SEQ HOST                                     SIZE TTL TIME  STATUS                                  
    0 10.1.1.85                                56  64 84ms 
    1 10.1.1.85                                56  64 88ms 
    2 10.1.1.85                                56  64 80ms 
    3 10.1.1.85                                56  64 79ms 
    4 10.1.1.85                                56  64 86ms 
    5 10.1.1.85                                56  64 118ms

 

пинг до остальных такой же. Но с операторского места иногда вообще пропадает. Я начанаю предпологать что есть что то между оператором и микротиком

Я бы, на вашем месте, зашел на удаленный микрот и сделал пинг на всех уровнях до 1036. То есть сначала просто до белого адреса, потом адрес VPN, потом адреса EoIP. Кроме того, проверил пинги до устройств за этими микротиками. Ищите, где будет пинг расти.

[Saab95]

Напишу еще раз, представим что у нас 2 туннеля, первый это L2TP (OVPN), он передает данные через интернет пакетами размера 1500 байт, из-за оверхеда реальный МТУ для передачи без фрагментации меньше, для простоты укажем что это 1450 байт.

 

То есть при передаче данных меньше 1450 байт через туннель они идут без фрагментации, а если передавать 1500 то пойдут 2 пакета, первый это 1450 байт и второй довесок на 50.

 

Дальше у вас есть EoIP туннель, который так же передает данные пакетами по 1500 байт, но из-за оверхеда реальный МТУ передачи одного пакета пусть тоже будет 1450 байт. И если идет передача данных 1500 байт снова идут 2 пакета.

 

Теперь получается так, EoIP передает данные L2 размером 1500 или более байт (у вас же вланы):

 

1. EoIP генерирует первый пакет данных 1500 байт.

2. L2TP генерирует первый пакет данных 1500 байт, в него не влезает вся посылка 1500 байт от EoIP туннеля, генерирует второй пакет данных для передачи остатков этого пакета.

3. EoIP генерирует второй пакет данных менее 1500 байт.

4. L2TP генерирует третий пакет данных для передачи остатка данных EoIP туннеля.

 

Тут данные EoIP туннеля разбиваются на целых 3 пакета для передачи, вместо двух.

 

Поэтому нужно проверить реальный МТУ канала. ВАЖНО - иногда через сотовых операторов МТУ 1500 проходит с ошибками или потерями и данные теряются, целесообразно уменьшать МТУ до 1400 или иногда до 1300.

 

Далее установить параметр МТУ туннеля EoIP равный максимальному пакету для передачи через L2TP (OVPN) канал. В таком случае посылка через EoIP пойдет такого размера, что этот пакет будет передан через L2TP (OVPN) туннель без фрагментации в туннеле, и вторым пакетом так же без фрагментации пойдет довесок. Задержка уменьшится на 1/3.

[65465132152]

Спасибо за развернутый ответ. попробую уменьшить размер.

Микротик раньше не пинговал наш шлюз. Выяснил это случайно. Включил на нем DHCP клиента и он не получал адрес. Отключил на бридже DHCP snooping, прописал route (синим стал). Перезагрузил и он начал пинговать наш шлюз. С клиента видеонаблюдения до регистратора пинг тоже упал до 100- 200 мс. Видео показывало 2 дня без сбоев. Думал проблему победил. Включил логи. Перезагрузил микротик. Видео и скада отключились. На микротике зафиксировал bridge port received packet with own address as source address (мак бриджа) probably loop. Нажал на интерфейса Reset Mac. Включил на интерфейсе Loop Protect = yes. перезагрузим микротик. Видео поднялось. Скады нет. отключил Loop protect и сразу поднялись скады. В общем до меня говорят человек 10 пытались его победидь.

 

На одном из объектов был teleofis gtx400 с прошивкой от микротика.

 

 

еще выходят ошибки 

ovpn

packet with wrong keyID 5, expected 6, dropping

duplicate packet, dropping

 

 

 

[Saab95]

Если у вас микротик является тупиковой точкой для всех туннелей, вы на нем как все эти вланы забираете? Не может быть, что данные по каким-то каналам обратно уходят в сторону удаленных точек, от чего кольца или дубликаты маков появляются.

[65465132152]

Этот микротик дальше идет в нашу локальную сеть. конкретно только в vlan видео наблюдения и парочку vlanov скадов. Видел ошибки host (mac) DA changed ports: eiop-tunel_7_vlan_55 to vlan55_to_vpn4. как я понял происходит частая смена интерфейса. Так же на клиенте микротика eiop-tunel_7_vlan_55 bridge portreceived packet with own address as source address (mac) propably loop.

На главном микротике нет NAT вот думаю надо его включать. может из за этого