Load balancing 2-3 DPI CKAT Juniper MX

[Avensis]

Здравствуйте!
Пытаюсь отбалансировать трафик между 3 dpi с поднятым на нем cgnat. Схема подключения - в разрыв. Собственно, джунипер - dpi - джунипер. Подняты 3 ибгп сессии через них.
При балансировке с исп'ами проблем не возникает ( используя load-balancing по обычной схеме тык ). Но если у нас вместо исп'во стоят наты, сессии для клиентов идут по разным dpi и появляются проблемы с клиент-банками у абонентов ( и не только )...
Стандартный конфиг при настройке балансировки:

policy-statement load-balance {
        then {
            load-balance per-packet;

routing-options {
	forwarding-table {
        export load-balance;
    }

Ну и соответственно включенный multipath на ибгп.

Возможно, кто-нибудь реализовывал данную схему?
Буду благодарен за любые советы:)

[Victor Tkachenko]

@Avensis здравствуйте!

Для соблюдения симметричности прохождения трафика можно точечно анонсировать префиксы, соответствующие NAT-пулам.

Например, как на приложенной картинке, поднимаете по одной eBGP-сессии между агрегацией и бордером на каждый установленный СКАТ DPI. С бордера на агрегацию через все сессии анонсируете дефолт, а в обратном направлении префиксы, соответствующие NAT-пулам.

При этом желательно на агрегации балансировать ECMP по source-ip-only, чтобы каждый абонент фиксировался за конкретным NAT. Также стоит применить resilient-hash, чтобы при выходе из строя какой-либо сессии не пересчитывалась вся таблица балансировки.

 

 

 

[Avensis]

Здравствуйте!

1 час назад, Victor Tkachenko сказал:

Для соблюдения симметричности прохождения трафика можно точечно анонсировать префиксы, соответствующие NAT-пулам.

В данный момент так все и реализовано.

Цитата

 

При этом желательно на агрегации бал ансировать ECMP по source-ip-only , чтобы каждый абонент фиксировался за конкретным NAT.]

 

 

Скорее всего это мне и нужно. Проблема возникает на этом этапе.
Единственное, не подскажите, с какой версии JunOS поддерживается данная функция? У меня даже нет таких команд, следуя мануалу ...
В данный момент у меня 15.1R7.9

Edited January 27, 2020 by Avensis

[Victor Tkachenko]

https://apps.juniper.net/feature-explorer/feature-info.html?fKey=7255&fn=New load-balancing options using source or destination IP address only

 

13 часов назад, Victor Tkachenko сказал:

Также стоит применить resilient-hash, чтобы при выходе из строя какой-либо сессии не пересчитывалась вся таблица балансировки.

В случае с MX это называется consistent-hash.

https://www.juniper.net/documentation/en_US/junos/topics/task/configuration/policy-load-balancing-consistent-ecmp-configuring.html

[Avensis]

6 часов назад, Victor Tkachenko сказал:

https://apps.juniper.net/feature-explorer/feature-info.html?fKey=7255&fn=New load-balancing options using source or destination IP address only

 

В случае с MX это называется consistent-hash.

https://www.juniper.net/documentation/en_US/junos/topics/task/configuration/policy-load-balancing-consistent-ecmp-configuring.html

Спасибо за ответы, обновлюсь на версию выше.

[smelnik]

А нельзя между двумя MX собрать ae и использовать symmetrical load-balance?

https://www.juniper.net/documentation/en_US/junos/topics/topic-map/load-balancing-aggregated-ethernet-interfaces.html#id-symmetrical-load-balancing-on-an-8023ad-lag-on-mx-series-routers-overview

 

С consistent-cache засада:

We strongly recommend that you apply consistent load balancing to no more than a maximum of 1,000 IP prefixes per router or switch.

[orlik]

symmetrical lb гарантирует симметричную балансировку по флоу, что вам явно не подойдет. 

Вам достаточно будет включить балансировку по src-ip . consistent hash вещь полезная и удобная , но не в вашем случае .

 

17 hours ago, Victor Tkachenko said:

В случае с MX это называется consistent-hash.

https://www.juniper.net/documentation/en_US/junos/topics/task/configuration/policy-load-balancing-consistent-ecmp-configuring.html

 

Только нужно не забывать что балансировка по src-ip и consistent одновременно включить нельзя 

 

[Avensis]

@orlik @Victor Tkachenko 
Обновился до 16.2R2.8.
Теперь использую балансировку по src-ip ( https://www.juniper.net/documentation/en_US/junos/topics/task/configuration/load-balancing-using-src-or-dst-ip-only-configuring.html )
Собственно, после включения балансировки начали наблюдаться проблемы с ftp,rdp, личным кабинетом Сбербанка...

Пробовал изменять длину префикса в [edit forwarding-options enhanced-hash-key] и, примерно, с длиной префикса в 27 фтп работает через раз.. В других же случаях почти сразу дропает.
Может сталкивались с подобным поведением?

[orlik]

1) какие карты у вас установлены , MPC/DPC ? 
2) балансировка по src-ip включена на каком из 2х MX (до ната или после) ? 

[Victor Tkachenko]

@Avensis все DPI подключены к одному маршрутизатору?

Вообще похоже, что балансировка и по порту осуществляется, в итоге разные потоки попадают в разные пулы NAT.

Также стоит убедиться, что сам DPI мапит разные сессии одного абонента в один IP.

[orlik]

4 hours ago, Avensis said:

Собственно, после включения балансировки начали наблюдаться проблемы

А до включения балансировки , проблем не было ?

[Avensis]

15 минут назад, orlik сказал:

1) какие карты у вас установлены , MPC/DPC ? 
2) балансировка по src-ip включена на каком из 2х MX (до ната или после) ? 

1) MPC

root@MX> show chassis fpc pic-status
Slot 1   Online       MPC 3D 16x 10GE
  PIC 0  Online       4x 10GE(LAN) SFP+
  PIC 1  Online       4x 10GE(LAN) SFP+
  PIC 2  Online       4x 10GE(LAN) SFP+
  PIC 3  Online       4x 10GE(LAN) SFP+
Slot 2   Online       MPC 3D 16x 10GE
  PIC 0  Online       4x 10GE(LAN) SFP+
  PIC 1  Online       4x 10GE(LAN) SFP+
  PIC 2  Online       4x 10GE(LAN) SFP+
  PIC 3  Online       4x 10GE(LAN) SFP+

{master}

2) Балансировка включена на аггрегации, до ната
 

 

10 минут назад, Victor Tkachenko сказал:

@Avensis все DPI подключены к одному маршрутизатору?

Вообще похоже, что балансировка и по порту осуществляется, в итоге разные потоки попадают в разные пулы NAT.

Также стоит убедиться, что сам DPI мапит разные сессии одного абонента в один IP.

Все сделано как на схеме:

Есть одно сомнение, если смотреть логи ната, немного трафика ( 1-2%) отображались на другом DPI, остальной же трафик шел через один DPI. Но абонентские сессии мапятся в один IP. Почему я и не могу понять, где может быть проблема.

 

10 минут назад, orlik сказал:

А до включения балансировки , проблем не было ?

До включения балансировки, сети вручную разбивались префиксами по линкам до DPI...
И проблем на них не наблюдается.
Начинаешь слать только дефолт и включаешь балансировку, все отлично балансируется, но проблемы с приложениями сразу вылезают...

[orlik]

ну есть достаточно простой способ проверить, берете адрес клиента у которого налюдаются проблемы и проверяете все сессии трансляция на обоих NAT коробках. Если вы видите трансляции только на одной коробке - то проблема не в балансировке. Если же вы для одного клиентского ip видите трансляции на обоих NAT то вы что-то неправильно настроили, но или что-то отрабатывает не так(в этом случае покажите show route extensive "ip клиента"). 

[Victor Tkachenko]

В 10.03.2020 в 14:44, Avensis сказал:

Есть одно сомнение, если смотреть логи ната, немного трафика ( 1-2%) отображались на другом DPI, остальной же трафик шел через один DPI.

Это про отдельных абонентов или трафик вообще?

Если сессии одного абонента все же раскидывает по разным DPI, желательно собрать больше информации о конкретных сессиях. Снизу только дефолтные eBGP-маршруты имелись или еще что-то было?

[Avensis]

Первоначально схема была с 3 СКАТами. При неизменной конфигурации балансировки добавил 4 СКАТ и о чудо - балансировка заработала. Исчезли проблемы и сессии перестали скакать.
Отлично, подумал я, и попробовал сделать так же с другой частью города. Добавил 4 СКАТ и столкнулся с тем же, что и было в прошлый раз. Сессии снова скачут, хотя по таблице видно, что балансировка работает. Перезапуск сессий никаких изменений не дал. Снова тупик...

Edited March 27, 2020 by Avensis

[Avensis]

Как ни странно, после включения network-services enhanced-ip и перезагрузки джунипера балансировка заработала.

[pingz]

@Avensis  Некоторые команды на Junipere применяются только после перезагрузки. Я вроде demux интерфейсом столкнулся в первый раз. Обычно в манах есть приписка, что работать будет после ребута. 

[Avensis]

В 11.04.2020 в 06:02, pingz сказал:

@Avensis  Некоторые команды на Junipere применяются только после перезагрузки. Я вроде demux интерфейсом столкнулся в первый раз. Обычно в манах есть приписка, что работать будет после ребута. 

Тоже так думал, но:

 

В 27.03.2020 в 09:46, Avensis сказал:

Первоначально схема была с 3 СКАТами. При неизменной конфигурации балансировки добавил 4 СКАТ и о чудо - балансировка заработала. Исчезли проблемы и сессии перестали скакать.
Отлично, подумал я, и попробовал сделать так же с другой частью города. Добавил 4 СКАТ и столкнулся с тем же, что и было в прошлый раз. Сессии снова скачут, хотя по таблице видно, что балансировка работает. Перезапуск сессий никаких изменений не дал. Снова тупик...

 

тут джунипер даже не перезагружался...