[stalker86]

Коллеги -помогите пожалуйста отдебажить такую проблему.

 

На скоростных тарифах (выше 80 мбит) наблюдаюся проблемы в виде пилы на графиках, но что интересно наблюдаюся только через 1 апплинка.

на тарифе в 100 на этом апплинке скорость вообще выше 85 не поднимается. При том что на 2 апплинке на этом же тарифе ровно 94-95 мбит.

В дампах множество

 

 

131463 14.673056 xx.zz.63.221 mm.nn.249.51 TCP 74 [TCP Dup ACK 131455#1] 43824→8080 [ACK] Seq=452 Ack=17525225 Win=2377472 Len=0 SLE=17530825 SRE=17532225 SLE=17528025 SRE=17529425

131464 14.673065 zz.zz.63.221 mm.nn.249.51 TCP 74 [TCP Dup ACK 131455#2] 43824→8080 [ACK] Seq=452 Ack=17525225 Win=2377472 Len=0 SLE=17530825 SRE=17533625 SLE=17528025 SRE=17529425

..

131469 14.673582 mm.nn.249.51 xx.zz.63.221 TCP 1454 [TCP Fast Retransmission] [TCP segment of a reassembled PDU]

131470 14.673584 mm.nn.249.51 xx.zz.63.221 TCP 1454 [TCP Retransmission] [TCP segment of a reassembled PDU]

 

Но при этом если трафик пустить через 2 апплинка - всё Ок. даже на тарифе в 100 ровный график.

 

Проблема наблюдается как со спидтестами на стороне 2 линка, так и при прочих видах трафика через него (в том числе если качать что-то с mirror.yandex/yutube)

 

Схема подключения апплинков такая

 

на стыке с 1 апплинком d-link (dgs-3200) -оптика - cisco 6500 - bgp router (freebsd 9.3+lagg из 2 интерфейсов 802.3ad) - cisco 6500 - bras (SE100)

С этим линком проблем нет

 

2 линк SNR S2990 -оптика - cisco 6500 - bgp router (freebsd 9.3+lagg из 2 интерфейсов 802.3ad) - cisco 6500 - bras (SE100)

 

Со стороны bgp 2 LAGG -1 смотрит со стороны uplink, второй со стороны downlink. Оба 802.3ad и приземляются на 65 циску.

 

Что было сделано - собраны lagg 2 штуки. До того их не было. оба апплинка просто приземлялись в 1 дырку (полоса была менее гигабита)

был заменён коммутатор на стыке с пробелмным апплинком (до этого там стояло нечто c лейбом циски SG300-28)

 

Далее. со стороны проблемного апплинка в нашу сторону оказался включен jumbo frame - выключили. Стало значительно лучше. Пила не такая ярко выраженная.

 

Далее - проблему воспроизвёл на стенде.

Тестовая схема до браса получилась такая:

 

test PC - d-link 1228ME - SNR S2990G - fiber to cisco 6500 - bras

 

тестировал разумеется в отдельном влане без других абонентво и так далее.

Когда PC воткнут в гигабитный порт - пила, удалось избавится от неё увеличив burstи скорость в пределах тарифной.

Но если комп переключить в 100 порт то скорость с трудом доходит до 85 и пилооразно. Скачками и так далее.

И такая проблема только с 1 апплинком. 2 апплинк при этом показывает более адекватные результаты.

 

полок попути до проблемного апплинка нет и более того ещё и расширили его почти в 2 раза. (планировалось в его стороу больше приоритет сделать).

ради интереса на роутере отключал tcp sack -кардинально на ситуацию не повлияло.

 

 

Изначальную пилу у себя удалось вылечить, когда увеличил burst - их считал по формуле, которая была в документах от SE100

То есть Burst = Rate*1/8.

Но вот если тестовый клиент в 100 порту и тариф свыше 80... вылечить не удалось. Повторю - частично помогло отключение jumbo frames со стороны апплинка.

проблемный апплинк разводит руками. У меня тоже идеи кончились.

Требуется помощь зала.

 

Да изначально кога занимался даннй проблемой LAGG не было и были подозрения что узкое место -сететвая карта. была заменена на 2 портовку и собран LAGG.

 

Шейпер на BRAS (SE-100)

 

qos policy 102400_Meter metering

rate 102400 burst 13107200

!

qos policy 102400_Police policing

rate 102400 burst 13107200

[vlad11]

TCP 1454

 

У вас серьезные проблемы с MTU.

[stalker86]

Уху. Вопрос на засыпку где.

Я почему-то грешу болье на брас, так как в нём пришлось на мультибинд интерфейсе вешать

 

interface subscribers multibind lastresort

description for nat users

ip unnumbered LOOPBACK

ip tcp mss replace 1400

....

 

Причём сию опцию тогда ещё интегратор выдал.

 

Без неё, даже несмотря на nat fragments не проходят даже крупные пинги без флага запрета фрагментации.

 

В общем-тов осталыьтх местах mtu стандартное -1500.

никаких MPLS и прочих туннелей нет.

[Diman_xxxx]

А что более вероятно может слегка подрезать скорость абоненту: в биллинге 100, аплинк доступа 1000, порт 100 клиента, свич древний 3526/3028 с актуальной по - скорость 95 мбпс туда и обратно стабильно и всегда, по идее на тарифах до 100, все нарезалось точно как в аптеке. Мерилось обычно спидтестом.

Кто недовешиват 5 мегабит ?

Да простит меня ТС )

[rdc]

100M на порту - это 100M включая межпакетные интервалы, заголовки tcp, заголовки ip, заголовки ethernet, служебные пакеты arp и прочее.

Спидтест же меряет только полезную инфу, без учёта перечисленного.

[Diman_xxxx]

По идее так и думал, но вдруг переубедит кто-ни-то) Спасибо!

Выход только 1000 порт ?

[rdc]

или 95 тариф)

[stalker86]

Да понятно что ровно 100 не будет. Но пробемы есть уже на тарифах овер 70 мегабит. На 80 уже начинаюся ощутимые неровности.

Но вопроса 2

1) почему с трафиком от другого апплинка ситуация довольно резко отличается (при том что до полок далеко)

2) здесь недовесок на download аж 15-20 мбит..а не 5-10... При том аплоад и на проблемном апплинке всё таки лучше чем download

 

Да у абонентов по большей части стоят DES-3200-52

1228 это то что попалось под руки дабы собрать стенд

[disappointed]

А в целом на предмет потерь проверяли?

Походит на какой-то полисинг RED у проблемного аплинка. Или rate-limit с забытым ничтожным burst.

[stalker86]

потери по icmp/прчолему 1 делом проверил. тут всё чисто. а вот на реальном трафике пробемы всплыли.

Ну вот сегодня пока деюажили проблемный апплинк у себя нашёл включенный попути ко мне jumbo frame. аж в 2 местах. Но до окнца оно проблему не решило. У пробдемного апплинка шейпится на джунипере. конфиг скинули. там ничего криминального так же.

Ну и опять же сильно опечалило ещё то что на 100 мбитном порту проблема проявляется ещё хлеще. пока я был на гигабитном порту у себя проблему не замечал.а вот сегодня для теста воткнул себя в 100 порт и увидел проблему своими глазами. На гигабитном порту удалось вылечить пилу указав более правильые величины для бёрста. а на 100 - 0 эффекта.

ну и опять же до потолка апплинка запас примерно 100-150 мбит.

 

Конфиг шейпера апплинка:

 

 

> show configuration interfaces ae14.307

 

vlan-tags outer 307 inner 2501; family inet {

 

policer {

 

input lim500M-0.5-drop;

 

output lim500M-0.5-drop;

 

}

 

address 79.126.122.109/30;

 

}

 

 

 

> show configuration firewall policer lim500M-0.5-drop

 

filter-specific;

 

if-exceeding {

 

bandwidth-limit 512m;

 

burst-size-limit 32m;

 

}

 

then discard;

[stalker86]

Есть идеи где ещё может быть собака зарыта?

[stalker86]

Хотя нет - для PPPoE вполне в норме. там же mtu 1492.

http://www.cisco.com/c/en/us/td/docs/ios/12_2sb/12_2sba/feature/guide/sb_admss.html

более того - даже по дампам PPPoE соседнего провайдера дома - бегает 1452. так что не оно.

Обновил сейчас прошивку на брасе. Заработало без ip tcp mss replace 1400 на интерфейсе multibind

Более того -исх трафик по тому же спидтесту/iperf вполне себе до 95 поднимается.

 

 

TCP 1454

 

У вас серьезные проблемы с MTU.