Здравствуйте!
Столкнулся с удивительной проблемой: у исходящего TCP трафика не происходит window update, в результате чего скорость крайне маленькая (1-2мбит).
Схема подключения такая:
клиент -> свич -> PPP NAS -> свич -> NAT BOX -> внешка
Все это добро подключено через гиговые порты, т.е. проблемы буферов нет (LACP на 2 порта у NAS и на 4 порта у NAT BOX, я пробовал их разваливать до одного порта - это не помогает).
PPP NAS занимается терминацией, NAT BOX - BGP+шейпер+NAT. Все это добро на linux 3.2.
До региональный и городских точек все нормально - и исходящий в иходящий в норме, но как только мы начинаем тест до москвы/забугра, так сразу исходящая резко падает с ростом RTT (>80мс).
Проверяем через iperf3 и speedtest.net
Клиент при подключении ppp (не важно - pptp, pppoe или l2tp) получает входящий поток в силу своих возможностей (в районе 300мбит), но исходящий от него колеблется от 1 до 3мбит.
Если этого же клента подключить по подключению не используя PPP (gre/ipip-тунель, vlan, untagged ethernet), то исходящего он может нагенерить в районе 50 мегабит, и все это пролазит.
UDP исходящий при этом всегда стабильно высокий и без потерь.
Меняем клиента на чистую Win7 с тесового ноутбука - ситуация повторяется.
Сняли дампы со всех интерфейсов по цепочке:
В случае с ppp они оказались полностью идентичны за исключением переговоров по MSS при разном MTU. При одинаковом - как зеркало. С ответной стороны не приходит ни tcp window update (а если и приходит - то один-два а весь сеанс) ни tcp window full
В случае с другим типом подключения - пакеты валят как бешенные, окно растет потоянно, есть незначительный reordering.
Что делалось и не помогает:
- смена MTU на всех интерфейсов до тунельного (на ethernet с пониженым MTU скорость также высокая)
- подкинуть реальный IP и выключить conntrack на NAS и NAT BOX
- полностью выключить шейперы (исходящий и входящий)
- Полное отключение offload на сетевухах в цепочке
Что помогает:
- Задушить исходящую шейпером до ~20мегабит, тогда окно начинает увеличиваться. От 1 до 20 мегабит скорость растет, дальше начинает резко падать. Совсем без шейпера - также низкая.
Вот пример iperf до амстердама:
gre-тунель до NAS, MTU=1420
pppoe до NAS, MTU=1420
Т.к. tcp window update посылает удаленный хост, а не локальный, напрямую я повлиять на все хосты интернета я не могу, то определенно должно быть условие, при котором окно начнет увеличиваться.
Но что это за условие?
Проблема определенно в pppd. Но что в ним не так? Обновил до последнего git-среза, но проблему это не решило.
