haverlinkfor Posted November 3, 2015 Posted November 3, 2015 (edited) Друзья, срочно нужна помощь. Столкнулись с проблемой низкой скорости по TCP протоколу через L2 VPN канал. Имеем стык с РТК через один физический порт, транком забираем 2 vlan: 101 - Интернет, 102 - L2 VPN в Город Б. На интерфейсе e0 на микротик_х86 создано 2 vlan (100,101) для Интернет канала 500 Mbps и L2 VPN 250 Mbps На интерфейсе e1 на микротик_х86 создан 1 vlan (102) Для одной из точек города А Клиенты, которые ходят в Интернет через L2 VPN стали жаловаться на низкую скорость. Проверяем связь встроенным bandwidth тестом Микротика (20 потоков по умолчанию) от точки Город А_микротик_х86 - Город_Б_ССR = 200 Mbps TCP (RTT=5ms). С каналом все в норме. Далее проверяем по схеме Город А_микротик_х86 - микротик в Интернете - 230 Mbps TCP (RTT=35ms) С Интернетом тоже норма, следуем дальше. Проверяем Город_Б_ССR - микротик в Интернете - 40 Mbps TCP (RTT=40ms) Вот оказывается почему жалуются клиенты. Делаю тест Город_А_ССR - микротик в Интернете - 210 Mbps TCP (RTT=3ms). Вопрос, почему из Города Б через L2 канал в Интернет такая низкая скорость по TCP, если следовать скорости от маршрутизатора к маршрутизатору, она должна быть порядка 170-180 Mbps TCP. Может ли быть причиной тому один порт стыка? Или же поставить еще одну сетевую в Микротик х86 для L2 канала? Тунелей никаких нет, добавлял правила tcp mss, безрезультатно Результаты тестов simplex, сделанных под некоторой нагрузкой живым трафиком. Есть еще одно странное поведение во время тестирования Город_Б_ССR - микротик в Интернете, а именно, если запустить дуплексный тест TCP получаем 70 Mbps в дуплексе, хотя в симплексе получили 40 мбит. Какая-то неразбериха... Edited November 4, 2015 by haverlinkfor Вставить ник Quote
g3fox Posted November 3, 2015 Posted November 3, 2015 Если вы подозреваете одну, что дело в том, что всё ходит через один ифейс - запустите два теста параллельно. Микротик_А - Интернет и Микротик_А - Микротик_Б. Что будет при параллельном тесте? Вставить ник Quote
alibek Posted November 3, 2015 Posted November 3, 2015 Пинг великоват для L2VPN. Да и микротик это не показатель. Измеряйте с помощью iperf. Вставить ник Quote
orlik Posted November 4, 2015 Posted November 4, 2015 Пинг великоват для L2VPN. Как пинг (наверное все таки RTT ) зависит от услуги ? Столкнулись с проблемой низкой скорости по TCP протоколу через L2 VPN канал. А MTU не проверяли ? проходят стандартные пакеты в 1500 байт ? Вставить ник Quote
MMM Posted November 4, 2015 Posted November 4, 2015 Какое расстояние там, где RTT=40ms ? Вообще, такой пинг обычно на расстоянии ~ 2000км (по оптике) Вставить ник Quote
orlik Posted November 4, 2015 Posted November 4, 2015 И да, размер окна какой выставлен для iperf ? Попробуйтевыствить в 2-4 мбайта ( -w опция ) Вставить ник Quote
mightyscv Posted November 4, 2015 Posted November 4, 2015 А MTU не проверяли ? проходят стандартные пакеты в 1500 байт ? Каким образом от MTU зависит скорость в TCP(кроме изменённых пропорций оверхеда)? Проверяем Город_Б_ССR - микротик в Интернете - 40 Mbps TCP (RTT=40ms)Делаю тест Город_Б_ССR - микротик в Интернете - 210 Mbps TCP (RTT=3ms). Два одинаковых теста в разное время показали разные результаты и RTT? Или вы не дописали полный путь теста и они отличаются на самом деле? Как бы на скорость TCP влияют только два параметра - потери в канале и размер окна. На 99% уверен, что размер окна тут не при делах(ну кроме того факта, что оно сужается из-за потерь). RTT 40ms на коротком L2VPN косвенно говорит о том, что это не честный L2VPN, а наложенный, то есть делается поверх L3 сети, возможно(скорее всего) чужого оператора. Такие вещи делаются, как правило, на "софтовых" платформах, с непредсказуемой производительностью, и из-за этого в свою очередь могут показывать потери и нестабильность в работе. Вставить ник Quote
haverlinkfor Posted November 4, 2015 Author Posted November 4, 2015 Если вы подозреваете одну, что дело в том, что всё ходит через один ифейс - запустите два теста параллельно. Микротик_А - Интернет и Микротик_А - Микротик_Б. Что будет при параллельном тесте? При параллельном тесте скорость остается стабильной по двум направлениям Пинг великоват для L2VPN. Да и микротик это не показатель. Измеряйте с помощью iperf. iperf на Микротик_Б нет возможности запустить. Пинг великоват для L2VPN. Как пинг (наверное все таки RTT ) зависит от услуги ? Столкнулись с проблемой низкой скорости по TCP протоколу через L2 VPN канал. А MTU не проверяли ? проходят стандартные пакеты в 1500 байт ? Стандартные пакеты по 1500 проходят Какое расстояние там, где RTT=40ms ? Вообще, такой пинг обычно на расстоянии ~ 2000км (по оптике) Да, 2000км примерно и есть , для тестов достаточно. Вставить ник Quote
haverlinkfor Posted November 4, 2015 Author Posted November 4, 2015 Проверяем Город_Б_ССR - микротик в Интернете - 40 Mbps TCP (RTT=40ms)Делаю тест Город_Б_ССR - микротик в Интернете - 210 Mbps TCP (RTT=3ms). Два одинаковых теста в разное время показали разные результаты и RTT? Или вы не дописали полный путь теста и они отличаются на самом деле? Как бы на скорость TCP влияют только два параметра - потери в канале и размер окна. На 99% уверен, что размер окна тут не при делах(ну кроме того факта, что оно сужается из-за потерь). RTT 40ms на коротком L2VPN косвенно говорит о том, что это не честный L2VPN, а наложенный, то есть делается поверх L3 сети, возможно(скорее всего) чужого оператора. Такие вещи делаются, как правило, на "софтовых" платформах, с непредсказуемой производительностью, и из-за этого в свою очередь могут показывать потери и нестабильность в работе. Изменил ошибку, вместо Город_Б_ССR нужно Город_А_ССR RTT 40 ms это RTT из Интернета (2000км) к маршрутизатору Город_Б_ССR. Спешу сообщить 5 ms это из-за радиоканала после L2VPN, а так там 1ms. Вставить ник Quote
haverlinkfor Posted November 4, 2015 Author Posted November 4, 2015 Через vlan 101 имеются еще два L2 VPN канала емкостью по 30 мбит. За нами пока ничего нет, кроме маршрутизаторов MikroTik. Делаю TCP тест из Город_А_х86 на один из них, включенный напрямую в порт РТК, RTT=1ms, 1 поток - 30 мбит, без скачков. Делаю одним потоком из Интернета при 36 ms - 2-4 мбит. Вставить ник Quote
g3fox Posted November 5, 2015 Posted November 5, 2015 Шейперы, полисеры, косы есть? Вставить ник Quote
ShyLion Posted November 5, 2015 Posted November 5, 2015 Маловато микротиков на схеме Вставить ник Quote
haverlinkfor Posted November 5, 2015 Author Posted November 5, 2015 Шейперы, полисеры, косы есть? Нет, только в ЗО РТК Вставить ник Quote
alibek Posted November 5, 2015 Posted November 5, 2015 А чем и как режется скорость на точках? Проведите снова замер пропускной способности и снимите дамп трафика с зеркала. Если в дампе будет много retrans, то возможно используется коммутатор с полисером и малым буфером или неправильно настроенными параметрами burst. Вставить ник Quote
g3fox Posted November 5, 2015 Posted November 5, 2015 А чем и как режется скорость на точках? Проведите снова замер пропускной способности и снимите дамп трафика с зеркала. Если в дампе будет много retrans, то возможно используется коммутатор с полисером и малым буфером или неправильно настроенными параметрами burst. Вроде, не в этом дело. У него только транзитный трафик проседает. То есть, будто дело в микротике. Может, трафик, который приходит через L2VPN, как-то маркируется на третьем уровне (TOS), а затем по этому же тосу на этом же порту, когда идёт в обратную сторону, жмётся? Всякие MSS не меняются на транзите с одного vlan в другой? Вставить ник Quote
rpra Posted November 5, 2015 Posted November 5, 2015 Осмелюсь предположить это из-за радиоканала после L2VPN Вставить ник Quote
haverlinkfor Posted November 5, 2015 Author Posted November 5, 2015 А чем и как режется скорость на точках? Проведите снова замер пропускной способности и снимите дамп трафика с зеркала. Если в дампе будет много retrans, то возможно используется коммутатор с полисером и малым буфером или неправильно настроенными параметрами burst. По шейперам - ответ от техника РТК: Интернет - только на маршрутизаторе L2 VPN - полисеры на коммутаторах В дампе ретрасмитов мизер, практических их нет. Может, трафик, который приходит через L2VPN, как-то маркируется на третьем уровне (TOS), а затем по этому же тосу на этом же порту, когда идёт в обратную сторону, жмётся? Всякие MSS не меняются на транзите с одного vlan в другой? MSS не меняются, DSCP или TOS не используется. Осмелюсь предположить это из-за радиоканала после L2VPN Ну если был бы виной радиоканал, загнулось бы на тесте только L2 VPN канала. Да и другие точки, без радиоканалов, озабочены такой же проблемой. До этого, микротик_Б был подключен к Интернету напрямую, все работало без проблем, через этот же радиоканал. Но понадобилась реорганизация, теперь вот, страдаем... Вставить ник Quote
g3fox Posted November 5, 2015 Posted November 5, 2015 Я что-то не заметил, что вы ранее написали про то, что у вас есть радиопролёт. Это сильно всё меняет. Что за оборудование используется? Вставить ник Quote
haverlinkfor Posted November 6, 2015 Author Posted November 6, 2015 (edited) Провели тесты с помощью iperf, результаты идентичны. Хочу отметить еще нюанс, скорость 1 потока от маршрутизатора_А и Маршрутизатора_Б в Интернет - практически одинакова. При RTT 35 ms для первого и 40 ms для второго получаем скорость 4-6 мбит и 3-5 мбит соответсвенно. Если запустить тест в 20 потоков, то получаем слишком большую разницу, от маршрутизатора_А - 100 мбит, Маршрутизатора_Б - 40 мбит. Дополнительно, протестировал через VPN тунель в Интернете, 20 потоков, 140 мбит для Маршрутизатора_А, 40 мбит - для маршрутизатора_Б. Приведенные результаты сделаны под погрузкой живым трафиком Edited November 6, 2015 by haverlinkfor Вставить ник Quote
Ivan_83 Posted November 6, 2015 Posted November 6, 2015 Смотрю в книгу - вижу непонять чего :) Скорость передачи в тцп очень зависит от кучи параметров, потому и получается что хх тцп соединений быстрее одного. Мало того что тиковцы рукожопые и скорее всего вообще нихрена не тюнили и оставили старые дефолты от 2.хх линуха дак ещё и сами эти коробки слабые. Вставить ник Quote
g3fox Posted November 6, 2015 Posted November 6, 2015 Так всё же, что за железки на радио? WMM есть? Вставить ник Quote
.png.5d2afa2996cc6a85d0f2c09b92dd0a28.png)
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.