haverlinkfor Posted November 3, 2015 (edited) · Report post Друзья, срочно нужна помощь. Столкнулись с проблемой низкой скорости по TCP протоколу через L2 VPN канал. Имеем стык с РТК через один физический порт, транком забираем 2 vlan: 101 - Интернет, 102 - L2 VPN в Город Б. На интерфейсе e0 на микротик_х86 создано 2 vlan (100,101) для Интернет канала 500 Mbps и L2 VPN 250 Mbps На интерфейсе e1 на микротик_х86 создан 1 vlan (102) Для одной из точек города А Клиенты, которые ходят в Интернет через L2 VPN стали жаловаться на низкую скорость. Проверяем связь встроенным bandwidth тестом Микротика (20 потоков по умолчанию) от точки Город А_микротик_х86 - Город_Б_ССR = 200 Mbps TCP (RTT=5ms). С каналом все в норме. Далее проверяем по схеме Город А_микротик_х86 - микротик в Интернете - 230 Mbps TCP (RTT=35ms) С Интернетом тоже норма, следуем дальше. Проверяем Город_Б_ССR - микротик в Интернете - 40 Mbps TCP (RTT=40ms) Вот оказывается почему жалуются клиенты. Делаю тест Город_А_ССR - микротик в Интернете - 210 Mbps TCP (RTT=3ms). Вопрос, почему из Города Б через L2 канал в Интернет такая низкая скорость по TCP, если следовать скорости от маршрутизатора к маршрутизатору, она должна быть порядка 170-180 Mbps TCP. Может ли быть причиной тому один порт стыка? Или же поставить еще одну сетевую в Микротик х86 для L2 канала? Тунелей никаких нет, добавлял правила tcp mss, безрезультатно Результаты тестов simplex, сделанных под некоторой нагрузкой живым трафиком. Есть еще одно странное поведение во время тестирования Город_Б_ССR - микротик в Интернете, а именно, если запустить дуплексный тест TCP получаем 70 Mbps в дуплексе, хотя в симплексе получили 40 мбит. Какая-то неразбериха... Edited November 4, 2015 by haverlinkfor Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
g3fox Posted November 3, 2015 · Report post Если вы подозреваете одну, что дело в том, что всё ходит через один ифейс - запустите два теста параллельно. Микротик_А - Интернет и Микротик_А - Микротик_Б. Что будет при параллельном тесте? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted November 3, 2015 · Report post Пинг великоват для L2VPN. Да и микротик это не показатель. Измеряйте с помощью iperf. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
orlik Posted November 4, 2015 · Report post Пинг великоват для L2VPN. Как пинг (наверное все таки RTT ) зависит от услуги ? Столкнулись с проблемой низкой скорости по TCP протоколу через L2 VPN канал. А MTU не проверяли ? проходят стандартные пакеты в 1500 байт ? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
MMM Posted November 4, 2015 · Report post Какое расстояние там, где RTT=40ms ? Вообще, такой пинг обычно на расстоянии ~ 2000км (по оптике) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
orlik Posted November 4, 2015 · Report post И да, размер окна какой выставлен для iperf ? Попробуйтевыствить в 2-4 мбайта ( -w опция ) Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
mightyscv Posted November 4, 2015 · Report post А MTU не проверяли ? проходят стандартные пакеты в 1500 байт ? Каким образом от MTU зависит скорость в TCP(кроме изменённых пропорций оверхеда)? Проверяем Город_Б_ССR - микротик в Интернете - 40 Mbps TCP (RTT=40ms)Делаю тест Город_Б_ССR - микротик в Интернете - 210 Mbps TCP (RTT=3ms). Два одинаковых теста в разное время показали разные результаты и RTT? Или вы не дописали полный путь теста и они отличаются на самом деле? Как бы на скорость TCP влияют только два параметра - потери в канале и размер окна. На 99% уверен, что размер окна тут не при делах(ну кроме того факта, что оно сужается из-за потерь). RTT 40ms на коротком L2VPN косвенно говорит о том, что это не честный L2VPN, а наложенный, то есть делается поверх L3 сети, возможно(скорее всего) чужого оператора. Такие вещи делаются, как правило, на "софтовых" платформах, с непредсказуемой производительностью, и из-за этого в свою очередь могут показывать потери и нестабильность в работе. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
haverlinkfor Posted November 4, 2015 · Report post Если вы подозреваете одну, что дело в том, что всё ходит через один ифейс - запустите два теста параллельно. Микротик_А - Интернет и Микротик_А - Микротик_Б. Что будет при параллельном тесте? При параллельном тесте скорость остается стабильной по двум направлениям Пинг великоват для L2VPN. Да и микротик это не показатель. Измеряйте с помощью iperf. iperf на Микротик_Б нет возможности запустить. Пинг великоват для L2VPN. Как пинг (наверное все таки RTT ) зависит от услуги ? Столкнулись с проблемой низкой скорости по TCP протоколу через L2 VPN канал. А MTU не проверяли ? проходят стандартные пакеты в 1500 байт ? Стандартные пакеты по 1500 проходят Какое расстояние там, где RTT=40ms ? Вообще, такой пинг обычно на расстоянии ~ 2000км (по оптике) Да, 2000км примерно и есть , для тестов достаточно. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
haverlinkfor Posted November 4, 2015 · Report post Проверяем Город_Б_ССR - микротик в Интернете - 40 Mbps TCP (RTT=40ms)Делаю тест Город_Б_ССR - микротик в Интернете - 210 Mbps TCP (RTT=3ms). Два одинаковых теста в разное время показали разные результаты и RTT? Или вы не дописали полный путь теста и они отличаются на самом деле? Как бы на скорость TCP влияют только два параметра - потери в канале и размер окна. На 99% уверен, что размер окна тут не при делах(ну кроме того факта, что оно сужается из-за потерь). RTT 40ms на коротком L2VPN косвенно говорит о том, что это не честный L2VPN, а наложенный, то есть делается поверх L3 сети, возможно(скорее всего) чужого оператора. Такие вещи делаются, как правило, на "софтовых" платформах, с непредсказуемой производительностью, и из-за этого в свою очередь могут показывать потери и нестабильность в работе. Изменил ошибку, вместо Город_Б_ССR нужно Город_А_ССR RTT 40 ms это RTT из Интернета (2000км) к маршрутизатору Город_Б_ССR. Спешу сообщить 5 ms это из-за радиоканала после L2VPN, а так там 1ms. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
haverlinkfor Posted November 4, 2015 · Report post Через vlan 101 имеются еще два L2 VPN канала емкостью по 30 мбит. За нами пока ничего нет, кроме маршрутизаторов MikroTik. Делаю TCP тест из Город_А_х86 на один из них, включенный напрямую в порт РТК, RTT=1ms, 1 поток - 30 мбит, без скачков. Делаю одним потоком из Интернета при 36 ms - 2-4 мбит. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
vlad11 Posted November 4, 2015 · Report post Где Saab95? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
g3fox Posted November 5, 2015 · Report post Шейперы, полисеры, косы есть? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
ShyLion Posted November 5, 2015 · Report post Маловато микротиков на схеме Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
haverlinkfor Posted November 5, 2015 · Report post Шейперы, полисеры, косы есть? Нет, только в ЗО РТК Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
alibek Posted November 5, 2015 · Report post А чем и как режется скорость на точках? Проведите снова замер пропускной способности и снимите дамп трафика с зеркала. Если в дампе будет много retrans, то возможно используется коммутатор с полисером и малым буфером или неправильно настроенными параметрами burst. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
g3fox Posted November 5, 2015 · Report post А чем и как режется скорость на точках? Проведите снова замер пропускной способности и снимите дамп трафика с зеркала. Если в дампе будет много retrans, то возможно используется коммутатор с полисером и малым буфером или неправильно настроенными параметрами burst. Вроде, не в этом дело. У него только транзитный трафик проседает. То есть, будто дело в микротике. Может, трафик, который приходит через L2VPN, как-то маркируется на третьем уровне (TOS), а затем по этому же тосу на этом же порту, когда идёт в обратную сторону, жмётся? Всякие MSS не меняются на транзите с одного vlan в другой? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
rpra Posted November 5, 2015 · Report post Осмелюсь предположить это из-за радиоканала после L2VPN Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
haverlinkfor Posted November 5, 2015 · Report post А чем и как режется скорость на точках? Проведите снова замер пропускной способности и снимите дамп трафика с зеркала. Если в дампе будет много retrans, то возможно используется коммутатор с полисером и малым буфером или неправильно настроенными параметрами burst. По шейперам - ответ от техника РТК: Интернет - только на маршрутизаторе L2 VPN - полисеры на коммутаторах В дампе ретрасмитов мизер, практических их нет. Может, трафик, который приходит через L2VPN, как-то маркируется на третьем уровне (TOS), а затем по этому же тосу на этом же порту, когда идёт в обратную сторону, жмётся? Всякие MSS не меняются на транзите с одного vlan в другой? MSS не меняются, DSCP или TOS не используется. Осмелюсь предположить это из-за радиоканала после L2VPN Ну если был бы виной радиоканал, загнулось бы на тесте только L2 VPN канала. Да и другие точки, без радиоканалов, озабочены такой же проблемой. До этого, микротик_Б был подключен к Интернету напрямую, все работало без проблем, через этот же радиоканал. Но понадобилась реорганизация, теперь вот, страдаем... Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
g3fox Posted November 5, 2015 · Report post Я что-то не заметил, что вы ранее написали про то, что у вас есть радиопролёт. Это сильно всё меняет. Что за оборудование используется? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
haverlinkfor Posted November 6, 2015 (edited) · Report post Провели тесты с помощью iperf, результаты идентичны. Хочу отметить еще нюанс, скорость 1 потока от маршрутизатора_А и Маршрутизатора_Б в Интернет - практически одинакова. При RTT 35 ms для первого и 40 ms для второго получаем скорость 4-6 мбит и 3-5 мбит соответсвенно. Если запустить тест в 20 потоков, то получаем слишком большую разницу, от маршрутизатора_А - 100 мбит, Маршрутизатора_Б - 40 мбит. Дополнительно, протестировал через VPN тунель в Интернете, 20 потоков, 140 мбит для Маршрутизатора_А, 40 мбит - для маршрутизатора_Б. Приведенные результаты сделаны под погрузкой живым трафиком Edited November 6, 2015 by haverlinkfor Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
Ivan_83 Posted November 6, 2015 · Report post Смотрю в книгу - вижу непонять чего :) Скорость передачи в тцп очень зависит от кучи параметров, потому и получается что хх тцп соединений быстрее одного. Мало того что тиковцы рукожопые и скорее всего вообще нихрена не тюнили и оставили старые дефолты от 2.хх линуха дак ещё и сами эти коробки слабые. Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...
g3fox Posted November 6, 2015 · Report post Так всё же, что за железки на радио? WMM есть? Вставить ник Quote Ответить с цитированием Share this post Link to post Share on other sites More sharing options...