[maa1]

Почему у многих провайдеров скорость канала полностью утилизируется только в несколько потоков? Вопрос к провайдерам - где моя гарантированная скорость в один поток?

(сразу уточню: скорость каналов 100-200 Mbps, расстояние междугороднее (rtt обычно 10-45 ms), тест iperf3).

По работе мне часто приходится соединять сети офисов и ДЦ между разными городами.

На каждой стороне (провайдеры разные) заказываю канал с гарантированной скоростью, и сначала тестирую с помощью iperf одним потоком (размер окна/буфера ставлю с запасом).

И в большинстве случаев результат команды iperf3.exe -w 2048K -c myserverip разочаровывает. Скорость в один поток не только низкая, но и нестабильная. (а бывало, что скорость туда и обратно различаются на порядок! такое бывает, если между двумя провайдерами вклинивается третий - в моем случае это был naukanet).

А заказанная скорость появляется только после ключа -P 4 или -P 8 (чем хуже пров, тем больше нужно потоков): iperf3.exe -P 8 -c myserverip. (у особо злостных провов, как в случае выше, требуется -P 16, и то до сотки недотянулось).

 

Но для работы нам нужна скорость именно в один поток! Т.к. иногда приходится копировать очень большой файл, что занимает несколько (а то и десятки) часов.

И вот смотрю я на график скорости при копировании, а там нет ни заказанной скорости, ни гарантированности (в процессе скорость скачет в разы).

 

Так почему провайдеры не дают требуемую скорость в один поток? Они её специально режут, или у них что-то неправильно настроено?

Давайте поможем плохим провайдерам решить эту проблему! 21 век на дворе как никак, а они 100-200 Mbps обеспечить не могут.

 

 

 

Изменено 4 июля, 2020 пользователем maa1

[jffulcrum]

Для начала, iPerf в принципе плохо подходит для того, чтобы замерять скорость передачи файлов. Потому как при передаче файлов большую роль играет роль tcp windows cogestion, а если это Windows - то еще и доступность RSS с обеих сторон. Ключик -w даже бесполезно указывать, т.к. система его с высокой вероятностью проигнорирует - гуглите CWND. Дальше, играют роли буферы всех промежуточных устройств (маршрутизаторов, и даже коммутаторов, если есть разноскоростные порты) - причём не только их размер, но и стратегия размещения в них данных. На данном сайте есть серия статей недавних, почитайте для общего развития. Наконец, при однопоточном тесте работает одно ядро CPU - и если это какой-то древний Xeon, да еще и энергосбережение не выключено, как это обычно и бывает, то и будет он на стартовом гигагерце лениво вам этот поток формировать. 

[NiTr0]

низкая скорость одиночной tcp сессии обычно сопровождается дропами пакетов где-то по дороге (и жалобами абонов). а когда скорость одиночной сессии падает ниже 10 мбит - тут и ютуп начинает тормозить и лагать...

 

ну а iperf - 100 мбит в принципе на любых дровах (даже начала 2000 годов) он легко и непринужденно выжимает при нормальном аплинке. а на лга1156 зионе - спокойно 2-3 гбита показывает в один поток при нормальном аплинке.

[maa1]

jffulcrum

iPerf в принципе плохо подходит для того, чтобы замерять скорость передачи файлов

iperf'ом я тестирую пропускную способность канала, он не передает файлы. Но результаты iperf хорошо коррелируют с результатами копирования файла.

 

Ключик -w даже бесполезно указывать, т.к. система его с высокой вероятностью проигнорирует

ключ -w прекрасно работает. вы похоже вообще не в теме.

 

Наконец, при однопоточном тесте работает одно ядро CPU

iperf3 в принципе работает на одном ядре (iperf3 is single threaded), при любом тесте. почитайте хотя бы faq по нему, прежде чем отвечать.

 

и если это какой-то древний Xeon

нет, не древний Xeon. (да и 100-200 мбит это не та скорость, где упирается в проц).

 

играют роли буферы всех промежуточных устройств (маршрутизаторов, и даже коммутаторов, если есть разноскоростные порты) - причём не только их размер, но и стратегия размещения в них данных

если так, значит имеет смысл провайдеров пинать, пусть настраивают/меняют своё оборудование.

Изменено 4 июля, 2020 пользователем maa1

[TriKS]

Ну или такие "типа умные" абоненты могут сами включаться в точки обмена и не звездеть, соединяя офисы на тарифах соточка за чирик.

Покупайте лямбды и порты в точках обмена и радуйтесь. Но это ж деньги, правда? Вот сиди и сопи.

Изменено 4 июля, 2020 пользователем TriKS

[jffulcrum]

16 минут назад, maa1 сказал:

iperf3 в принципе работает на одном ядре (iperf3 is single threaded)

Сам процесс  - да. А вот стек ОС и очереди/прерывания сетевой карты - нет.

 

17 минут назад, maa1 сказал:

ключ -w прекрасно работает. вы похоже вообще не в теме.

Отвечу вашими же словами:

 

17 минут назад, maa1 сказал:

почитайте хотя бы faq по нему

 

[Saab95]

Никогда не замечал такого, что бы в один поток данные не проходили на нормальной скорости. Даже сейчас проверил тест через радиоканал, потом провайдер обычный домашний 100м, далее интернет и свой микротик. Тест между двумя микротиками в 1 TCP поток показал 70м. В 20 потоков, что по дефолту - уперлось в скорость канала почти 95-96м.

[zhenya`]

А теперь проверь скорость между двумя узлами с ртт 50мс

[pingz]

@maa1 

 Если это домашний канал за 1к ответ очевиден.

Нужно менять оператора.

Если вы юрик и готовы платить за интернет в полный рост то цена за 200 мб/с выходит минимум 20к ну и спрашивать оператора за эти деньги стоит, но оператор несёт ответственность за свой участок сети и чем у вас больше расстояние между трочками А и Б тем канал будет хуже.

З.ы. если вы готовы как полноценный в полный рост платить за хороший канал, то и заплатить нужно соответственно.

[maa1]

@NiTr0 

низкая скорость одиночной tcp сессии обычно сопровождается дропами пакетов где-то по дороге

по icmp потерь нет. по tcp хз как проверить.

 

@TriKS 

что это за поток сознания? что сказать то хотели?

Но это ж деньги, правда?

мы платим в 50-100 раз больше, чем физик за ту же скорость. А по факту оказывается, что договор с гарантией скорости не стоит даже той бумаги, на которой он напечатан.

 

@Saab95 

Никогда не замечал такого, что бы в один поток данные не проходили на нормальной скорости.

хотя бы 1500 км между точками есть?

 

@pingz 

Если это домашний канал

вроде из поста очевидно, что речь про юрлица.

цена за 200 мб/с выходит минимум 20к

гораздо дороже платим. даже сотка дороже.

но оператор несёт ответственность за свой участок сети и чем у вас больше расстояние между трочками А и Б тем канал будет хуже.

поэтому берем двух провайдеров, которые стыкуются напрямую. и с каждым договор на гарантированную скорость. и каждый провайдер при проблемах со скоростью говорит, что у него всё ок, и валит на другого.

Изменено 4 июля, 2020 пользователем maa1

[Saab95]

1 минуту назад, maa1 сказал:

хотя бы 1500 км между точками есть?

Конечно есть, есть и в другие страны каналы.

 

Я задам другой вопрос, а у вас там точно нормальные каналы? Часто бывает, что один оператор берет у другого, поэтому реальный МТУ ниже 1500, там работает некая упаковка. Поэтому, как вариант, проверить скорость пакетами не 1500 байт, а, например, 1300.

[maa1]

@Saab95 

Конечно есть, есть и в другие страны каналы.

Какие провайдеры? Можете показать результат iperf3?

 

а у вас там точно нормальные каналы? Часто бывает, что один оператор берет у другого, поэтому реальный МТУ ниже 1500

С MTU все в порядке, проверял пингом с запретом фрагментации. Да и в любом случае существует Path MTU Discovery.

[TheUser]

4 часа назад, maa1 сказал:

Почему у многих провайдеров скорость канала полностью утилизируется только в несколько потоков? Вопрос к провайдерам - где моя гарантированная скорость в один поток? 

(сразу уточню: скорость каналов 100-200 Mbps, расстояние междугороднее (rtt обычно 10-45 ms), тест iperf3).

 

Скорость TCP зависит от RTT. Открывайте любой онлайн "TCP Bandwidth" калькулятор и рассчитывайте максимальную теоретическую скорость.

Есть "ускорители", которые минимизируют влияние RTT, но, боюсь, они вам не по карману.

 

1 час назад, Saab95 сказал:

Никогда не замечал такого, что бы в один поток данные не проходили на нормальной скорости. Даже сейчас проверил тест через радиоканал, потом провайдер обычный домашний 100м, далее интернет и свой микротик. Тест между двумя микротиками в 1 TCP поток показал 70м. В 20 потоков, что по дефолту - уперлось в скорость канала почти 95-96м.

Разнесите устройства на сколько-нибудь серьезные расстояния. RTT участка Москва-Владивосток поряка 120мс.

Максимальная скорость (рассчитано на https://www.switch.ch/network/tools/tcp_throughput/) будет такая:

 

Цитата

Bandwidth-delay Product and buffer size

BDP (100 Mbit/sec, 120.0 ms) = 1.50 MByte
required tcp buffer to reach 100 Mbps with RTT of 120.0 ms >= 1464.8 KByte
maximum throughput with a TCP window of 64 KByte and RTT of 120.0 ms <= 4.37 Mbit/sec.

Или нужно добавить МикрОтиков?

[maa1]

@TheUser 

Скорость TCP зависит от RTT.

да что вы говорите. пост вы по диагонали читали, и про размер окна пропустили? Про TCP Window Scaling вы наверно даже не слышали?

[Saab95]

14 минут назад, maa1 сказал:

Какие провайдеры? Можете показать результат iperf3?

Какие провайдеры сказать не могу, iperf вообще не пользуемся, потому что он показывает порой неадекватные результаты, используем микротики с его btest.

 

Т.к. мы сами провайдер, то часто наблюдаем картину, когда клиент жалуется, что у него не проходит скорость, и начинает айперфом ее куда-то измерять, и он показывает что скорость ниже, чем положено. Тест закачками с торрентов или через микротик показывает что все в норме. Ну и постоянно терки по этому поводу, клиент хочет на своем измерителе увидеть, а там цифры не те, что надо. Бывает от каналов отказываются. Ну нам тоже хорошо, меньше жалоб.

[TheUser]

Только что, maa1 сказал:

@TheUser 

Скорость TCP зависит от RTT.

да что вы говорите. пост вы по диагонали читали, и про размер окна пропустили? Про TCP Window Scaling вы наверно даже не слышали?

Не читал, поскольку тут детский сад. Но некоторое время строил (за деньги) математические модели передачи трафика, так что знаю о чем говорю.

[maa1]

@Saab95 

iperf вообще не пользуемся, потому что он показывает порой неадекватные результаты

так надо разобраться почему, может версию сменить

используем микротики с его btest.

извините, но проприетарные тесты идут лесом.

 

@TheUser 

некоторое время строил (за деньги) математические модели передачи трафика

всё построено до вас

так что знаю о чем говорю

сомневаюсь

Изменено 4 июля, 2020 пользователем maa1

[TheUser]

Только что, maa1 сказал:

 

@TheUser некоторое время строил (за деньги) математические модели передачи трафика

всё построено до вас

Не всё. Например, для отечественного криптографического каналообразующего оборудования, в которое посчастливилось вляпаться, таких моделей не было.

3 минуты назад, maa1 сказал:

так что знаю о чем говорю

сомневаюсь

Вам виднее.

[nickD]

16 часов назад, maa1 сказал:

 

Давайте поможем плохим провайдерам решить эту проблему! 21 век на дворе как никак, а они 100-200 Mbps обеспечить не могут.

 

 

 

Блин 21 век на дворе а вы файл передать не можете. Но куча амбиций переделать весь интернет под себя и воспитать провайдеров. 

 

Для тех кто не может подстроить свою работу через сеть интернет

 у провайдеров есть услуга l2,l3vpn.

[pingz]

@maa1 вы немного путаете красное с горячим.

Если вам нужна стабильная труба, то нужно покупать l2 канал у одного оператора, а он уже как от точки А так и от точки Б договорится о скорости и последнию милю обговорит.

 

Если стык между операторами есть это не значит, что у них стык в 10,20,30,40g, а скорее всего там 1g :(

Не только вы пользуетесь этим каналом. 

 

Можно скан ку*** договора, где операторы гарантируют скорость 100 мб/с? Возможно вы ошибаетесь и там напимано, до 100,200 мб/с?

 

З.ы. у меня есть юредические лица, которые просят просто интернет и они понимают, что скорость будет ниже между точкой А и Б, но платить за l2 не хотят.

[nickD]

@pingz Там скорее всего бизнес:

ты че стоко за l2 оператору платишь , я вам через инет все прокину, но что то пошло не так :)

Микротик не выстрелил.

[TriKS]

14 часов назад, maa1 сказал:

что это за поток сознания? что сказать то хотели?

Но это ж деньги, правда?

мы платим в 50-100 раз больше, чем физик за ту же скорость. А по факту оказывается, что договор с гарантией скорости не стоит даже той бумаги, на которой он напечатан.

Бери L2 транспорт и перестань сопливить. Платит он.... Гонору в три короба, а по факту ноль без палочки.

Давай сюда скан своего договора, если ты не балабол.

[Saab95]

21 минуту назад, TriKS сказал:

Бери L2 транспорт и перестань сопливить. Платит он.... Гонору в три короба, а по факту ноль без палочки.

Если вести разговор про L2 на расстоянии 4000км, то это уже намного дороже, чем IP, а уж вариант с волокном стоит запредельных денег.

Если просто интернет, то за гиг оплата и там и сям по 30 тыс.р. Суммарно 60.

Если это L2 за гиг, то канал уже стоит 110 тыс.р. (за обе точки сразу) при этом что это за L2 - просто L2 прокинуто поверх MPLS, да, там есть гарантия по задержке и прочее. То есть если делать свой L2 по туннелю через интернет в случае оплаты по 30 тыс. за сторону, задержка плавает, иногда очередность пакетов нарушается, то есть вариант с чужим L2 лучше, если оно сделано на нормальном оборудовании.

Если брать волокно, то тут ценник уже за 500 тыс. ежемесячно, гонять можно тот же гиг, задержка минимальная. Но для какой цели или задачи нужен такой канал за столь большую сумму?

[BeHalf]

17 минут назад, Saab95 сказал:

Если просто интернет, то за гиг оплата и там и сям по 30 тыс.р. Суммарно 60.

Ну если в МСК или где-то по соседству гиг стоит 30тр, то за 1.5-4 тыс км он может стоить в 10-30 раз дороже, про L2 молчу. Аренда волокна на 1.5-4км это еще тот квест будет, с большой вероятностью нереализуемый.

[Saab95]

Разговор явно не про разные там глухие деревни, а, например, стыки между Москвой и неким удаленным городом миллионником. Там с доступностью каналов и провайдеров все в порядке, да и волокна прямые часто имеются. По сути все у всех есть, цена лишь зависит от жадности менеджеров этих компаний, которые имеют возможность канал предоставить.