[haverlinkfor]

Уважаемые гуру, нужна помощь!

Имеется маршрутизатор MikroTik на базе x86 Inpro Archer INT. Железные составляющие: процессор Xeon E3-1230 V2 3.3/8M, материнская плата Intel S1200BTS, 4Gb RAM Router OS Lev 6

Функции: одна BGP сессия (принимаем дефолт), шейпинг, роутинг, NAT. Канал 600 mbps, вышестоящий МТС. Количество пользователей за НАТом 1500, остальные (порядка сотни) без NAT.Авторизация ipoe. Загрузка канала в пик часы 500/50 мбит rx/tx.

Наблюдаем низкую скорость одиночной TCP сессии в downlink, когда канал загружен даже только на 100 мбит. Причем чем сильнее загруженность канала, тем сильнее деградация. Например, при загрузке в 100 мбит, скорость однопоточной закачки = 25 mbps, при 200 = 20 mbps. 300 = 15 mbps, и так далее. В итоге при 500-550 мбитах скорость равна 2-4 mbps. Бред, даже видосы нормально не посмотреть. При добавлении каждой последующей сессии,скорость увеличивается пропорционально, канал таким образом загружается полностью без проблем. Стоит выключить абонентов, утилизируем канал практически полностью одним потоком.С upload таких проблем нет, скорость одного потока разгоняется хорошо, до 200 мбит, независимо от нагрузки на канал. Максимальная загрузка процессора - 25-30%. Кол-во соединений - 60-70 тыс. 37 правил src-nat (примерно по 40 пользователей на 1 IP). Способ тестирования iperf3 на сервер в сети МТС (RTT - 15мс) сервера пробовал разные.

Заменяли сетевые платы, процессор, материнку, сбрасывали на дефолт микротик, прошивали, меняли коммутаторы, sfp модули, игрались с queue type и размером буфера - безрезультатно. Дропов на интерфейсах нет, потерь тоже. Просили вышестоящего отключить для теста Полисер - не помогло.

Ниже результаты теста iperf при загрузке на канале 450/40 mbps

root@Monitoring:~# iperf3 -c iperf01.msk.stream-internet.net -t 30 -i 1 -P 1 -R

Connecting to host iperf01.msk.stream-internet.net, port 5201

Reverse mode, remote host iperf01.msk.stream-internet.net is sending

[ 4] local 185.106.95.6 port 49530 connected to 195.34.41.34 port 5201

[ ID] Interval Transfer Bandwidth

[ 4] 0.00-1.00 sec 925 KBytes 7.58 Mbits/sec

[ 4] 1.00-2.00 sec 1.39 MBytes 11.7 Mbits/sec

[ 4] 2.00-3.00 sec 1.29 MBytes 10.8 Mbits/sec

[ 4] 3.00-4.00 sec 1.78 MBytes 15.0 Mbits/sec

[ 4] 4.00-5.00 sec 1.93 MBytes 16.2 Mbits/sec

[ 4] 5.00-6.00 sec 1.27 MBytes 10.6 Mbits/sec

[ 4] 6.00-7.00 sec 1.13 MBytes 9.49 Mbits/sec

[ 4] 7.00-8.00 sec 1.42 MBytes 11.9 Mbits/sec

[ 4] 8.00-9.00 sec 1.71 MBytes 14.4 Mbits/sec

[ 4] 9.00-10.00 sec 1.53 MBytes 12.8 Mbits/sec

[ 4] 10.00-11.00 sec 1.54 MBytes 12.9 Mbits/sec

[ 4] 11.00-12.00 sec 1.22 MBytes 10.3 Mbits/sec

[ 4] 12.00-13.00 sec 1.09 MBytes 9.16 Mbits/sec

[ 4] 13.00-14.00 sec 1.19 MBytes 9.97 Mbits/sec

[ 4] 14.00-15.00 sec 1.43 MBytes 12.0 Mbits/sec

[ 4] 15.00-16.00 sec 1.57 MBytes 13.1 Mbits/sec

[ 4] 16.00-17.00 sec 1.21 MBytes 10.2 Mbits/sec

[ 4] 17.00-18.00 sec 1.13 MBytes 9.48 Mbits/sec

[ 4] 18.00-19.00 sec 1.07 MBytes 8.98 Mbits/sec

[ 4] 19.00-20.00 sec 1.39 MBytes 11.7 Mbits/sec

[ 4] 20.00-21.00 sec 1.20 MBytes 10.0 Mbits/sec

[ 4] 21.00-22.00 sec 1.09 MBytes 9.17 Mbits/sec

[ 4] 22.00-23.00 sec 1.46 MBytes 12.3 Mbits/sec

[ 4] 23.00-24.00 sec 1.64 MBytes 13.7 Mbits/sec

[ 4] 24.00-25.00 sec 1.89 MBytes 15.9 Mbits/sec

[ 4] 25.00-26.00 sec 2.28 MBytes 19.1 Mbits/sec

[ 4] 26.00-27.00 sec 1.77 MBytes 14.9 Mbits/sec

[ 4] 27.00-28.00 sec 1.01 MBytes 8.49 Mbits/sec

[ 4] 28.00-29.00 sec 1.22 MBytes 10.2 Mbits/sec

[ 4] 29.00-30.00 sec 1.47 MBytes 12.4 Mbits/sec

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval Transfer Bandwidth Retr

[ 4] 0.00-30.00 sec 42.4 MBytes 11.8 Mbits/sec 110 sender

[ 4] 0.00-30.00 sec 42.4 MBytes 11.8 Mbits/sec receiver

 

iperf Done.

root@Monitoring:~# iperf3 -c iperf01.msk.stream-internet.net -t 30 -i 1 -P 1

Connecting to host iperf01.msk.stream-internet.net, port 5201

[ 4] local 185.106.95.6 port 49878 connected to 195.34.41.34 port 5201

[ ID] Interval Transfer Bandwidth Retr Cwnd

[ 4] 0.00-1.00 sec 22.1 MBytes 185 Mbits/sec 1 404 KBytes

[ 4] 1.00-2.00 sec 25.6 MBytes 215 Mbits/sec 0 450 KBytes

[ 4] 2.00-3.00 sec 18.5 MBytes 155 Mbits/sec 7 242 KBytes

[ 4] 3.00-4.00 sec 15.2 MBytes 128 Mbits/sec 0 262 KBytes

[ 4] 4.00-5.00 sec 15.3 MBytes 128 Mbits/sec 0 270 KBytes

[ 4] 5.00-6.00 sec 16.3 MBytes 137 Mbits/sec 0 273 KBytes

[ 4] 6.00-7.00 sec 16.3 MBytes 137 Mbits/sec 0 277 KBytes

[ 4] 7.00-8.00 sec 17.2 MBytes 144 Mbits/sec 0 288 KBytes

[ 4] 8.00-9.00 sec 17.3 MBytes 145 Mbits/sec 0 300 KBytes

[ 4] 9.00-10.00 sec 18.4 MBytes 154 Mbits/sec 0 311 KBytes

[ 4] 10.00-11.00 sec 18.3 MBytes 154 Mbits/sec 0 322 KBytes

[ 4] 11.00-12.00 sec 20.4 MBytes 171 Mbits/sec 0 352 KBytes

[ 4] 12.00-13.00 sec 22.5 MBytes 189 Mbits/sec 0 407 KBytes

[ 4] 13.00-14.00 sec 25.5 MBytes 214 Mbits/sec 0 482 KBytes

[ 4] 14.00-15.00 sec 25.7 MBytes 215 Mbits/sec 0 506 KBytes

[ 4] 15.00-16.00 sec 26.7 MBytes 224 Mbits/sec 0 506 KBytes

[ 4] 16.00-17.00 sec 25.7 MBytes 215 Mbits/sec 0 506 KBytes

[ 4] 17.00-18.00 sec 26.6 MBytes 223 Mbits/sec 0 506 KBytes

[ 4] 18.00-19.00 sec 25.6 MBytes 215 Mbits/sec 0 506 KBytes

[ 4] 19.00-20.00 sec 26.6 MBytes 223 Mbits/sec 0 506 KBytes

[ 4] 20.00-21.00 sec 25.7 MBytes 216 Mbits/sec 0 506 KBytes

[ 4] 21.00-22.00 sec 26.7 MBytes 224 Mbits/sec 0 506 KBytes

[ 4] 22.00-23.00 sec 23.7 MBytes 199 Mbits/sec 1 375 KBytes

[ 4] 23.00-24.00 sec 24.7 MBytes 207 Mbits/sec 0 428 KBytes

[ 4] 24.00-25.00 sec 25.6 MBytes 215 Mbits/sec 0 467 KBytes

[ 4] 25.00-26.00 sec 26.7 MBytes 224 Mbits/sec 0 489 KBytes

[ 4] 26.00-27.00 sec 25.6 MBytes 215 Mbits/sec 0 501 KBytes

[ 4] 27.00-28.00 sec 25.8 MBytes 216 Mbits/sec 0 506 KBytes

[ 4] 28.00-29.00 sec 26.5 MBytes 223 Mbits/sec 0 506 KBytes

[ 4] 29.00-30.00 sec 25.8 MBytes 216 Mbits/sec 0 506 KBytes

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval Transfer Bandwidth Retr

[ 4] 0.00-30.00 sec 683 MBytes 191 Mbits/sec 9 sender

[ 4] 0.00-30.00 sec 680 MBytes 190 Mbits/sec receiver

 

Есть другой город, такой же микротик и схема и кол-во пользователей. Вышестоящий РТК, канал 700 mbps. При нагруженном канале скорость TCP в downlink 100-200 mbps, а вот upload - наоборот, 10-20. Короче говоря, идентичная проблема, только с исходящей скоростью. Но она не мешает жить, так как исходящий трафик не востребован.

 

Может у вас есть идеи, основанные на опыте или теории, очень нужна помощь

Edited March 30, 2016 by haverlinkfor

[Saab95]

Микротик тут не при чем, ищите проблему в другом месте.

 

Тест до самого микротика одним потоком делали из интернета? Проверяли работу с белого ип, который выдали кому-то за микротиком и т.п.?

[haverlinkfor]

При тестировании с Микротика результат такой же. Скорость что с внутреннего, что с внешнего IP не отличается. Пришлось зарегаться на speedtest.net, чтобы пользователи измеряли скорость внутри AS. Но это ппц...Пока идеи кончились. Может поставить CCR1036 для шейпинга и роутинг, а PC оставить под NAT и bgp?

Edited March 30, 2016 by haverlinkfor

[kosmich7]

Сетевушки встроенные используются ? ET пробуйте использовать.

Патчкорды в этих разных серверах, обратите внимание в какие сетевые подключены, вероятней всего в этом ваша проблема.

[haverlinkfor]

Использовали встроенные, затем установили Mikrotik RB44Ge, абсолютно без изменений.

На данный момент оба Маршрутизатора подключены через RB44Ge.

ET - попробуем, спасибо

Edited March 31, 2016 by haverlinkfor

[kosmich7]

Кол-во соединений - 60-70 тыс. 37 правил src-nat (примерно по 40 пользователей на 1 IP).

Попробуйте в качестве эксперимента уменьшить кол-во правил например в два раза. Отразится ли это на скорости одного потока ?

1. Поднять например vlan*** на входящем интерфейсе, подключить к коммутатору в который приходит аплинк тазик с юникс ОСью, протестировать этот участок сети. Вместо тазика можно использовать и другой микротик.

2. Протестировать между тазиком и другим тазиком подключенными в коммутатор с аплинками, через и мимо микротика.

 

Между локальными айпи ограничение на поток есть ?

У вас же есть еще два свободных интерфейса, между ними ограничение на поток есть ?

[kosmich7]

Может поставить CCR1036 для шейпинга и роутинг, а PC оставить под NAT и bgp?

Saab95 будет вне себя от счастья, его советы работают :-)

 

Подобные вашим исходным данным тазики под ros живут и не кашляют при примерно таких же условиях.

У вас что-то индивидуальное.

[haverlinkfor]

Кол-во соединений - 60-70 тыс. 37 правил src-nat (примерно по 40 пользователей на 1 IP).

Попробуйте в качестве эксперимента уменьшить кол-во правил например в два раза. Отразится ли это на скорости одного потока ?

1. Поднять например vlan*** на входящем интерфейсе, подключить к коммутатору в который приходит аплинк тазик с юникс ОСью, протестировать этот участок сети. Вместо тазика можно использовать и другой микротик.

2. Протестировать между тазиком и другим тазиком подключенными в коммутатор с аплинками, через и мимо микротика.

Между локальными айпи ограничения на поток нет

1)Уменьшение количества правил не повлияло на скорость

2) Участок сети: eth в сторону МТС - коммутатор - другой микротик тестировали, с одним потоком проблем нет

 

Может поставить CCR1036 для шейпинга и роутинг, а PC оставить под NAT и bgp?

Saab95 будет вне себя от счастья, его советы работают :-)

Когда круг вариантов сужается, уже прислушиваешься к любому совету

Edited March 31, 2016 by haverlinkfor

[kosmich7]

Когда круг вариантов сужается, уже прислушиваешься к любому совету

Необходимость масштабирования сетей по мере роста не отрицаю. Но у вас похоже индивидуальная ситуация, не исключаю что микротик ОС плохеет от количества маршрутов.

Поднял бы на юникс ОС бордер принял на нем от аплинка бжп и протестировал бы прямо с бордера.

Рассмотрите вариант, вынести бжп на другой тазик/микрот.

Мне это напоминает "интеллектуальный" шейпер/полисер проявляется при ограниченном кол-ве белых айпи и большим кол-вом абонентов за натом, вот ваша ситуация почти один в один, только с потоками.

Зеркалируйте трафик с Аплинк порта и порта микрота в МИР и анализируйте. tcpdump, torch, wireshark вам в помощь.

 

Пример: имеется два белых айпи, за каждым по 500 абонентов за натом, с одного айпи сервис доступен, с другого нет, хотя пинг и остальные протоколы показывают доступность ресурса.

Вот у вас ситуация примерно похожа, только по другому проявляется.

 

2) Участок сети: eth в сторону МТС - коммутатор - другой микротик тестировали, с одним потоком проблем нет

Модель коммутатора ? На другом микротике использовали другой(отличный) айпи адрес от исходного микрота, если использовать этот же айпи на проблемном микроте ?

Необходимо протестировать так, другой микротик - коммутатор - этот микротик - локалка.

Необходимо убедиться на каком участке появляется ограничение.

[haverlinkfor]

Mikrotik CRS125-24G-1S-RM -используем эти коммутаторы

 

Метод тестирования был таков: создал vlan111 на аплинк интерфейсе, повесил сетку 10.10.10.1/30 , свободный порт на коммутаторе на стыке с МТС антагом, второй микротик 10.10.10.2

 

Попробую протестировать другой микротик - коммутатор - этот микротик - локал коммутатор-микротик с адресами из разных подсетей, отпишусь

Edited March 31, 2016 by haverlinkfor

[kosmich7]

Mikrotik CRS125-24G-1S-RM -используем эти коммутаторы

Завернулись в микротики по полной программе)))

По сути вам необходим гигабитный медик чтоб сейчас принять Аплинк, в качестве такого медика можно использовать за недорого 1100-06/ME или просто медик, чтоб исключить этот пункт из подозрения.

На Длинке можно даже кое чего интересного из статистики по портам посмотреть.

[haverlinkfor]

Mikrotik CRS125-24G-1S-RM -используем эти коммутаторы

Завернулись в микротики по полной программе)))

По сути вам необходим гигабитный медик чтоб сейчас принять Аплинк, в качестве такого медика можно использовать за недорого 1100-06/ME или просто медик, чтоб исключить этот пункт из подозрения.

На Длинке можно даже кое чего интересного из статистики по портам посмотреть.

Аплинк забираем электрическом портом, пробовали подключать минуя коммутатор, успехов не принесло. Знать бы наверняка, что проблема именно у нас, прежде чем выбросить N-нную сумму

[Saab95]

Необходимость масштабирования сетей по мере роста не отрицаю. Но у вас похоже индивидуальная ситуация, не исключаю что микротик ОС плохеет от количества маршрутов.

 

Даже RB1100 легко принимает 2 сессии по BGP с фулвью, принимает из сети десяток тысяч маршрутов по OSPF и нормально себе пакеты передает в один поток.

[kosmich7]

Аплинк забираем электрическом портом, пробовали подключать минуя коммутатор, успехов не принесло. Знать бы наверняка, что проблема именно у нас, прежде чем выбросить N-нную сумму

Попросите у аплинка еще одну интерфейсную пару, подключитесь через коммутатор, используйте новый айпи на старом и новом микроте для тестов.

Смените микрот на что то другое, если на другой оси будет наблюдаться тоже самое, останется два участка, коммутатор и аплинк.

[haverlinkfor]

Попросите у аплинка еще одну интерфейсную пару, подключитесь через коммутатор, используйте новый айпи на старом и новом микроте для тестов.

Смените микрот на что то другое, если на другой оси будет наблюдаться тоже самое, останется два участка, коммутатор и аплинк.

1)Заказали Mikrotik CCR1036-12G-4S

2)Готовим комп с Linux на борту

3)Параллельно согласовываем прокладку оптики от другого магистрала

Edited April 2, 2016 by haverlinkfor

[myth]

Второго пункта вполне достаточно для сети

[Guest Гость]

Можете выложить дамп трафика в формате pcap, во время проблемы и когда проблемы нет.

[haverlinkfor]

Тест нормальной сесиии и дамп трафика во время теста

 

https://yadi.sk/d/WO2a1IVSqkhMx

root@Monitoring:~# iperf3 -c iperf.it-north.net -t 500 -i3 -P 1 -R

Connecting to host iperf.it-north.net, port 5201

Reverse mode, remote host iperf.it-north.net is sending

[ 4] local 185.106.95.6 port 50794 connected to 82.200.209.194 port 5201

[ ID] Interval Transfer Bandwidth

[ 4] 0.00-3.00 sec 66.1 MBytes 185 Mbits/sec

[ 4] 3.00-6.00 sec 78.5 MBytes 219 Mbits/sec

[ 4] 6.00-9.00 sec 80.7 MBytes 226 Mbits/sec

[ 4] 9.00-12.00 sec 81.3 MBytes 227 Mbits/sec

[ 4] 12.00-15.00 sec 84.4 MBytes 236 Mbits/sec

[ 4] 15.00-18.00 sec 95.5 MBytes 267 Mbits/sec

^C[ 4] 18.00-18.96 sec 34.7 MBytes 303 Mbits/sec

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval Transfer Bandwidth

[ 4] 0.00-18.96 sec 0.00 Bytes 0.00 bits/sec sender

[ 4] 0.00-18.96 sec 521 MBytes 231 Mbits/sec receiver

 

Тест паршивой сессии и ее дамп

 

https://yadi.sk/d/DrY5TXIRqkgyM

 

iperf3: interrupt - the client has terminated

root@Monitoring:~# iperf3 -c iperf.it-north.net -t 500 -i3 -P 1 -R

Connecting to host iperf.it-north.net, port 5201

Reverse mode, remote host iperf.it-north.net is sending

[ 4] local 185.106.95.6 port 50965 connected to 82.200.209.194 port 5201

[ ID] Interval Transfer Bandwidth

[ 4] 0.00-3.00 sec 2.06 MBytes 5.75 Mbits/sec

[ 4] 3.00-6.00 sec 1.36 MBytes 3.80 Mbits/sec

[ 4] 6.00-9.00 sec 1.28 MBytes 3.59 Mbits/sec

[ 4] 9.00-12.00 sec 1.56 MBytes 4.37 Mbits/sec

[ 4] 12.00-15.00 sec 2.03 MBytes 5.68 Mbits/sec

[ 4] 15.00-18.00 sec 1.54 MBytes 4.29 Mbits/sec

^C[ 4] 18.00-19.02 sec 518 KBytes 4.15 Mbits/sec

- - - - - - - - - - - - - - - - - - - - - - - - -

[ ID] Interval Transfer Bandwidth

[ 4] 0.00-19.02 sec 0.00 Bytes 0.00 bits/sec sender

[ 4] 0.00-19.02 sec 10.3 MBytes 4.56 Mbits/sec receiver

Edited April 5, 2016 by haverlinkfor

[haverlinkfor]

Поставили Mikrotik CCR1036-12G-4S - никаких изменений.

При тестировании по схеме ниже утилизируем порт одной сессией

iperf -s - коммутатор - Микротик - коммутатор local - iperf -c

Вряд ли с МТ проблема, но все же, сервер с linux уже готов, на днях протестируем его.

Сделал запрос МТС на проверку счетчиков на коммутаторе последней мили.

Пришел такой ответ.

"Есть некоторое количество Ethernet-коллизий, которых не должно быть при полнодуплексном режиме порта, что намекает на сбой логики сетевого оборудования. Рекомендуем в первую очередь заменить SFP и/или порт."

Вот и счетчики.

http://joxi.ru/YmEkkP4fZWBlyA

Вроде такой зверь стоит Alcatel 7210 SAS-M

Edited April 11, 2016 by haverlinkfor

[kosmich7]

Поставили Mikrotik CCR1036-12G-4S - никаких изменений.

Железо(тазик с микротиком) с вашей стороны исключаем.

Вероятно это медик или CRS125-24G-1S-RM, поставьте 1100-06/МЕ, его для замены медика за глаза.

Упоминали что напрямую в микротик мимо CRS125-24G-1S-RM подключали, проблема не уходила.

Во втором месте там же тоже аналогичная ситуация однопоточной сессии но в другом направлении, тоже CRS125-24G-1S-RM используется ?

Модель медика во втором включении какая ?

[haverlinkfor]

Железо(тазик с микротиком) с вашей стороны исключаем.

Вероятно это медик или CRS125-24G-1S-RM, поставьте 1100-06/МЕ, его для замены медика за глаза.

Упоминали что напрямую в микротик мимо CRS125-24G-1S-RM подключали, проблема не уходила.

Во втором месте там же тоже аналогичная ситуация однопоточной сессии но в другом направлении, тоже CRS125-24G-1S-RM используется ?

Модель медика во втором включении какая ?

Медика нет. В первом включении забираем ethernet из ALU. Вполне возможно коллизии из за несовместимости RouterOS и ALU. Попробуем поставить коммутатор другой фирмы

Второе включение - на доступе huawei s2326, электрический sfp и тазик с МТ

[kosmich7]

Медика нет. В первом включении забираем ethernet из ALU. Вполне возможно коллизии из за несовместимости RouterOS и ALU. Попробуем поставить коммутатор другой фирмы

Установите гигабитный тупарь если есть.

 

 

электрический sfp

В смысле медный sfp модуль ? Тоже сменить на что-то управляемое, не МТ.

[haverlinkfor]

1) Тазик с Линуксом ситуацию не поменял

2) 2 гигабитных тупаря разных вендоров ситуации не поменяли

3) При одновременном переводе режима портов в 1 Gb FD c аплинком линк не поднялся.

 

Меняем стык на оптический порт... дальше будет видно

[kosmich7]

Меняем стык на оптический порт

Уже сменили ? Проблема ушла ?

[haverlinkfor]

Заказали оптику и sfp, ждем поступления. Как придет, сразу монтаж. Отпишусь о результате