RouterOS на базе PC

[wifin00b]

Здравствуйте.

 

Стоит в качестве сервера PC с процессором AMD phenom x2 3.2ghz.

Нат, шейпер.

При превышении трафика в 300мбит начали ползти rx-drops на входящем аплинке.

На работе интернета и пользователей вроде бы проблем нет.

Замена сетевой, втыкание в другой PCI (PCI-express) слот ничего не дала.

Загрузка проца 50-60% (по обоим ядрам). Температура не выше 50 градусов.

 

Есть куча топиков на сайте микротика с такой же проблемой, но внятного ответа нет, изменение на интерфейсе queue-type ничего не даёт.

В чём ещё  может быть проблема?

Может ли старый IDE-шный винт на 20гб как-то на это влиять?

 

 

Ещё интересный момент.

Стоит материнка 2 слова PCI, и 2 слота PCI-express.

Схема была следующая:

PCI-express n1 - входящий алпник.

PCI-express n2 - исходящий довнлинк на свитч провайдера, потом транзитом по городу до БС

 

Постоянно пропадал трафик в 0 на довнлинке, помогал ребут, но ненадолго.

 

Щас втыкнул аплинк в слот PCI n1, два дня проработал без проблем (кроме rx-drops). В слот PCI-express n1 подкинул ноут с гиговым портом для теста скорости.

 

Так вот, если запустить speedtest, то трафик делится пропорционально на два PCI-express слота.

 

Тобишь абоны тянут 300 и на ноуте 300.

 

Если абонов отключить показывает на ноуте около 600мбит/с.

 

Так и должно быть ?

 

 

Edited December 17, 2017 by wifin00b

[stalker86]

шины не хватает уже видимо на плате (пропускной способности). Ищите более свежее железо. IDE тут никаким боком вообще

[wifin00b]

Благодарю за внимание.

Скажите пожалуйста, слоты PCI и PCI-express все на одной шине?

[stalker86]

Зависит от кривости конкретной платы, используемого чипсета...

 

Опять же -какие карты у Вас используются - интел или риалтеки и им подобное?

[wifin00b]

Плата вот: http://www.gigabyte.ru/products/page/mb/ga-m61sme-s2_2x/download/bios#sp

И скажите как определить пропускную способность шины, чтобы опять не "лохануться" ?)

[stalker86]

Брать серверную на сервером чипсете.и не искать приключений на 5 точку На десктопах может быть всё что угодно..а про гигабайты вообще молчу.

 

hint:

Base Board Information
        Manufacturer: Supermicro
        Product Name: X10DRL-i

3+ гигабита в обе стороны + BGP FULL VIEW от 3 апплинков и немного правил ipfw

[stalker86]

https://ru.wikipedia.org/wiki/PCI

 

 

Но это про сферического коня в жидком вакууме. В реальности всё чуть более скромно и как правило на 1 шине может быть более 1 устройства

[wifin00b]

Теоретически материнка с более новой версией чем 1.0 для слота PCI-Express может решить проблему?

[stalker86]

Зависит от того сколько линий разведено на плате и как. а то мб  через хаб всё сидит на 1 линии. смотрите доки от чипсетов и от конретной материнской платы.
и опять же ещё сильно влияет то, какие сетевые карты используются. Данную информацию Вы не озвучили

[wifin00b]

в слотах PCI - D-Link DGT-528T

в слотах PCI-express - TP-Link TG-3468

[stalker86]

смешно

[Saab95]

Ага, тут уж лучше купить серверную материнку с интегрированными сетевухами - там хоть честные гигабиты можно получить.

[stalker86]

Увы...как показала практика на встроенных экономят на количестве разведённых линий на 1 и том же чипе сетевой (если сравнивать интегрированную и внешнюю на таком же чипе)

[Saab95]

Не знаю откуда вы взяли такое мнение. Может на десктопных и экономят. Но интегрированные интеловские вполне нормально работают на скоростях 1гб, и имеют достаточное количество очередей, обычно 4 или 8. При этом даже на платах с 4 интегрированными сетевухами, сквозной тест через бридж на всех этих 4 адаптерах, пропускает без проблем гигабит трафика дуплексом.

[Барагоз]

ROS 5.24

сетевая - китайский клон Intel с aliexpress.

 

RX дропы на внешнем интерфейсе есть.

Проблем у абонентов в связи с этим не замечено.

[stalker86]

4 часа назад, Saab95 сказал:

Не знаю откуда вы взяли такое мнение. Может на десктопных и экономят. Но интегрированные интеловские вполне нормально работают на скоростях 1гб, и имеют достаточное количество очередей, обычно 4 или 8. При этом даже на платах с 4 интегрированными сетевухами, сквозной тест через бридж на всех этих 4 адаптерах, пропускает без проблем гигабит трафика дуплексом.

 

Из практики.

Вон прям перед глазами сервер supermicro с 2 портами i350
и такая же карта  в pci-e


встроенная

igb5: Bound queue 0 to cpu 0
igb5: Bound queue 1 to cpu 1
igb5: Bound queue 2 to cpu 2
igb5: Bound queue 3 to cpu 3

 

внешняя

igb0: Bound queue 0 to cpu 0
igb0: Bound queue 1 to cpu 1
igb0: Bound queue 2 to cpu 2
igb0: Bound queue 3 to cpu 3
igb0: Bound queue 4 to cpu 4
igb0: Bound queue 5 to cpu 5
igb0: Bound queue 6 to cpu 6
igb0: Bound queue 7 to cpu 7

 

 

[Saab95]

И в чем смысл?

Тут вопрос в том, что для решения разных задач требуются разные сетевые адаптеры. Если это web сервер, к которому подключен миллион пользователей, то да. Но если сервер 1U, то там идет выбор, что использовать из встроенного - либо рейд, либо сетевые адаптеры. Если портов надо много - то тут ограничение или 4 гигабитных, или 2 SFP+, а это все стоит уже несколько других денег, чем встроенные адаптеры. Из практики серверов, все отлично работает на интегрированных - и веб приложения, и базы данных, и роутинг на микротиках. Есть сервера и с внешними дорогими адаптерами, только при расширении внешних каналов потребовалось больше портов - и задействованные встроенные работают точно так же и нагружают процессор ровно на столько же, сколько и внешние. На практике никакой разницы.

 

Ниша внешних адаптеров это высоконагруженные приложения, или роутинг на скоростях 10G и выше, современное железо, даже самое дешевое, на скоростях 1-2-3 гига отлично отрабатывает свою низкую стоимость.

[stalker86]

Уважаемый Saab
Вы куда-то не в ту степь пошли. Я лишь написал топикстартеру,что встроенные сетевые карты, даже если и на "правильном" чипе, то всё равно скорее всего будут "обрезаны" и что  на роутерах крайне рекомендую использовать "внешние".

На веб-серверах и рядом  конечно же хватит и интегрированных.

[Saab95]

Топикстартер использует AMD старого образца на устаревшей материнской плате для роутинга некой сети, которая возможно, приносит некоторые деньги. Сейчас, видимо, у него появились проблемы с производительностью. Решение вопроса тут напрашивается три:

 

1. Покупка нормального внешнего сетевого адаптера - но его стоимость достаточно высока, и может превосходить стоимость всего имеющегося железа на данный момент.

2. Покупка самой дешевой серверной материнской платы с интегрированными адаптерами, например серии ASUS P10, процессор начального уровня и планку оперативки. Что обойдется порядка 20+ тыс.р.

3. Покупка роутера микротика, например CCR1009, на него цены от 23 тыс. начинаются. И он без проблем пропустит через себя гигабит с натом и шейпером, при этом сетевых портов в достатке.

 

То есть покупка сетевого адаптера в имеющееся железо вообще бесперспективное направление - ну пропадут дропы, но все равно настанет момент, когда уже само железо ограничит производительность. А дальнейшая модернизация будет уже не возможной. Тут или смотреть комплектующие Б/У и собирать новый сервер, но толку, ведь итоговая стоимость все равно к 10 тыс.р. набежит, да такое железо еще нужно найти, и без проблем - что бы не глючило и т.п. Поэтому покупка роутера микротика тут самое оптимальное решение.

 

У нас у самих, некоторое время назад, было много роутеров на базе серверов, только вот сейчас почти все вывели из работы, нагрузив другими задачами (бекапы, веб сервера, резервы биллингов и т.п.), а на роутеры пошли CCR, которые и питания меньше потребляют, и от промежуточных коммутаторов позволяют избавиться, ведь есть решения с оптическими портами, куда можно сразу подключать магистрали.

[YuryD]

Сетевые намамные в серверах древних, хотя бы и от ибм, на древнем чипе сидят, соотв выжать от них хоть-чтото в районе 1Г - только в тестах. У меня почти вся  половина серверной, на древних ибм х3550, кроме магистральных. Локалку могут окучить, инет - не очень. Ну и конечно - пограничник БГП от брокады.

[ramzes_83]

Привет. Коллега решил организовать некий сайт, с обработкой видео. сервак прикупили, гигабит заказали. Вопрос стал о роутере. Хотелось бы гигабит выжимать по полной... Сначала чуть не купил RB750Gr3 (порты ведь гигабитные)))). Но что-то мне подсказывает что он не справится.

 Есть Пк на i5, и есть один сервак PowerEdge 2900. ИЗ прочитанного выше, похоже что как минимум все нужно пытаться поднимать на серверной плате, верно?

 И еще вопрос, на компах стоит винда, можно ROS запустить из виртуалки, или придется использовать как единственную ось на ПК, и только одна задача - роутер

[alibek]

Zyxel Keenetic Giga 3 будет достаточно, если это просто сервер, которому нужен один быстрый канал.

Хотя мне непонятно, зачем там вообще роутер. Роутер нужен, когда есть что роутить.

[ramzes_83]

если на "пальцах", то сервак будет качать торенты, и стримить их в браузер/приложение пользователя. Можно воткнуть на прямую, но как то хотелось бы контролировать доступ к железу, фаервол. Вдруг придется подключить резервный канал связи, то еще настраивать балансировку. Ну и на будущее, если попрет, то включать еще один сервер.

Для стартапа и напрямую воткнуть кабель можно, но тут вот первая проблема, сервак взяли IBM blade на 14 лезвий, сделать из него кластер легким способом не получилось, сайт адаптировать тоже дорого, а даже если все это запустить, потом лазить в настройки сети, чтобы ни чего не сломать - стремно.

[alibek]

Гига3 качает 700M через PPPoE. На IPoE будет гигабит.

[ramzes_83]

у меня PPPoE . Приму к сведению, спасибо. А всетаки, на счет програмного решения - в данном случае минимум затрат. Стоит овчинка выделки?