alexpro

Доброго времени суток! Имеется Cisco Catalyst 2890G-A, с которым пытаюсь разобраться. С IOS знаком, CatOS в первый раз вижу. Уважаемые коллеги, подскажите пожалуйста, чем отличается default config от non-default? Зачем спрашиваю: попытался слить свой конфиг на tftp (write network all). Получилась каша из того, что я сам настроил и кучи команд, видимо, исполняемых по умолчанию. Вопрос: Во время загрузки выполняются только команды из running-config, или все вместе с default config? В этой каше я нашел команду (set port channel 3/1-4 22) и т.д. все порты по 4 в свой port channel. Насколько я помню, в IOS port channel - это слияние нескольких портов в единый канал суммарной емкостью всех входящих в него портов. Так ли дело обстоит в CatOS? Дело в том, что мне совершенно не нужны никакие port channel - я хочу использовать сей девайс как обыкновенный L2 свитч, гоняющий VLAN-ы. Подытожу: стоит ли беспокоиться из-за этих port channel, или можно просто махнуть на них рукой и оставить все как есть? Спасибо за внимание.

2MEX2 Странно. У меня Xeon 3430, такая же сетевушка (82576), и такая же нарезка скорости (HTB). Все точно, никаких вопросов. Под очередь применяется pfifo. Что смущает в /proc/interrupts: у меня каждое прерывание сидит на своем ядре, а в показанном выше случае, я так понял, прерывания размазаны по всем ядрам. Не знаю, может ли это повлиять на точность шейпера...

voron Подключал дома, к обычной 100-мегабитной мыльнице (Compex PS2208B). Intel Pro/1000 PT Dual port, подключенная к этому же свитчу, к тому же порту, txqueuelen: 1000. Когда включился на площадке на гигабит, txqueuelen: 1000. Странно... Насчет масштабируемости на Pro/1000 ET. Уже поставил в работу. По тому, что я вижу сейчас, масштабируемость таки есть: ядра нагружены равномерно и немного. Когда работала Pro/1000 PT, 2 ядра из 4 стояли, на активных ядрах нагрузка была где-то в 2 раза больше. Так что, все сходится, вроде бы. Правда, HTB, как показывает oprofile, дает всего чуть больше 1% нагрузки, и это при том, что на оба порта навешано приблизительно по 2500 фильтров и полос. Основную нагрузку (64%) дает iptables (ipt_do_table). И что мне совершенно непонятно, 10% нагрузки идет от hpet_next_event, че это за зверь, непонятно. Раньше я его в топовых позициях не видел, а тут вдруг вылез. Ну это ладно, разберемся. Так что, в целом я доволен результатом, не зря я затеял замену сетевушки PT на ET. Систему особо не разгрузил, но распределения нагрузки softirq по ядрам добился. Посмотрим, что будет сегодня в пиковое время.

Кстати... Еще одно заметил ночью с Pro/1000 ET.: 1. Сетевая down Когда делаешь ifconfig eth0, txqueuelen: 1000, как и у всех сетевых по умолчанию. 2. Сетевая up (100Mbit) txqueuelen: 100 (???) 3. Cетевая up (кабель не подключен) txqueuelen: 1000 Если включаешь кабель, опять txqueuelen: 100. Лечится только принудительным указанием этого параметра. Ни с какой другой сетевой и никогда таких чудес у меня не было. Чуть позже попробую на гигабите. Совершенно непонятно, почему так происходит.

micros Цитирую сам себя (пост № 170 от вчерашнего дня): Естественно, MSI-X, только прерывания на моей сетевой можно раскидывать не только на RX/TX (толку от этого очень мало), но и сделать несколько очередей RX/TX, каждая их которых будет на отдельном прерывании, и соответственно, будет нагружать отдельное ядро. Вопрос в том, как эти очереди будут себя вести в плане softirq (HTB, iptables и пр.)

voron Я уже нашел и поставил драйвер, прочитал доку. Все работает, как мне надо. Сказка прямо. А вот насчет HTB мне непонятно. Как оно вообще тогда работает? На схеме "одна сетевая - одно ядро" softirq грузит именно то ядро, на котором работает сетевая, на которую назначены htb фильтры. А если "одна сетевая - два ядра", как это будет работать? Какое ядро из двух будет загружено softirq?

voron Т.е. - если используется HTB, то с multiqueue могут быть проблемы? Я конечно буду пробовать перед запуском... Но всего не проверишь в лабораторных условиях... А вот насчет параметров модуля, я так и не понял, как их указывать. В стд. поставке ядра доки на igb нет вообще, а тот, что от интела, может (судя по доке) только IntMode=3 и все. Кстати, в стд. ядре igb ругается на параметр IntMode, и безо всяких параметров загребает по 9 векторов на устройство (4 rx, 4 tx, 1 link). Я еще не рыл исходник, может, там где-то в районе init_module() и можно что-то отыскать (если оно вообще есть).

Получил сетевушку Intel Pro/1000ET Dual Port. Все завелось, как и хотелось, даже больше. Хотел сделать 2 очереди на интерфейс, а она делает 4. Ну, это ладно, пусть будет 4. К вопросу, заданному здесь: в настройках QoS в ядре Linux есть такой пункт: "Hardware Multiqueue-aware Multi Band Queuing (MULTIQ)". Я его в ядро собрал. Кто-то знает, как оно работает, и работает ли с HTB? И еще, надо ли в настройках HTB давать какие-то дополнительные параметры, касающиеся этого "multiq"? В документации что-то ничего не обнаружил...

Nic И как? Не сильно греется? Я включил, вроде полет нормальный... Но под нагрузку еще не ставил.

Мда. Таки похоже на OEM... Вопрос остается: ее включать без радиатора можно? Не испортится?

Всем доброго времени суток! Есть вопрос (возможно дурацкий): Только что привезли сетевую карту Intel Pro/1000 ET Dual Port (82576). Красивая такая, в прозрачной фирменной упаковке, 2 планки (под 2 юнита и под обычный корпус). Чип на ней визуально очень похож на Pentium III Coppermine, только меньше (текстолитовый квадрат с блестящим кристаллом в центре). В плате есть 2 отверстия под установку радиатора. Но самого радиатора не наблюдается, и похоже, что его никто и не пытался устанавливать. Все предыдущие сетевые карты от Intel получал с радиаторами. Поставщики разводят руками: мол, так и было. Вопрос: ее в таком виде можно будет использовать, ибо нагрузка планируется немалая? Или надо обязательно ставить радиатор? Кто с такими карточками работал, подскажите - это я "перебдел" или надо все-таки наехать на поставщика?

voron Спасибо за подсказку :) Я в курсе, что igb, именно поэтому и заказывал 82576. c0rec0re 82574L поддерживает MSI-X, может разводить RX и TX на разные вектора. Но больше одной очереди на прием он не организовывает. Более того, в драйвере e1000e нету поддержки multiqueue. Первый раз я смотрел исходник невнимательно. При более детальном рассмотрении выяснилось, что драйвер именно с чипами 82574, включает MSI-X. Причем, он либо занимает 2 вектора (eth<x>-Q0 (tx-rx queue) и eth<x>(link)), либо занимает 3 вектора (eth<x>-rx, eth<x>-tx и eth<x>). И это все, на что способен e1000e, причем, ТОЛЬКО с 82574. Что самое странное - при инициализации IntMode=2 драйвер его хавает с любой сетевушкой, и даже пишет в лог, что "Interrupt Mode set to 2", хотя, MSI-X, судя по исходникам драйвера, выставляется только для 82574. А 82576 - это уже не e1000e, а igb, который поддерживает multiqueue.

ИМХО, надо самому поставить Win7 или Vist-у, подключиться через VPN и пробовать ходить. Никаких доп. настроек не производить, оставить все, что возможно, по умолчанию. Сделать правило iptables -I INPUT -i eth0 -s <test_host_IP> -p icmp --icmp-type protocol-unreachable -j RETURN, это чтобы точно знать, были ли такие пакеты с тестового хоста. Если удастся добиться самопроизвольного разрыва - попытаться настройками убрать нежелательный эффект. Если самопроизвольный разрыв не получается - надо посмотреть, желательно, на как можно большее кол-во клиентских систем, наступающих на такие грабли, и попытаться найти в них общее в настройках (ПО, etc.). Ну и опять же устранить...

Я так понял, что Intel 82571 (82572) не поддерживают multiqueue, и заказал двухпортовую Intel Pro 1000ET (82576), которая уж точно должна поддерживать. В этой связи есть 2 вопроса к применяющим этот самый multiqueue (возможно они глупые, прошу тапками не кидаться): 1. Пакеты, приходящие на интерфейс попадают в очереди равномерно, или нагружают сначала одну, потом вторую и т.д.? 2. Не было ли проблем с iptables и iproute2 (HTB) в связи с несколькими очередями на одном интерфейсе? Имеется в виду: softirq, попадания мимо фильтра/полосы, попадания мимо таблицы/правила? Собираюсь запустить сетевушку "в бой" сразу, а испытать толком не на чем... Не хотелось бы неприятных сюрпризов как для себя, так и для юзеров в новогодние праздники...

voron DemYaN А вы случайно не в курсе, что такое "receive side scaling" и с чем его едят? Или это просто красивый маркетинговый ход? Из-за чего я затеял всю эту возню с multiqueue... Купил Xeon 3430, материнку S3420GPLC, установил систему, запустил. Гляжу - softirq жрет в среднем 40%, в пике 65% времени ядер, на которых висят прерывания сетевушек. Сетевушек всего 2, из софта установлена только quagga, есть целых 5(!) полос htb, на них аж 2(!) u32 фильтра. Есть еще iptables, который содержит ~2000 правил '-m comment 'xyz'', абсолютно все правила в target RETURN, 2 правила NAT для сетей 10.0.0.0/8 и 192.168.0.0/16. Для такой машины это смешная нагрузка, средний проходящий траффик - 40Мбит, в прыжке - 85Мбит. Вообще-то - эта конструкция - задел под 250-350Мбит, но если на 40Мбит softirq выедает 40% проца, тогда я начинаю сомневаться в успехе мероприятия... Все советы в этой ветке читал, пробовал. Насчет InterruptThrottleRate=100000 - просто становится больше прерываний в секунду на ядро, а загрузка проца softirq не меняется. Если развести RX и TX на разные векторы - та же история: ядро, на котором висит RX загружено на 40-65% softirq, ядро, на котором висит TX свободно как резинка от трусов - редко загрузка прыгает выше 1%. Что характерно - у меня есть другой сервер, собранный на обычном ASUSe, Core2Quad Q6600, Intel Pro/1000 PT (single port), Intel Pro/1000 на PCI, никакой пляски с разделением очередей, все работает как есть, около 3000 полос htb, примерно столько же фильтров fw, 4000+ различных правил iptables, в FORWARD и mangle. Загрузка ядер, задействованных под сетевые платы - 75-85%, средний проходящий траффик - 250 Мбит. И плюс - на нем стоит bind, обслуживающий всю сетку и dhcpd. Что-то я не пойму... То ли лыжи не едут, то ли...