Valaskor Опубликовано 16 декабря, 2011 · Жалоба Соберите нормальный драйвер, исходники скачайте свежие, фикс на unsupported SFP+ описан страницу назад. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
lllsergeyv Опубликовано 16 декабря, 2011 · Жалоба Есть карта на 82598EB и проц X3430(4ядра).Сервер на Linux. 1 порт смотрит с вланами в сторону аплинков, 2 порт смотрит с вланами в локалку. Сервак принимает bgp и просто роутит. Как правильнее раскидать прерывания от сетевушек по ядрам? и какие параметры нужно подкрутить чтоб прожевать максимальное количество трафика? Сколько такое железо может прожевать? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nicol@s Опубликовано 16 декабря, 2011 (изменено) · Жалоба Соберите нормальный драйвер, исходники скачайте свежие, фикс на unsupported SFP+ описан страницу назад. А ларчик просто открывался. Все взлетело! Спасибо! А по поводу тюнинга не подскажете? Изменено 16 декабря, 2011 пользователем nicol@s Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Стич Опубликовано 16 декабря, 2011 · Жалоба Соберите нормальный драйвер, исходники скачайте свежие, фикс на unsupported SFP+ описан страницу назад. А ларчик просто открывался. Все взлетело! Спасибо! А по поводу тюнинга не подскажете? Вы хотите сказать, что у Вас заработало с не родными SFP+? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Valaskor Опубликовано 16 декабря, 2011 · Жалоба Да работает оно без проблем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
voron Опубликовано 17 декабря, 2011 · Жалоба 2 вариант:вкючаем 1х10G линк, вход-выход вланами, вешаем iptables с ipset, ipt_netflow, шейперы не вешаем все так же больше 1mpps, карта разгоняется без проблем хоть в полку, пинги нормальные, потерь нет. 3 вариант: вкючаем 1х10G линк, вход-выход вланами, вешаем iptables с ipset, ipt_netflow, шейперы с хешами на eth0(по dst-ip и src-ip отдельные классы). больше 900kpps не хочет жевать Вопрос - где узкое место в 3м случае? если 2 и 3 отличаются только шейпером, то, очевидно, шейпер. Если его перевесить на вланы вместо eth0, что-то меняется? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
dmitry_ Опубликовано 17 декабря, 2011 · Жалоба 3 вариант: вкючаем 1х10G линк, вход-выход вланами, вешаем iptables с ipset, ipt_netflow, шейперы с хешами на eth0(по dst-ip и src-ip отдельные классы). больше 900kpps не хочет жевать не жует больше 900kpps, а что говорит ethtool -S ethX ethtool -k ethX ethtool -c ethX ethtool -g ethX и как загрузка ЦПУ? настроена ли irq affinity? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Valaskor Опубликовано 19 декабря, 2011 · Жалоба если 2 и 3 отличаются только шейпером, то, очевидно, шейпер. Если его перевесить на вланы вместо eth0, что-то меняется? Шейперы на vlan глючат. Если не ошибаюсь, они хоть и висят на вланах, по факту работают на eth, конфликтуя друг с другом. не жует больше 900kpps, а что говорит ethtool -S ethX ethtool -k ethX ethtool -c ethX ethtool -g ethX и как загрузка ЦПУ? настроена ли irq affinity? Ошибок нет, офлоады все off, ринг на максимуме (4096) Irq разнесены, перегрузки по ядрам нет. ethtool -c eth0 Coalesce parameters for eth0: Adaptive RX: off TX: off stats-block-usecs: 0 sample-interval: 0 pkt-rate-low: 0 pkt-rate-high: 0 rx-usecs: 125 rx-frames: 0 rx-usecs-irq: 0 rx-frames-irq: 0 tx-usecs: 0 tx-frames: 0 tx-usecs-irq: 0 tx-frames-irq: 0 rx-usecs-low: 0 rx-frame-low: 0 tx-usecs-low: 0 tx-frame-low: 0 rx-usecs-high: 0 rx-frame-high: 0 tx-usecs-high: 0 tx-frame-high: 0 Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Valaskor Опубликовано 19 декабря, 2011 (изменено) · Жалоба Провел еще пару интересных тестов. Убрал исходящий трафик с сервера в другое место, а входящий нагрузил по-максимуму. Получил односторонный трафик 5-6Г (сильно колеблется) и прыгающие пинги. Откуда приходит трафик (тот же линк или другой) - не влияет. Такое впечатление, что шейпер не может выпустить с интерфейса больше определенного объема трафика. Но никаких корневых шейперов не делалось. Изменено 19 декабря, 2011 пользователем Valaskor Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
nicol@s Опубликовано 20 декабря, 2011 (изменено) · Жалоба Коллеги, подскажите по тюнингу сего девайса? Пока что выставил: /sbin/ethtool -A eth9 autoneg off rx off tx off /sbin/modprobe igb IntMode=2,2,2,2,2,2,2,2,2,2,2,2 InterruptThrottleRate=8000,8000,8000,8000,8000,8000,8000,8000,8000,8000,8000,8000 RSS=6,6,6,6,6,6,6,6,6,6,6,6 QueuePairs=1,1,1,1,1,1,1,1,1,1,1,1 LLIPort=80 /sbin/ethtool -G eth9 tx 2048 /sbin/ethtool -G eth9 rx 2048 /sbin/ifconfig eth9 txqueuelen 10000 + распределил прерывания по ядрам проца. Имеет смысл увеличить размеры буферов? txqueuelen? Или что-то еще стоит добавить? Изменено 20 декабря, 2011 пользователем nicol@s Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Dyr Опубликовано 20 декабря, 2011 · Жалоба Вы сначала скажите, что вы хотите получить и чего вам сейчас не хватает. И вопрос (продублирую) остальным - что нынче из дешёвых десяточных коммутаторов есть? Интересует тупо L2-молотилка, в которую можно воткнуть линки от гипервизоров и стораджа общим количеством 3x10Gbase-SR и возможность дальнейшего увеличения. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...