[Mechanic]

не встречал вариации с опцие jumbo пакетов, данный адаптер поддерживает их

Будет ли увеличение производительности ?

вкл порт в cisco 3650G

[TiFFolk]

Там в драйвере при выделении памяти размером jumbo null выдает, причем у меня и у MaLblsH по 4 порта. Может надо проверить на системах только с двумя портами?

[MaLblsH]

Сегодня опять решил провести эксперименты с 1.8.4. Только на этот раз машина, на которой всё делал являлась не шлюзом, а бриджом.

Сетевуха та же, igb 4 портовая ET

hw.igb.rxd=2048
hw.igb.txd=2048

завелось нормально, НО на большинство сайтов не мог вообще попасть, на относительно небошьшие типо google, yandex, мог, на более большие, типо speedtest.net, vkontakte.ru никак... tcpdump'ом смотрел, трафик бегал, а т.к. время поджимало (машинка рабочая) то надо было быстренько восстановить. Куда смотреть прямо ума не приложу :(

Пришлось откатиться дровами до 1.7.3, и сразу же попробовал

hw.igb.rxd=1024
hw.igb.txd=1024

завелось нормально, сразу все ресурсы открылись без всяких проблем...

 

p.s. когда ставил 1.8.4 на шлюз, он просто резал скорость через себя примерно в 1 мбит...

С него самого скорость скачивания максимальная, а через него - режет.

Притом никакого шейпирования на нём не было.. Тогда тоже откатился на 1.7.3

Изменено 3 марта, 2010 пользователем MaLblsH

[_longhorn_]

MaLblsH

ifconfig igb0 -lro

[X-RaY™]

"Где-то с 200-го ng у клиента ошибка 629, в netstat -in появляются 2 ng с одним номером, в логах mpd - невозможно назначить Ip на данном ng - уже занят. Ошибка 629 - стабильна при первом коннекте, после реконнекта все ок"

 

На проходящем через пптп резко появились потери, при том что нагрузка не изменилась особо, поковыряв все что могли ничего не нашли, обновились до 7.3, потери пропали. Но,обновилось мпд и теперь при количестве сессий за 800 появляются следующия вещь:

Mar 3 22:52:10 vpn2 mpd: [b-192] IFACE: Adding IPv4 address to ng191 failed: File exists

чем ближе к 900 , тем чаще возникает , у клиентов 629 , где то на 900+- почти все сессии exists , хотя до обновления, вчера, было 1к и с этим не было проблем и 629 у клиентов.

 

Есть идеи как победить?

Изменено 3 марта, 2010 пользователем X-RaY™

[_longhorn_]

X-RaY™

Такое встречал только на 8.0-RELEASE, на 7 не было вродебы. Уверены что проблема в системе? Кто назначает клиентам адреса: mpd или radius? Если radius то попробуйте перенести пул на mpd.

[X-RaY™]

Может та "глюченную" часть часть перекочевала с 8ки в 7.3 ?

[_longhorn_]

X-RaY™

Не думаю, проблема была исправлена в 8-STABLE достаточно давно. А какая 7.3 у Вас стоит? На днях RC-2 появился, попробуйте обновиться до него. Или идите сразу на 8-STABLE.

[X-RaY™]

FreeBSD 7.3-PRERELEASE

ночью прошлой обновлялись.

Еще интересней то, что сегодня проблема пропала... Ничего не менялось, перегружалось и т.д. , во истину "Ляг поспи и все пройдет". Но сам факт возможности возникновения таких граблей не радует.

[X-RaY™]

А у кого нибудь есть опыт внедрения 8ки в связке с mpd5+ng_car под pppoe терминацию? как то пробовал еще на 7.1 оно валилось с w\o header раз в час, пришлось отказаться от ng_car сейчас вот думаю опять попробовать, и что ставить amd64 или i386 ?

[_longhorn_]

X-RaY™

У меня есть опыт :) , работает, но пока не везде. А что конкретно интересует?

[MaLblsH]

MaLblsH

ifconfig igb0 -lro

Спасибо, на 7.2 помогло.

Поставил 8.0: и без проблем завелись дрова 1.8.4 с параметрами:

hw.igb.rxd=4096
hw.igb.txd=4096

 

[X-RaY™]

Как там с производительностью и стабильностью? Система амд64 или и385? И если не секрет какое железо в какой связке софта сколько перемалывает?

[_longhorn_]

X-RaY™

Система AMD64, о стабильности сложно говорить пока, надо копить аптайм. Стоит на Core2Quad Q9550, Intel PRO/1000 PT DualPort, пока 220кппс, по ядрам довольно ровно, в среднем 50% свободно, 600 людей, почти все реальники, 290Мбит. Вобщем, жду вечера, там будет видно.

[generik]

X-RaY™

Система AMD64, о стабильности сложно говорить пока, надо копить аптайм. Стоит на Core2Quad Q9550, Intel PRO/1000 PT DualPort, пока 220кппс, по ядрам довольно ровно, в среднем 50% свободно, 600 людей, почти все реальники, 290Мбит. Вобщем, жду вечера, там будет видно.

Какой разброс скорости по тарифам?

[Mechanic]

"Где-то с 200-го ng у клиента ошибка 629, в netstat -in появляются 2 ng с одним номером, в логах mpd - невозможно назначить Ip на данном ng - уже занят. Ошибка 629 - стабильна при первом коннекте, после реконнекта все ок"

 

На проходящем через пптп резко появились потери, при том что нагрузка не изменилась особо, поковыряв все что могли ничего не нашли, обновились до 7.3, потери пропали. Но,обновилось мпд и теперь при количестве сессий за 800 появляются следующия вещь:

Mar 3 22:52:10 vpn2 mpd: [b-192] IFACE: Adding IPv4 address to ng191 failed: File exists

чем ближе к 900 , тем чаще возникает , у клиентов 629 , где то на 900+- почти все сессии exists , хотя до обновления, вчера, было 1к и с этим не было проблем и 629 у клиентов.

 

Есть идеи как победить?

это на какой машине у тебя ? какая нагрузка LA получается и какая версия mpd ?

у меня такое происходило, когда комп не справлялся с нагрузкой LA поднимался до 5, при таком значении mpd сыпал вообще разные ошибки, не помню точно, но стоял кажется 5.3, сейчас 5.4 и нагрузку распределил между серваками, такое не встречается

 

[_longhorn_]

Какой разброс скорости по тарифам?

От 1Мбит до 20Мбит, основная масса 10Мбит и 15Мбит.

[X-RaY™]

Спасибо, еще хотелось бы узнать какая связка у jab стоит, а то не хочется настроить 3-4 наса, которые будут валится по разным причинам.

[MaLblsH]

Рано я обрадовался что на 8-ке поднялись дрова 1.8.4. Точнее заработать то они заработали, но машинка работала как шлюз.

Переделал под bridge:

ifconfig_igb0="up -lro"
ifconfig_igb1="up -lro"
ifconfig_igb2="up -lro"
ifconfig_igb3="up -lro"
cloned_interfaces="bridge0 bridge1"
ifconfig_bridge0="addm igb0 addm igb1 up"
ifconfig_bridge1="addm igb2 addm igb3 up"

и всё...

При загрузке падает:

panic: RX ring pkt initialization failed!

Убрал hw.igb.rxd до 1024. Загрущилось, но опять появились тормоза, посмотрел ifconfig - на всех интерфейсах lro выключено.

Ума не приложу почему так :(

 

Дрова ниже 1.8.4 не хотят даже с hw.igb.rxd 1024... А ниже нету смысла ставить

Изменено 9 марта, 2010 пользователем MaLblsH

[_longhorn_]

MaLblsH

Не понимаю как такое возможно, может дело в бридже? Я просто его не использую. Дрова хоть 1.7.3 хоть 1.8.4 работают без проблем с hw.igb.rxd=4096.

[fenix-vt]

Рано я обрадовался что на 8-ке поднялись дрова 1.8.4.

еще один минус обнаружили: на драйверах 1.8.4 не заработали lagg на freebsd8

 

[adeep]

а это же недавно патчили в 8ке. случаем не забыли обновиться?

[fenix-vt]

а это же недавно патчили в 8ке. случаем не забыли обновиться?

нет :)

# uname -a

FreeBSD bras5.opensvit.ua 8.0-STABLE FreeBSD 8.0-STABLE #0: Sun Mar 21 07:42:03 EET 2010 root@bras5.opensvit.ua:/usr/src/sys/amd64/compile/BRAS5 amd64

откат на драйвера 1.7.3 с теми же конфигами вернул лагги в работу :(

[Mechanic]

вопрос: при каких случаях обновление src требует обновление мира , а когда достаточно пересборки ядра ?

текущее ядро стоит

8.0-STABLE FreeBSD 8.0-STABLE #0: Mon Mar 15 11:17:31 EET 2010

 

[nicol@s]

Сервер - бридж.

uname -a:

FreeBSD 8.0-STABLE-201005 FreeBSD 8.0-STABLE-201005 #1: Wed Jun 23 12:29:30 UTC 2010  /usr/src/sys/amd64/compile/MYKERNEL  amd64

Сетевая карта - Intel Network Card PRO/1000 Gigabit ET Quad Port.

Вчера поставили дрова Intel® PRO/1000 Network Connection version - 1.8.4.

В loader.conf добавили:

if_igb_load="YES"
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.num_queues=0  
hw.igb.enable_aim=1
hw.igb.low_latency=1000
hw.igb.ave_latency=2000
hw.igb.bulk_latency=4000
hw.igb.rx_process_limit=100
hw.igb.fc_setting=0
hw.igb.lro=0

Система загрузилась, но параметры не применились. При этом был странный глюк - через браузер открывался только сайт яндекса. Пинги по ДНС-имени проходили. ДНС запросы проходили. При попытке открыть другие сайты - tcpdump показывал, что сервер отвечает, но в браузере тишина.

 

Сегодня утром решили поставить дрова 1.7.4. Выставлял такие значения:

1.

 hw.igb.rxd=4096
hw.igb.txd=4096

2.

 hw.igb.rxd=2048
hw.igb.txd=4096

3.

hw.igb.rxd=1024
hw.igb.txd=1024

Система при загрузке выдает ошибку и перезагружается:

GET BUF: dmamap load failure - 12

Решили еще проверить с дровами версии 1.7.3 - такая же ошибка.

В чем может быть проблема? Кому-нибудь удалось загрузиться с hw.igb.rxd=4096, hw.igb.txd=4096 ну или поменьше?

Спасибо.

Изменено 6 июля, 2010 пользователем nicol@s