replicant Опубликовано 15 января, 2013 · Жалоба И главное - попробуйте ядра sangy bridge - будете удивлены приростом производительности. Мы уже пересаживаемся вовсю с Yorkfield/Nehalem на 22нм Ivy Bridge. Ощущения отличные. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 18 марта, 2013 (изменено) · Жалоба Итак. Взяли в тест сервер на базе Intel® Xeon® CPU E5-1650 0 @ 3.20GHz. HT пока не выключал, так что имею возможность раскидывать нагрузку на 12 ядер. 10g нет, тестируем под тем же etherchannel по 3 гигабитных интерфейса. Карточки I350 по 4 гигабитных порта. Настройки те же что на остальных шейперах. Пока жует 800 Mbps, по 70kpps в одну сторону на интерфейсе. Загрузка процеcсора максимум 5%. 230k прерываний. Вечером нагрузка подрастет. Если все будет хорошо завтра добавим еще угля :) Изменено 18 марта, 2013 пользователем xplorer Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 18 марта, 2013 · Жалоба 230k прерываний. Включите interrupt moderation и увеличьте кол-во буфферов сетевых карт... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 18 марта, 2013 (изменено) · Жалоба Включите interrupt moderation и увеличьте кол-во буфферов сетевых карт... Буферов имеется ввиду очередей? А interrupt moderation если не ошибаюсь снижает количество прерываний, повышая при этом время прохождения пакета... Качество услуги снизится, но я думаю что потом покручу его. Изменено 18 марта, 2013 пользователем xplorer Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 18 марта, 2013 · Жалоба Буферов имеется ввиду очередей? Буферов имеется ввиду буферов. А interrupt moderation если не ошибаюсь снижает количество прерываний, повышая при этом время прохождения пакета... Качество услуги снизится Увеличение реакции на прерывание аж на целых 0.05-0.1 мс (при 20000-10000 прерываний/сек) кто-то заметит? :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 19 марта, 2013 · Жалоба Трафик начал падать - пишу о результатах. bond0: 0.6/1.6Gbit, 159/207kpps bond1: 1.6/0.6Gbit, 284/228kpps CPUidle: min 71.72 Завтра подкинем еще нагрузки. Думаю до 2.5 доведем. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 23 марта, 2013 (изменено) · Жалоба Снова всем здравствуйте! Рубеж 2.5Gbit был преодолен. Ситуация следующая: Нагрузка по sirq около 40%. НО сильно портит всю картину netflow (ipt_NETFLOW). До 500-600kpps все отлично, далее нагрузка растет по параболе. При 600kpps нагрузку имели в 40%, 900kpps - 90%. Interrupt moderation выключен, но особой пользы он тут не принесет. Пока 2.5Gbit 900kpps планка. Может удастся поднять до 3Gbit. Без netflow было бы в разы больше. Напоминаю: Intel® Xeon® CPU E5-1650 0 @ 3.20GHz, Intel® Ethernet Server Adapter I350-T4, CentOS 6.3 802.3ad агрегация каналов - 3Gbit на вход и 3Gbit на выход. htb по классу и очереди на клиента. Естественно хеши используются. UPD. Рассмотрел графики. Скачок загрузки проца совпал с моментом перезагрузки интерфейса. Может быть в результате этого netflow дал такую загрузку. Сегодня понаблюдаю Изменено 23 марта, 2013 пользователем xplorer Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 23 марта, 2013 · Жалоба Interrupt moderation выключен, но особой пользы он тут не принесет. А я бы таки включил... На всякий. Хуже точно не станет, а лучше - возможно. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 23 марта, 2013 · Жалоба А я бы таки включил... На всякий. Хуже точно не станет, а лучше - возможно. Да, нагрузка спадет. Но пока нет необходимости не хотелось бы вносить дополнительные задержки в трассу. Да и для этого надо перегрузить драйвер карточки - сейчас такой возможности нет. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 23 марта, 2013 (изменено) · Жалоба Снова здравствуйте :) 3gbit, 1Mpps, 70-85% с netflow Заметил любопытную особенность: Если разнести netflow по двум разным правилом (на входящие и исходящие например) проц начинает кушаться более умеренно. UPD. Netflow доел остатки проца. Пришлось разнести на разные сервера. Изменено 23 марта, 2013 пользователем xplorer Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 23 марта, 2013 · Жалоба Если нф слишком дохрена ресурсов жрет, может быть, стоит дампить его с другого сервера, отмиррорив порт? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 23 марта, 2013 · Жалоба xplorer И как оно без netflow? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 23 марта, 2013 · Жалоба xplorer И как оно без netflow? Без netflow 40% загрузки примерно, не больше. Думаю попробовать nfdump в качестве сборщика. Если нф слишком дохрена ресурсов жрет, может быть, стоит дампить его с другого сервера, отмиррорив порт? Я думаю может получиться. Главное что бы мирроринг не съел больше ресурсов чем нетфлоу :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
Wingman Опубликовано 23 марта, 2013 · Жалоба Так миррорить нужно свитчем в другой порт и там уже тем же ipt_netflow ловить другим серваком, а не миррорить весь трафик сервером в другую сетевуху Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 23 марта, 2013 · Жалоба Так миррорить нужно свитчем в другой порт и там уже тем же ipt_netflow ловить другим серваком, а не миррорить весь трафик сервером в другую сетевуху Да, точно... Спасибо :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
NiTr0 Опубликовано 24 марта, 2013 · Жалоба Без netflow 40% загрузки примерно, не больше. Добавите % 10-15 нагрузки - и проц в полку уйдет... Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 24 марта, 2013 · Жалоба Без netflow 40% загрузки примерно, не больше. Добавите % 10-15 нагрузки - и проц в полку уйдет... Так только в говно-системах с шейперами без хешей бывает) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 25 марта, 2013 · Жалоба Добавите % 10-15 нагрузки - и проц в полку уйдет... Пока относительно нагрузки - загрузка проца растет линейно. Не вижу оснований для полки :) Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
No_name Опубликовано 25 марта, 2013 · Жалоба ... Так только в говно-системах с шейперами без хешей бывает) В каких системах, поясните пожалуйста? Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
kayot Опубликовано 25 марта, 2013 (изменено) · Жалоба ... Так только в говно-системах с шейперами без хешей бывает) В каких системах, поясните пожалуйста? В linux-BRASах с классовыми шейперами, но без использования хеш-таблиц такое и происходит. Загрузка системы при росте числа обслуживаемых клиентов растет не линейно, а геометрически. Изменено 25 марта, 2013 пользователем kayot Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
xplorer Опубликовано 25 марта, 2013 · Жалоба Простите, график соврал :) не 1mpps а 500kpps Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
iMPoSsibLe_iT Опубликовано 27 марта, 2013 · Жалоба Уважаемые гуру! Подскажите,пожалуйста,кто чем сможет. Есть задача принять 2-3FV + 3-4 IX'а и отроутить всё это. Трафика планируется 4-5Гбит трафика FD в пике. Планирую платформу под это дело: Платформа Intel R1304GZ4GC Процессор Intel Xeon E5-2620 6-Core * 2шт. Сетевушки Intel x520-da2 ОСъ FreeBSD Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
p9160ff Опубликовано 27 марта, 2013 (изменено) · Жалоба Трафика планируется 4-5Гбит трафика FD в пике. Планирую платформу под это дело: Платформа Intel R1304GZ4GC Процессор Intel Xeon E5-2620 6-Core * 2шт. Сетевушки Intel x520-da2 ОСъ FreeBSD Думаю загнётся на Гигабите. Зачем вам софт на таких скоростях, тут надо что-то аппаратное. Изменено 27 марта, 2013 пользователем p9160ff Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
replicant Опубликовано 27 марта, 2013 (изменено) · Жалоба Трафика планируется 4-5Гбит трафика FD в пике. Планирую платформу под это дело: Платформа Intel R1304GZ4GC Процессор Intel Xeon E5-2620 6-Core * 2шт. Сетевушки Intel x520-da2 ОСъ FreeBSD Думаю загнётся на Гигабите. Зачем вам софт на таких скоростях, тут надо что-то аппаратное. Прожует легко и не загнется. На таких скоростях тут даже NAT делали и ничего, а это банальная задача про роутинг. :) 2 Гбит/с легко перемалывается на Xeon X3470 и медных гигабитных 82576 в роутинге при нагрузке на CPU около 10% в пиках. Рискну предположить что полностью набитых трафиком 4-х портов по 1 Гбит/с на 82576 просто не хватит, чтобы загнать процессор в полку в задачах роутинга. Изменено 27 марта, 2013 пользователем replicant Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
iMPoSsibLe_iT Опубликовано 27 марта, 2013 · Жалоба Трафика планируется 4-5Гбит трафика FD в пике. Планирую платформу под это дело: Платформа Intel R1304GZ4GC Процессор Intel Xeon E5-2620 6-Core * 2шт. Сетевушки Intel x520-da2 ОСъ FreeBSD Думаю загнётся на Гигабите. Зачем вам софт на таких скоростях, тут надо что-то аппаратное. Прожует легко и не загнется. На таких скоростях тут даже NAT делали и ничего, а это банальная задача про роутинг. :) 2 Гбит/с легко перемалывается на Xeon X3470 и медных гигабитных 82576 в роутинге при нагрузке на CPU около 10% в пиках. Рискну предположить что полностью набитых трафиком 4-х портов по 1 Гбит/с на 82576 просто не хватит, чтобы загнать процессор в полку в задачах роутинга. Спасибо. У нас сейчас ~3Гбита размазано по 6ти портам на основе Intel 9404ET и жуёт всё это Xeon 3440 с загрузкой ~30%. Посокльку верно идём к загрузке интерфейсов стоит задача расширения оных и выбор пал на 10Ге. Вот и решил что стоит поменять и платформу сразу. И дабы не "сесть в лужу" решил проконсультироваться с многоуважаемым ALL. Вставить ник Цитата Ответить с цитированием Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах More sharing options...
