heap

Обсуждалось в этой же теме, несколькими страницами раньше. Tip: выводить системные сообщения на com-порт. Спасибо, это читал и тут и в гугле. Другое дело что теплилась надежда сделать это проще.

Кто-нибудь пользует bonding на сервачках с accel? Как впечатления? Сам использую, но сервачинка уже два раза в панике побывала. Не одного раза зафиксировать не удалось - пнул на ребут другой человек. Не уверен, что проблема в бондинге, но все же. Плюс хочу спросить - как подобрать размеры аппаратных буферов на карточка? Карточки Intel Corporation 82571EB Gigabit Ethernet Controller и Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet Драйвер на бродком к слову собрал с оффсайта. # ethtool -i eth0 driver: e1000 version: 7.3.20-k2-NAPI firmware-version: 5.6-2 bus-info: 0000:0a:00.0 # ethtool -g eth0 Ring parameters for eth0: Pre-set maximums: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 Current hardware settings: RX: 4096 RX Mini: 0 RX Jumbo: 0 TX: 4096 # ethtool -i eth1 driver: bnx2 version: 1.6.9 firmware-version: 3.5.12 ipms 1.6.0 bus-info: 0000:03:00.0 # ethtool -g eth1 Ring parameters for eth1: Pre-set maximums: RX: 1020 RX Mini: 0 RX Jumbo: 0 TX: 255 Current hardware settings: RX: 1020 RX Mini: 0 RX Jumbo: 0 TX: 255 Как видно сейчас размеры буферов закатил в максимум. Возможно есть мнения, что это неверно? И напоследок - гугл не помог - можно ли как-то поймать хотя бы текст паники, если не дамп ядра. Во Фре помнится можно заставить слить при панике дамп в каталог и потом его бэктрейсить. Какие варианты в Линукс, кроме глазеть на монитор?

механизм буферизации был исключен начиная с версии 0.8.2, если есть необходимость можно восстановить Я думаю было бы полезно. Сам сейчас вкручиваю бондинг. Правда по принципу маков или айпишников, что не должно вносить реордеринга пакетов.

как и чем смотрите? 50% - суммарная загрузка (то, что показывает vmstat) или через mpstat/top ? В реальном времени htop или top. + Рисую rrd графики, собирая стат по mpstat. Забыл еще указать, что если на самом сервере запускаю wget - долбит десятки мегабит. А уже на клиенте без всяких шейперов со стороны сервера - болт. При запуске wget прыгает до порядка 10-12 мегабит и падает ниже восьми в среднем.

Если удалось найти решение - поделитесь опытом. Тоже не могу понять: сервер с двумя 4-х головыми ксеонами: Intel® Xeon® CPU E5410 @ 2.33GHz Есть карточки встроенные: два порта Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet (rev 12) И не встроенные: двухпортовая Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) Пара портов на входе (так как именно там было узкое место по процессору) собрана в bonding. Трафло распределяется между сетевыми в бондинге достаточно равномерно. Интерапты сетевых привязаны каждый к своему ядру процессора. Загрузка процессоров выше 50% не поднимается. При этом не могу потянуть сквозь пптп соединение даже 10 мбит. В пиках прыгает до десятки и сползает ниже. В слову - используется НАТ и шейпинг при помощи tbf. Но на тестируемом интерфейсе прибивал все - а эффект тот же. Чувствую, что нужно где-то покрутить sysctl, но пока не могу найти где. Может всезнающий ALL наставит на путь истинный. Ибо аналогично количество туннелей 500-800, трафик выше 250 мбит не поднимается, хотя по внешним данным запас по процессору есть, адаптеры тож далеки от своих пропускных способностей. Заранее спасибо. Буду благодарен за любой пинок в верном направлении.

Дык отрезать лишние порты не проблема - но тогда возникает проблема с доступом к сайтам АОЛ, если маршрутизация на подсети АОЛ ведет в локалку, а не в инет. :(

Всем доброго дня. Есть предположение, что многие локальные сети предоставляют доступ к ICQ из локалки бесплатно. Хотелось понитересоваться кто как решает данную задачу? Наиболее тривиально включить NAT на подсети ICQ из локальное сети. Но тогда открывается куча сервисов AOL в локалку. Может есть иные решения?

Всем доброго времени. Стоит задачка заставить работать сервачинку с 2-мя 4-х ядерными процессорами Intel Xeon. Количество РАМы на борту пока составляет 4Гб. В планах на ней должна крутиться СУБД MySQL с некоторым количеством БД в ней, к которым будет достаточно много емких запросов. (я думаю цифры в смысле вопроса не принципиальны) Выбор пал между FreeBSD 7.1 и RHEL 5.2 (в лице CentOS). Есть ли какие-либо принципиальные соображения на тему какой из вариантов и чем лучше?

Да нет - поставить несколько серверов не проблема. Суть вопроса скорее в том, что клиенту удобнее когда ВПНа нет (то есть он прямо через сервер бегает в инет). А серверу получается тяжелее когда ВПНа нет, потому как постоянно лопатятся куча фильтров на интерфейсе. И при росте PPS (например, начнут гонять телефонию или хз еще что) серверу может стать тошно при не очень большой нагрузке. Хотя... Было интересно - кто-нибудь выпускает клиентов без ВПНа в интернет, как это дело построено и какую тянет нагрузку на используемом железе.

Не совсем понял про один шейпер? Один на ппп? Ну не совсем один, а один шейпер на исход, и один фильтер с рейт-лимитом на вход. Но все равно эти фильтры цепляет только трафик на этом интерфейсе. А если же повесить шейпера на локальный интерфейс - матчится с горой фильтров будет гора трафика.

Всем доброго времени! Прошу совета в вопросе сабжа. Предположим есть сеть, построенная на управляемом оборудовании Layer 2, которое позволяет реализовать Mac-IP-Port-Binding. Иными словами каждый клиент жёстко привязан к порту по своему маку и ай-пи адресу. Далее есть два варианта развития событий (точнее их больше, но рассматривается только два). Самый древний и простой - клиент устанавливает с сервером соединение VPN (не важно - PPPoE или PPTP), получает на ВПН какой-то ай-пи и по нему бегает в интернет. Оговоримся, что наиболее вероятно, что сервер работает под управлением Linux и там rp-pppoe/kernel-mode или accel-pptp. Второй вариант, клиент в случае пакета ограниченного только по скорости получает себе локальный адрес в сети и по нему бегает в интернет. В первом варианте есть масса GRE трафика, который почти не цепляет фаервол и уж тем более не цепляет u32 в iproute. Зато на каждый pppX вешается шейпер htb и жмет трафик только этого клиента (или tbf, что еще более экономично в плане ресурсов). Во втором варианте на локальном интерфейсе роутера висит htb c кучей классов, на которые еще довинчена sfq, и при помощи несметного количества фильтров трафик заворачивается в положенный ему класс. И тут собственно встает вопрос. ВПН имеет свои недостатки - начиная от устройств клиентов, не имеющих возможности бегать в инет по любым протоколам, кроме плоского ай-пи, и заканчивая сложностями разруливания большого числа туннелей на самом сервере. Значит просто и красиво дать плоский ай-пи клиенту, у которого со включением компа уже есть инет. Но! Даже на сервере с процессором Core 2 Duo серии 7xxx при трафике порядка 10000 пакетов и условии задействования одного интерфейса со стороны обслуживания клиентов, а также при навешивании 1500 правил (классов htb и фильтров с rate-limit) на интерфейс, нагрузка одного из ядер прыгает в 100% и начинаются проблемы с качеством обслуживания. Выходит, что обслужить более 1500 клиентов этот сервер просто не в силах. Тестировалось в один поток с учетом SNAT при помощи iperf по протоколу UDP. Как данную ситуацию разруливают операторы связи, у которых клиентская база насчитывает пару десятков тысяч клиентов? Они все-таки имеют у себя в сети какой-то ВПН, или как-то иначе решают проблему обжатия трафика, не наступая на грабли с кучей u32 фильтров, нагибающих процессор в известное состояние? И это без учета того, что возможно нужно как-то собрать NETFLOW стат по трафику клиента (даже откинув идею о fprobe и воспользовавшись ipt_netflow). Как быть в данной ситуации? Заранее спасибо за любые рекомендации.

мы настроили. но не vlc. Позвольте полюбопытствовать - а чем именно воспользовались? Каким ПО? К теме о vlc: делаю так (камера от D-Link - 5220): cvlc -vvv rtsp://<cam ip>/live.sdp --sout '#std{access=http,mux=asfh,dst=127.0.0.1:8000}' И не могу прочесть ничего с http://127.0.0.1:8000, другой vlc, натравленный на этот URL мне выдает: [00000405] main stream error: cannot pre fill buffer Если: cvlc -vvv rtsp://<cam ip>/live.sdp --sout '#std{access=http,mux=ts,dst=127.0.0.1:8000}' то уже другой vlc может проиграть URL. И mplayer может, но дольше задумывается вначале после слов: TS file format detected. Далее пытаюсь получить mms поток с WMV2 в asf. В mplayer по ошибке запросил http: > mplayer http://<ip>:8080 MPlayer 1.0rc2-SUSE Linux 11.0 (i686)-Packman-4.3 © 2000-2007 MPlayer Team CPU: Intel® Core2 Duo CPU E6550 @ 2.33GHz (Family: 6, Model: 15, Stepping: 11) CPUflags: MMX: 1 MMX2: 1 3DNow: 0 3DNow2: 0 SSE: 1 SSE2: 1 Compiled with runtime CPU detection. Can't open joystick device /dev/input/js0: No such file or directory Can't init input joystick mplayer: could not connect to socket mplayer: No such file or directory Failed to open LIRC support. You will not be able to use your remote control. Playing http://<ip>:8080. Connecting to server <ip>[<ip>]: 8080... Cache size set to 320 KBytes Cache fill: 0.18% (585 bytes) Win32 LoadLibrary failed to load: avisynth.dll, /usr/lib/codecs/avisynth.dll, /usr/lib/win32/avisynth.dll, /usr/local/lib/win32/avisynth.dll Exiting... (End of file) Исправился: > mplayer mms://<ip>:8080 MPlayer 1.0rc2-SUSE Linux 11.0 (i686)-Packman-4.3 © 2000-2007 MPlayer Team CPU: Intel® Core2 Duo CPU E6550 @ 2.33GHz (Family: 6, Model: 15, Stepping: 11) CPUflags: MMX: 1 MMX2: 1 3DNow: 0 3DNow2: 0 SSE: 1 SSE2: 1 Compiled with runtime CPU detection. Can't open joystick device /dev/input/js0: No such file or directory Can't init input joystick mplayer: could not connect to socket mplayer: No such file or directory Failed to open LIRC support. You will not be able to use your remote control. Playing mms://<ip>:8080. STREAM_ASF, URL: mms://<ip>:8080 Connecting to server <ip>[<ip>]: 8080... Connected MPlayer interrupted by signal 13 in module: open_stream - MPlayer crashed. This shouldn't happen. It can be a bug in the MPlayer code _or_ in your drivers _or_ in your gcc version. If you think it's MPlayer's fault, please read DOCS/HTML/en/bugreports.html and follow the instructions there. We can't and won't help unless you provide this information when reporting a possible bug. Другой vlc тоже радостно пишет: [00000403] access_mms access error: no data received Никак не удается получить адекватный mms или http поток, который бы одинаково успешно игрался и в открытых плеерах (xine, mplayer) и в Windows Media Player. Кому удавалось сие - поделитесь опытом, pls.

Покопался с netflow. Собрал его на CentOS 5.2 с ванильным ведром 2.6.22.19. Модуль подгружается, правила добавляются, в dmesg постоянно какой-то мусор падает, при этом netflow течет куда надо. Спустя некоторое время kernel panic. Судя по всему не с проста в dmesg мусор. Не наблюдали такого? Какие версии софта стоят?

Спасибо. Буду пробовать еще этот вариант. Сегодня перебрал разные. Битрейта мне столько много, да и картинку сделаю поменьше - видео будет доступно на сайте - потому битрейт критичен. Сразу вопрос в тему, так сказать, а не подскажете ли готового решения встраиваемого в сайт плеера, чтобы просматривать это самое видео? По принципу какого-нибудь ютюба или прочих видео-сервисов?

Если не затруднит - можно ли ключики в студию от работающего решения? Немного подобрал комбинацию ключей - пока споткнулся только о то, что при попытке проиграть mplayer'ом он сначала говорит, что первый фрейм не ключевой и несколько секунд изображения нет, потом приезжает keyframe и процесс пошел. :)

Не надо стучать. :) Насчет баги я общался с разработчиками, собственно тогда же родился патч, после детального описания проблемы, высланного им. Спустя время, когда отписал им, что патч работает стабильно - видел этот патчик среди коммитов. Потому на STABLE уже несколько месяцев должно быть все ок. :)

Где поподробнее об этом можно узнать, так как имею такую же проблему. И каковы действия по решению. Надо поискать по рассылке FreeBSD, связанной с ipfw. ТАм где-то это обсуждалось примерно зимой-весной 2008 года. Там же где-то вероятно приводится патчик. А еще лучше попробовать накатиться до STABLE и посмотреть. Вероятно развалится система не должна будет. :)

Читать пробовали - толку только мало - только описанная конфа завелась. Вот сейчас поставил контейнер ogg и кодек DivX3 - если с этой конфигурацией транслирую обычный видеофайл - все нормально, mplayer цепляется и т.д. А если в качестве источника указываю RTSP с камеры, получаем в клиентском vlc: [00000404] main stream error: cannot pre fill buffer mplayer тоже висит в ожидании наполнения буфера. Но стоит только поменять контейнер на TS и кодек на mp4 - начинает играть, но только иной vlc. o_O

Попытался получить с камеры поток по RTSP и ретранслировать его при помощи VLC. Единственная комбинация параметров, найденная на данный момент - это трансляция по http, в контейнере MPEG-TS, с кодеком MPEG4. При этом единственное, чем удалось его нормально просмотреть - это другой VLC. MPlayer не играет, хотя прекешинг делает и говорит, что нашел TS. xine один раз рывками поиграл и более не захотел. Плееры в Windows открывают какую-то полоску белую в центре окна. Кому-нибудь приходилось транслировать при помощи VLC? Какие использовались параметры?

Попробовать интересные вещи никогда не лишне. :) А насчет из базы - у меня в некотором смысле пока так и происходит. В radius-reply приезжают параметры обжимки, а в ipup скрипте они применяются на ppp. Ну а радиус их уже тем или иным способом берет из базы - тут вариантов много.

Спасибо. Такая схемка завелась. А вот с police rate на входящий трафик убрать u32 не получилось. Когда убираю - трафик не лимитится. o_O Это пытались лечить?

Надо этих манагеров выжигать напалмом. Пытаются срубить бабки на чем угодно. А нам потом париться с изобретением окольных путей :)

Тогда возникает иного плана вопрос - насколько эффективнее проверять метку на пакете? И как замаркировать входящий трафик, чтобы сделать лимит рейт? Получается придется на исходящем интерфейсе делать shape при условии, что такой интерфейс один. Кроме того - возможно есть какой-то путь вообще ничего не проверять и заворачивать весь трафик? Ведь на pppX бегает трафика как правило только на одно направление (по крайней мере в данном случае) - вот его весь и надо шейпить не сверяя подробностей. Только как?

видеорегистратор - это и есть родной софт ДЛинка под винду? Спасибо, почитаю. Главное пробиться сквозь менеджеров, которые предпочитают D-Link по своим менеджерско-религиозным соображениям.

Спасибо за идею с ipt_netflow - раньше о нем не слышал - теперь почитаю. Или он не включен в netfilter и требуется патчинг ядра? Используется fprobe-ulog. А почему сервера размещены в виртуалках? Нагрузка не большая? Не могли бы описать примерные условия - количество туннелей, объемы трафика, pps, есть или нет NAT, какие характеристики железа? (частоты и модели Ксеонов, объем памяти) Gentoo - это религиозный выбор в пользу любимого дистрибутива или в ваших руках красиво собранный имеет преимущество в производительности перед бинарными дистрами? Для pptp - accel-pptp или poptop? Для pppoe - rp-pppoe? Или я чего-то не знаю? :)