[voron]

Учитывая FUSE, просто proof of concept. Терабайт тоже влезет, ждать подольше только

root@jdi:~# modprobe zram
root@jdi:~# echo 128*2^20|bc > /sys/block/zram0/disksize 
root@jdi:~# mkfs.ext4 -q /dev/zram0 
root@jdi:~# mount /dev/zram0 /mnt
root@jdi:~# fusecompress -o fc_c:lzo,nonempty /mnt /mnt
root@jdi:~# df -l /mnt
Файловая система   		1K-блоков      Исп  Доступно  Исп% смонтирована на
fusecompress            126960 	16436    103972  14% /mnt
root@jdi:~# dd if=/dev/zero of=/mnt/zerofile bs=1M count=1000
1000+0 записей считано
1000+0 записей написано
скопировано 1048576000 байт (1,0 GB), 15,4791 c, 67,7 MB/c
root@jdi:~# df -l /mnt
Файловая система   		1K-блоков      Исп  Доступно  Исп% смонтирована на
fusecompress            126960 	16444    103964  14% /mnt
root@jdi:~# stat /mnt/zerofile 
 File: «/mnt/zerofile»
 Size: 1048576000	Blocks: 8          IO Block: 4096   обычный файл
Device: 17h/23d	Inode: 12          Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2012-03-05 23:17:48.000000000 +0200
Modify: 2012-03-05 23:17:03.000000000 +0200Change: 2012-03-05 23:17:19.000000000 +0200

А аппаратная акселерация сжатия есть для FreeBSD или быстро только нули и только zfs?

[lagman]

Учитывая FUSE, просто proof of concept. Терабайт тоже влезет, ждать подольше только

root@jdi:~# modprobe zram
root@jdi:~# echo 128*2^20|bc > /sys/block/zram0/disksize 
root@jdi:~# mkfs.ext4 -q /dev/zram0 
root@jdi:~# mount /dev/zram0 /mnt
root@jdi:~# fusecompress -o fc_c:lzo,nonempty /mnt /mnt
root@jdi:~# df -l /mnt
Файловая система   		1K-блоков      Исп  Доступно  Исп% смонтирована на
fusecompress            126960 	16436    103972  14% /mnt
root@jdi:~# dd if=/dev/zero of=/mnt/zerofile bs=1M count=1000
1000+0 записей считано
1000+0 записей написано
скопировано 1048576000 байт (1,0 GB), 15,4791 c, 67,7 MB/c
root@jdi:~# df -l /mnt
Файловая система   		1K-блоков      Исп  Доступно  Исп% смонтирована на
fusecompress            126960 	16444    103964  14% /mnt
root@jdi:~# stat /mnt/zerofile 
 File: «/mnt/zerofile»
 Size: 1048576000	Blocks: 8          IO Block: 4096   обычный файл
Device: 17h/23d	Inode: 12          Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2012-03-05 23:17:48.000000000 +0200
Modify: 2012-03-05 23:17:03.000000000 +0200Change: 2012-03-05 23:17:19.000000000 +0200

Что Вы хотели показать этим примером? У вас zram в данном случае сжатием файлов не занимается, этим занимается юзерлевел костыль fusecompress. Поэтому я все еще хочу увидеть, как Вы на чистую ext4 поверх zram устройства - запишете терабайт нулей ;)

 

А аппаратная акселерация сжатия есть для FreeBSD или быстро только нули и только zfs?

А зачем?

 

“Customer tests have shown up to a 3X performance improvement over software-only compression, with a corresponding reduction in CPU and memory usage,” said Hank Cohen, director of product marketing of Altior Inc.

В моей виртуалке нулики и так писались в 10 раз быстрее, чем у Вас ;)

 

1292785156096 bytes transferred in 2209.930826 secs (584988969 bytes/sec)

скопировано 1048576000 байт (1,0 GB), 15,4791 c, 67,7 MB/c

[lagman]

http://habrahabr.ru/blogs/hosting/139368/#comment_4656836

http://habrahabr.ru/blogs/hosting/139368/#comment_4657219

 

а вот какие проблемы создает кривой линагз людям, которые на нем пытаются зарабатывать деньги (:

[_INF_]

http://habrahabr.ru/blogs/hosting/139368/#comment_4656836

http://habrahabr.ru/blogs/hosting/139368/#comment_4657219

 

а вот какие проблемы создает кривой линагз людям, которые на нем пытаются зарабатывать деньги (:

 

Понимаю, что весна, но все же надо накидывать несколько более тонкими слоями.

[lagman]

http://habrahabr.ru/blogs/hosting/139368/#comment_4656836

http://habrahabr.ru/blogs/hosting/139368/#comment_4657219

 

а вот какие проблемы создает кривой линагз людям, которые на нем пытаются зарабатывать деньги (:

 

Понимаю, что весна, но все же надо накидывать несколько более тонкими слоями.

 

Сбой на уровне рейда (mdadm, raid10). При совмещении ресинка и IO «залипает» и перестаёт обслуживать любое IO.

[_INF_]

http://habrahabr.ru/blogs/hosting/139368/#comment_4656836

http://habrahabr.ru/blogs/hosting/139368/#comment_4657219

 

а вот какие проблемы создает кривой линагз людям, которые на нем пытаются зарабатывать деньги (:

 

Понимаю, что весна, но все же надо накидывать несколько более тонкими слоями.

 

Сбой на уровне рейда (mdadm, raid10). При совмещении ресинка и IO «залипает» и перестаёт обслуживать любое IO.

 

Давайте определимся, что я правильно понимаю логические обоснования Ваших действий.

Судя по ним мне достаточно найти на популярном сайте проблему с рейдом на FreeBSD, что бесспорно будет говорить о том, что FreeBSD по своей сути кусок говна.

 

Так ?

[lagman]

http://habrahabr.ru/blogs/hosting/139368/#comment_4656836

http://habrahabr.ru/blogs/hosting/139368/#comment_4657219

 

а вот какие проблемы создает кривой линагз людям, которые на нем пытаются зарабатывать деньги (:

 

Понимаю, что весна, но все же надо накидывать несколько более тонкими слоями.

 

Сбой на уровне рейда (mdadm, raid10). При совмещении ресинка и IO «залипает» и перестаёт обслуживать любое IO.

 

Давайте определимся, что я правильно понимаю логические обоснования Ваших действий.

Судя по ним мне достаточно найти на популярном сайте проблему с рейдом на FreeBSD, что бесспорно будет говорить о том, что FreeBSD по своей сути кусок говна.

 

Так ?

Покажите мне пожалуйста пост, в котором я называл линукс куском говна :)

[_INF_]

Покажите мне пожалуйста пост, в котором я называл линукс куском говна :)

 

Вы не отвечаете на мой ответ :)

[lagman]

Покажите мне пожалуйста пост, в котором я называл линукс куском говна :)

Вы не отвечаете на мой ответ :)

Отвечаю: Вы сможете сделать некие выводы, как их делаю я. И представить их на суд общественности!

[_INF_]

Покажите мне пожалуйста пост, в котором я называл линукс куском говна :)

Вы не отвечаете на мой ответ :)

Отвечаю: Вы сможете сделать некие выводы, как их делаю я. И представить их на суд общественности!

 

Ну в данный момент на основании одного поста в коментах о якобы неработоспособности программного RAID 10 в Linux Вы делаете выводы о том, что Linux не пригоден для коммерческого применения.

 

Таким образом для того чтобы доказать, что FreeBSD нах никому не надо достаточно:

 

1. Дать 2 ссылки на то, что пакетный менеджер во FreeBSD говно

2. Дать две ссылки что FS во FreeBSD говно

3. Дать две ссылки что с пакетными фильстрами во FreeBSD косяки

4. Дать две ссылки что ядро не компилится.

 

Достаточно простая задача, как Вы считаете ? :)

[lagman]

Покажите мне пожалуйста пост, в котором я называл линукс куском говна :)

Вы не отвечаете на мой ответ :)

Отвечаю: Вы сможете сделать некие выводы, как их делаю я. И представить их на суд общественности!

 

Ну в данный момент на основании одного поста в коментах о якобы неработоспособности программного RAID 10 в Linux Вы делаете выводы о том, что Linux не пригоден для коммерческого применения.

 

Таким образом для того чтобы доказать, что FreeBSD нах никому не надо достаточно:

 

1. Дать 2 ссылки на то, что пакетный менеджер во FreeBSD говно

2. Дать две ссылки что FS во FreeBSD говно

3. Дать две ссылки что с пакетными фильстрами во FreeBSD косяки

4. Дать две ссылки что ядро не компилится.

 

Достаточно простая задача, как Вы считаете ? :)

Вы свою копрофилию оставьте у входа, тут вроде бы приличные люди собрались. Я линукс говном не называл, уличить меня в этом вы не сможете. Я лишь сакцентировал внимание на одном из недостатков, коих много и в линуксе, и во фре. А Вы сразу начинаете агриться ;)

[voron]

Что Вы хотели показать этим примером?

Что запись 1ТБ в 128М рам-диск работает. Не вы ли этого ждали?

У вас zram в данном случае сжатием файлов не занимается

Блочное устройство не может сжимать файлы. zram имеет настраиваемый фиксированный размер и сжимает только своё представление в памяти. Хорошее применение zram - своппинг в него на десктопе.

этим занимается юзерлевел костыль fusecompress

можно подумать, в вашем примере это делает блочное устройство.

 

Поэтому я все еще хочу увидеть, как Вы на чистую ext4 поверх zram устройства - запишете терабайт нулей ;)

Только после того, как увижу это же для UFS[2], такой же ФС по умолчанию для FreeBSD, какой сейчас является ext4 для основных дистрибутивов Linux.

 

А аппаратная акселерация сжатия есть для FreeBSD или быстро только нули и только zfs?

А зачем?

Очевидно, хорошо сжимать не нулики без cpu. Или FreeBSD умеет хорошо, быстро и незаметно для CPU сжимать реальные данные? Покажите мне на UFS, жду ;D

 

В моей виртуалке нулики и так писались в 10 раз быстрее, чем у Вас ;)

что ожидаемо, ибо FUSE для proof of concept.

Изменено 6 марта, 2012 пользователем voron

[lagman]

У вас zram в данном случае сжатием файлов не занимается

Блочное устройство не может сжимать файлы. zram имеет настраиваемый фиксированный размер и сжимает только своё представление в памяти. Хорошее применение zram - своппинг на десктопе.

Бинго! Хоть кто-то из линукзоедов понял, как работает zram в линагзе. Поскольку в первоисточнике у нас такое вот:

 

Свершилось, в бзде возможно появится то, что в лине было более 10 лет назад... Такими темпами, может лет через 10 и zram (да-да, рамдиск c компрессией данных на нем) реализуют...

 

этим занимается юзерлевел костыль fusecompress

можно подумать, в вашем примере это делает блочное устройство.

А я и не утверждал, что в моем примере это делает блочное устройство :)

[^rage^]

1. Дать 2 ссылки на то, что пакетный менеджер во FreeBSD говно

 

на не надо ничего давать. порты во фре мантейнятся левой пяткой после праздников.

1)

чудный порт multimedia/x264-devel

включаем опцию PGO, - не компилицца. причина - мантейнер забыл добавить в distinfo SHA256/SIZE данные тестового семпла.

для порта multimedia/x264 такого нет.

2)уже упомянутая devel/zmq - мантейнер собирает её без openpgm, который как бы supported на linux/freebsd/solaris/windows

в результате - большая часть вкусных вещей из zeromq не работает.

3)порт lang/gcc46 в данный момент не собирается

4)порт multimedia/gstreamer имеет версию 0.10.35, хотя на сайте уже давно есть 0.10.36

5)порт www/uwsgi. его мантейнер - конченный олень. забил на всю инфраструктуру плагинов и собрал один большой бинарник.

6)порт www/nginx. можно запросто наткнутся на собирающийся, но не работающий модуль.

 

т.е. утверждение про "самый свежий софт в портах" - это просто миф, чтобы прикрыть лень мантейнеров. на самом деле, никто ничего не гарантирует и собрано оно как попало.

[^rage^]

В вышеупомянутой горке костылей я записал терабайт нулей на 128м рам диск. Теперь Ваша очередь сделать тоже самое ;)

 

практическое применение то какое? писать терабайты нулей? ;)

вот у compcache/zram/zcache цель понятна. а у вас? ;)

[NiTr0]

В вышеупомянутой горке костылей я записал терабайт нулей на 128м рам диск. Теперь Ваша очередь сделать тоже самое ;)

пожалуйста. хотя терабайт нулей мне писать лень будет, ограничусь 64 гигами.

 

zram имеет настраиваемый фиксированный размер и сжимает только своё представление в памяти.

что не мешает создать его намного большего размера, чем доступно памяти.

 

Хоть кто-то из линукзоедов понял, как работает zram в линагзе.

Нет, это вы не понимаете как он работает :)

 

# modprobe zram
# echo 68719476736 > /sys/block/zram0/disksize
# mkfs.ext4 -q /dev/zram0
# mount /dev/zram0 /mnt/test
# echo 3 > /proc/sys/vm/drop_caches
# cat /proc/meminfo
MemTotal:        4050900 kB
MemFree:         2159292 kB
....
# df
Файловая система                 1K-блоков Использовано  Доступно Использовано% Cмонтировано в
....
/dev/zram0                        66993872      1122076  62516356            2% /mnt/test
# dd if=/dev/zero of=/mnt/test/zerofile bs=1M count=62500
62500+0 записей считано
62500+0 записей написано
скопировано 65536000000 байт (66 GB), 116,72 c, 561 MB/c
# echo 3 > /proc/sys/vm/drop_caches
# cat /proc/meminfo
MemTotal:        4050900 kB
MemFree:         2173184 kB
....
# df
Файловая система                 1K-блоков Использовано  Доступно Использовано% Cмонтировано в
....
/dev/zram0                        66993872     65122084         0          100% /mnt/test

 

в фоне крутится кучка всяческого софта еще, частично выдавленного в своп кэшем - за счет чего кол-во свободной памяти после записи оказалось несколько больше, чем до :)

[lagman]

В вышеупомянутой горке костылей я записал терабайт нулей на 128м рам диск. Теперь Ваша очередь сделать тоже самое ;)

практическое применение то какое? писать терабайты нулей? ;)

вот у compcache/zram/zcache цель понятна. а у вас? ;)

Ну так это Вам потребовалась RW фс в оперативе с компрессией, не мне. Сами решите, зачем она Вам ;)

 

zram имеет настраиваемый фиксированный размер и сжимает только своё представление в памяти.

что не мешает создать его намного большего размера, чем доступно памяти.

И что произойдет, если мы начнем писать на него не простые нули, а, к примеру пару десятков гиг жпегов? :)

Изменено 6 марта, 2012 пользователем lagman

[NiTr0]

И что произойдет, если мы начнем писать на него не простые нули, а, к примеру пару десятков гиг жпегов? :)

OOM ессно. Хотя, если сильно хочется - маленький патчик, и вуаля - получаете лимит как по размеру блочного устройства, так и по размеру занимаемой памяти. Да, несколько некрасиво конечно будет обрабатываться превышение, будет отказ в записи, но к крашу всего это не приведет.

А как вы определите на вашей ФС, сколько же реально данных вы можете туда сохранить - 128 МБ, либо же 1 ТБ? :) ZFS настолько могуча, что не в силах однозначно определить объем доступного места? :) Ну или же будет стандартная отмазка "а нафига оно надо, коли бздя это не может"? :)

Изменено 6 марта, 2012 пользователем NiTr0

[lagman]

И что произойдет, если мы начнем писать на него не простые нули, а, к примеру пару десятков гиг жпегов? :)

OOM ессно. Хотя, если сильно хочется - маленький патчик, и вуаля - получаете лимит как по размеру блочного устройства, так и по размеру занимаемой памяти. Да, несколько некрасиво конечно будет обрабатываться превышение, будет отказ в записи, но к крашу всего это не приведет.

А как вы определите на вашей ФС, сколько же реально данных вы можете туда сохранить - 128 МБ, либо же 1 ТБ? :) ZFS настолько могуча, что не в силах однозначно определить объем доступного места? :) Ну или же будет стандартная отмазка "а нафига оно надо, коли бздя это не может"? :)

Вот мы постепенно и пришли к вопросу о целесообразности зипованых фс в оперативе ;)

А zfs просто попытается отожрать столько данных, сколько даст провайдер:

 

vps1# dd if=/dev/urandom of=/test/randomdata bs=128k

dd: /test/randomdata: No space left on device

724+0 records in

723+0 records out

94765056 bytes transferred in 10.545496 secs (8986306 bytes/sec)

И никаких OOM, и никаких патчиков ;)

[NiTr0]

Вот мы постепенно и пришли к вопросу о целесообразности зипованых фс в оперативе ;)

Нет, это вы не догадываетесь о целесообразности хранения логов и т.п. на зипованных системах в руте. И важности для подобного применения реального свободного места на системе, а не "пихай пока лезет, а не лезет - тогда ой".

О размещении свопа на zram, весьма полезном на всяческих embedded железках да и вообще для задач, потребляющих десятки гигабайт памяти, помолчу... хотя да, "в бзде этого нет - значит это никому не нужно" (с)...

 

А zfs просто попытается отожрать столько данных, сколько даст провайдер:

Ну это какбэ понятно. Только ответа на вопрос "а сколько же данных может поместиться на ФС?" это не дает. А тута система сыпет в сутки 200 МБ статистики к примеру, и один день - нулями, а другой - (псевдо)рандомом... Что, выделять 200*N МБ статически в вашем случае? :) А накой тогда сжатие вообще? :)

[lagman]

Вот мы постепенно и пришли к вопросу о целесообразности зипованых фс в оперативе ;)

Нет, это вы не догадываетесь о целесообразности хранения логов и т.п. на зипованных системах в руте. И важности для подобного применения реального свободного места на системе, а не "пихай пока лезет, а не лезет - тогда ой".

О размещении свопа на zram, весьма полезном на всяческих embedded железках да и вообще для задач, потребляющих десятки гигабайт памяти, помолчу... хотя да, "в бзде этого нет - значит это никому не нужно" (с)...

 

А zfs просто попытается отожрать столько данных, сколько даст провайдер:

Ну это какбэ понятно. Только ответа на вопрос "а сколько же данных может поместиться на ФС?" это не дает. А тута система сыпет в сутки 200 МБ статистики к примеру, и один день - нулями, а другой - (псевдо)рандомом... Что, выделять 200*N МБ статически в вашем случае? :) А накой тогда сжатие вообще? :)

Ваш коллега показал же fusecompress, который для сжатия текстовых логов гораздо более уместен. Зачем Вы пытаетесь на сопли и изоленту для этого вкрячить свой zram?

[_INF_]

Для пущего накала ненависти между представителями одной профессии на форуме явно не хватает кармы :)

[lagman]

Да разве это ненависть. Просто профессионалы типа меня проводят небольшой ликбез новичкам типа NiTr0 :)

[_INF_]

Да разве это ненависть. Просто профессионалы типа меня проводят небольшой ликбез новичкам типа NiTr0 :)

 

Похоже Вы живете в параллельной реальности. Мне кажется, что наоборот, Вас уже страниц 10 как котенка тыкают носом в "FreeBSD"

[lagman]

Да разве это ненависть. Просто профессионалы типа меня проводят небольшой ликбез новичкам типа NiTr0 :)

Похоже Вы живете в параллельной реальности. Мне кажется, что наоборот, Вас уже страниц 10 как котенка тыкают носом в "FreeBSD"

Вам надо просто с единорога слезть, розовые очки снять, и сразу все встанет на свои места ;)