<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>稀饭的国度 &#187; 文件系统</title>
	<atom:link href="http://blog.thematice.com/html/ycategory/file-systems/feed" rel="self" type="application/rss+xml" />
	<link>http://blog.thematice.com</link>
	<description>发现自己的脑袋不好使了，用blog来记录真的很好用。</description>
	<lastBuildDate>Thu, 09 Feb 2012 13:33:30 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.3.1</generator>
		<item>
		<title>图片服务器的linux文件系统选型[转]</title>
		<link>http://blog.thematice.com/html/y2010/611_%e5%9b%be%e7%89%87%e6%9c%8d%e5%8a%a1%e5%99%a8%e7%9a%84linux%e6%96%87%e4%bb%b6%e7%b3%bb%e7%bb%9f%e9%80%89%e5%9e%8b%e8%bd%ac.html#utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=%25e5%259b%25be%25e7%2589%2587%25e6%259c%258d%25e5%258a%25a1%25e5%2599%25a8%25e7%259a%2584linux%25e6%2596%2587%25e4%25bb%25b6%25e7%25b3%25bb%25e7%25bb%259f%25e9%2580%2589%25e5%259e%258b%25e8%25bd%25ac</link>
		<comments>http://blog.thematice.com/html/y2010/611_%e5%9b%be%e7%89%87%e6%9c%8d%e5%8a%a1%e5%99%a8%e7%9a%84linux%e6%96%87%e4%bb%b6%e7%b3%bb%e7%bb%9f%e9%80%89%e5%9e%8b%e8%bd%ac.html#comments</comments>
		<pubDate>Wed, 27 Jan 2010 16:01:09 +0000</pubDate>
		<dc:creator>稀饭</dc:creator>
				<category><![CDATA[Linux]]></category>
		<category><![CDATA[Linux tools]]></category>
		<category><![CDATA[文件系统]]></category>
		<category><![CDATA[系统管理]]></category>

		<guid isPermaLink="false">http://blog.thematice.com/?p=611</guid>
		<description><![CDATA[近来工作中要构建一个能够存储10T级左右别图片文件的图片存储系统，日增长6G左右的图片。面对这个系统，我又碰到了那个老问题，就是文件系统的选型。早在两年前，我就针对linux系统中几种流行的文件系统进行过考察和测试工作。当时的reiserfs 3.x 是让我非常满意的文件系统，reiserfs文件系统没有inode的局限，使用B+tree的索引形势来查找文件，效率是非常德高，特别是在小文件的存储效率上明显超出ext3很多（iozone测试佐证）。格式化效率和支持最大8T的文件系统容量上也都非常的不错，只是mount reiserfs的时候稍微显得有些缓慢。当时的reiserfs 3.x版本是对于linux 图片文件系统非常理想的选择。 然而，就在我们期盼着reiser4的成熟之时，namesys的灵魂，reiser之父 Hans Reiser 因为感情问题翻了错误。（程序员还是应该多关心人家啊！）谋杀罪名成立，被判入狱。在我这次选型的时候，还是首先选择了reiser4，但是由于reiser4没有被众多的linux kernel引入，虽然据说官方网站有介绍用reiserfs 3.x的内核模块修改后来支持reiser4的文章，但是在我想做测试的时候官方网站也挂掉了，目前reiser4的小组仍然保持开发，但是有评价代码效率和质量都不够理想。个人能力有限，在AS5 64bit系统上尝试编译reiserfs 3.19的progs的时候也碰到了问题，没有人维护的代码我最终还是放弃了选型候选。 那么让我们来看看现在我们还有什么可以选择吧。ext3 ext4 jfs xfs这四种文件系统中ext4现在还只有beta版本，所以暂时放弃列入候选，不过目前从口碑上来看ext4并没有什么让大家眼前一亮的性能提升。下面再来看xfs，这个文件系统诞生于sgi图形工作站上，被移植到linux上依赖表现还是比较稳定的，特别是在500M以上大文件的IO性能上非常突出，然而，我们今天要选型的是图片文件系统，我们常用的网络图片尺寸在16K~256K之间。而且xfs的大量删除效率非常差，所以在这个系统的选择中，我也放弃了xfs，备份系统上针对大文件的存储到是非常不错的选择。 剩下就是ext3和jfs了，ext3大家再熟悉不过了，一个中庸的文件系统，但是广为流传。jfs是来自于IBM的手笔，早在5，6年前在AIX上面使用它的时候，我就对他的动态伸缩扩展能力表示钦佩，下面我们用测试数据来说明我们的选择吧。在展示结果之前，我先介绍一下两个文件系统，ext3最大支持8T的linux文件系统，是一个基于预分配inode的文件系统，由于linux文件系统最大的block为4K，所以他在linux最大支持8T，另外也是由于它的inode是预分配死的。所以如果你大量存储小于4K的文件，你文件系统的空间利用率会非常的低。从实践中大家也都有所了解吧？用df -h看看你们的大文件系统吧，你们就清楚了。另外在创建6.9T的测试ext3文件系统的时候，我实在无法忍受创建inode table的速度，6.9T文件系统，要创建5万多个inode table 在一台双志强，4G内存的 HP DL 360G5 RedHat AS5 64的服务器上，花去了足足15分钟以上去做inode table的创建，这一点实在是难以忍受。相反的同样的环境条件下jfs的创建速度不超过5S，这和他的动态文件系统，动态inode创建的设计优势不无关系。另外jfs是64bit unix上面移植而来，真正的64bit文件系统，可以支持最大512T的文件系统，动态扩展收缩文件系统。这些优势都是ext3所不能媲美的。 测试命令/usr/local/bin/iozone -g 256k -n 16k -a 针对16K致256K的文件测试。 Using maximum file size of 256 kilobytes. Using minimum file size of 16 kilobytes. Auto Mode Command [...]]]></description>
		<wfw:commentRss>http://blog.thematice.com/html/y2010/611_%e5%9b%be%e7%89%87%e6%9c%8d%e5%8a%a1%e5%99%a8%e7%9a%84linux%e6%96%87%e4%bb%b6%e7%b3%bb%e7%bb%9f%e9%80%89%e5%9e%8b%e8%bd%ac.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>

