一则胡乱科普

一则胡乱科普

我爸打电话来,声称菜鸟驿站的工作机制可以改进。

驿站现在会将快递员运来的一车包裹顺序地摆放在货架上。我爸则认为:驿站完全可以把同一个人的包裹摆放在一起,从而优化取件体验。

我不是学物流的,是学计算机的。而这个问题恰恰与文件系统碎片化问题很接近,于是我写了这一篇科普。

文件系统碎片化问题(File System Fragmentation) 是指单个文件被分成几个区段存储的现象。这使得我们读取整个文件时,磁盘针头必须不停地移动,造成严重的效率问题。这不是与同一个人的包裹被分成几个地方摆放的现象很相似吗?

造成这个问题的原因很简单。设想这样一个场景:假设你正在做大作业,要完成 PA.hPA.cpp 两个文件。你不时地修改两个文件,插入一些文本。若文件系统简单地、线性地存储所有你写入的内容,这两个文件自然就都被碎片化地存储了成了形如:###@@@##@############@@@##@###@@@@@ 的样子。

当然,文本编辑相关的问题是容易解决的。但若考虑从网络上下载大文件等场景呢?实际上,在 FAT 与 NTFS 一类的文件系统上,这样的碎片化问题是相当严重、影响巨大的。

但 ext4 下则几乎不存在碎片化问题。Linux 用户可以试着用 e4defrag 命令检查自己的硬盘中有多少个文件被碎片化了。一位网友在 Linux ext4 下只有两个文件被碎片化了,而在 Windows NTFS 下,这个数字是 95%。

这主要依靠 ext4 的几个伟大机制:

  • 预分配(Preallocation)

    应用程序可以预先向文件系统申请一块空间,之后再慢慢完成写入工作。这可以当然可以保证数据存储的连续性,尤其是对于一些 P2P 应用程序而言。

    而在 NTFS 下,因为预分配机制没有较好的实现,一些程序(比如百度网盘)在运行时会产生海量的磁盘碎片。一种替代方案是在磁盘上预先写0占用空间,不过那当然需要相当大的开销。

  • 区块预留(Block reservation)

    最后一次分配区块的后继区块将被预留下来,作为未来文件增改而避免碎片化的备用。

    在 NTFS 下,如果顺序地新建一系列文件,它们也会被连续地存储在磁盘中。而后续增加其中文件的内容则会导致碎片化问题。

  • 延迟分配(Delayed Allocation)

    文件系统会将用户试图写入硬盘的数据暂存,仅当写入磁盘可以保证区块数据连续性时才真正写入对应位置。

    尽管许多现代文件系统都采用了这一机制,在 NTFS 下,文件写入磁盘仍几乎是实时的。

这几个机制带来的改善非常大。根据 Ubuntu 的说法,除非硬盘剩余空间不足 5%,ext4 是几乎不可能产生磁盘碎片。

计算机环节告一段落,我们回到菜鸟驿站的问题,容易构造这样的映射:

包裹 -> 数据;文件 -> 收件人;货架 -> 磁盘;快递车 -> 写入;驿站 -> 文件系统

这样一番对号入座之后,我们能否将 ext4 的几个机制照搬过来呢?

实际上仍然很困难,物理世界不是计算机。首要的问题是货柜空间相对包裹而言并不那么充裕,而整个磁盘相对单个文件而言非常庞大。此外,更有商业上、隐私上的考量:文件系统自然可以轻松地处理多用户操作,那么驿站能够打通各家快递公司的数据库吗?

参考阅读:

Link: https://superuser.com/questions/536788

Link: https://ext4.wiki.kernel.org/index.php/Ext4_Howto

Link: https://www.landley.net/kdocs/ols/2007/ols2007v2-pages-179-186.pdf

一则胡乱科普

上一篇:FLINK基础(146): DS算子与窗口(27)任务链


下一篇:MVC2 扩展Models和自定义验证(学习笔记)