Bitcast是一种日志型的基于hash表结构的健值对的存储系统,最早追溯于Riak分布式数据库。
目前,Berkeley DB,Tokyo Cabinet,Innostore都使用了这种存储引擎。使用这种引擎拥有以下优点:
- 比较低的读写时延。
- 比较高的随机写吞吐率。
- 能够控制更大的数据库。
- 容易备份和恢复。
- 相对简单,容易理解。
- 可预计的高访问压力情况。
Bitcast只支持追加操作(Append-only),即所有的写操作只追加而不修改老的数据,每个文件都有一定的大小限制,当文件增加到相应的大小,就会产生一个新的文件,老的文件只读不写。在任意时刻,只有一个文件是可写的,用于追加数据,被称为活跃数据文件(active data file)。而其它已经达到大小限制的文件,被称为(older data file)。
活跃数据文件仅支持追加写入,因此所有的写入操作都是串形化的而不用磁盘随机定位。写入的健值对格式如下:
健值对的删除也是追加写的方式写入活动数据文件中,真正的删除会在下一次的数据合并中进行,
合并操作是定时对所有的旧数据文件进行扫描并生成新的数据文件(其本质是将同一个Key的多个操作进行合并。)
在Bitcast模型中,使用了Hash表的索引结构。除了存储在磁盘的数据文件,还有内存中的Hash表,通过Hash表中的key值可以快速地定位到磁盘中的数据。大致结构如下图所示:
hash表对应的这个结构中包括了三个用于定位数据value的信息,分别是文件id号(file_id),value值在文件中的位置(value_pos),value值的大小(value_sz),于是我们通过读取file_id对应文件的value_pos开始的value_sz个字节,就得到了我们需要的value值。整个过程如下图所示:
从上面我们可以知道,索引的Hash表存放在内存中,如果发生系统重启,则须要扫描磁盘中的数据重建Hash表,如果数据量非常大,这个过程是非常耗时的。因此,Bitcast模型中还要生成一个hint file,在这处文件中,数据结构与磁盘中的数据文件非常相似,不同的是他不存储具体的value值,而是存储value的位置信息。其结构如下图:
这样,在重建hash表时,就不需要再扫描所有的数据文件,而仅仅需要将hint file中的数据一行行读取并重建即可。大大提高了利用数据文件重启数据库的速度。
可参考源码
beansdb.googlecode.com/files/beansdb-0.5.2.tar.gz