在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。
本文就为你介绍9种用于大数据处理的免费键值存储数据库。
1. Aerospike 社区版
Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。
Aerospike主要用于广告业务,作为一个服务器端的cookie存储来使用,在这种场景下读取和写入性能是至关重要的。
官网:http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/
相关资料:Documentation、FAQ、Blog、Forums
2. LevelDB
Leveldb是Google开发的一个非常高效的kv数据库,支持billion级别的数据量,在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计,特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持,在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎,并部署在线上使用。
官网:http://code.google.com/p/leveldb/
相关资料:Benchmarks、Mailing List、Twitter
3. Scalaris
官网:http://scalaris.googlecode.com/
相关资料:Users and Developers Guide、FAQ、Mailing List
4. Project Voldemort
Voldemort是一个分布式键值存储系统,是Amazon's Dynamo的一个开源克隆。特性如下:
- 支持自动复制数据到多个服务器上。
- 支持数据自动分割所以每个服务器只包含总数据的一个子集。
- 提供服务器故障透明处理功能。
- 支持可拨插的序化支持,以实现复杂的键-值存储,它能够很好的5.集成常用的序化框架如:Protocol Buffers、Thrift、Avro和Java Serialization。
- 数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
- 每个节点相互独立,互不影响。
- 支持可插拔的数据放置策略
官网:http://project-voldemort.com/
相关资料:Wiki、Mailing List、Github、Project Voldemort: Scaling Simple Storage、Serving Large-scale Batch Computed Data with Project Voldemort
5. HyperDex
- 分布式KV存储,系统性能能够随节点数目线性扩展
- 吞吐和延时都能秒杀现在风头正劲的MonogDB,吞吐甚至强于Redis
- 使用了hyperspace hashing技术,使得对存储的K-V的任意属性进行查询成为可能
相关资料:Documentation、Blog、GitHub、FAQ、Announcement Mailing List、Discussion Mailing List
6. Berkeley DB
7. Apache Accumulo
Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建。
官网:http://accumulo.apache.org/
相关资料:Manual、Mailing Lists、Apache Accumulo Users Group
8. Redis