NoSql数据库简介及Redis学习

2022-12-01 17:01:19

NO-Sql数据库：Not Only不仅仅是SQL

定义：非关系型数据库；NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。需要进一步数据挖掘和分析。

RDBMS VS NOSQL

RDBMS NoSQL
高度组织化结构化数据  代表着不仅仅是SQL
结构化查询语言（SQL） (SQL)  没有声明性查询语言
数据和关系都存储在单独的表中 没有预定义的模式
数据操纵语言，数据定义语言  键 - 值对存储，列存储，文档存储，图形数据库
严格的一致性 最终一致性，而非ACID属性
基础事务 非结构化和不可预知的数据
 

CAP定理
 

高性能，高可用性和可伸缩性

 

对可用性及一致性的弱要求原则:BASE

  • Basically Availble --基本可用
  • Soft-state --软状态/柔性事务。 "Soft state" 可以理解为"无连接"的, 而 "Hard state" 是"面向连接"的
  • Eventual Consistency --最终一致性 最终一致性， 也是是 ACID 的最终目的。

NoSQL 数据库分类

类型

 

部分代表

 

 特点
列存储

Hbase

Cassandra

Hypertable

顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。

文档存储

MongoDB

CouchDB

文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。

key-value存储

Tokyo Cabinet / Tyrant

Berkeley DB

MemcacheDB

Redis

可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）

图存储

Neo4J

FlockDB

图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。

对象存储

db4o

Versant

通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。

xml数据库

Berkeley DB XML

BaseX

高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。

Key-Value存储:(基于Redis)

传统的关系型数据库，处理一对多的问题，需要把外键放在多的一端，因为RDBMS理论中没有集合这个概念。而使用Redis，我们可以在一端来管理一对多的关系，使用Set。

如果使用MySQL，当数据规模非常大时，上面两个查询操作都需要借助表关联技术，而大表间的join在大型系统中是需要极力避免的操作。相反Redis的每个操作都会局限在一个较小的数据集范围内，而且key-value的存储形式，定位key只是一个复杂度为O(1)的操作。在very huge的数据量下，Redis性能效果非常优异，这就是NoSQL的优势所在！

Redis的安装及基本用法：

利用brew安装Redis： brew install redis  版本3.0.7

也可以编译安装，官网曾经推荐

  • 基本用法

    开启服务器

    $ redis-server

    NoSql数据库简介及Redis学习

    如果要运行在后台，在命令后加一个 & ，即：redis-server &

    打开另外一个终端， 运行命令行界面（Command Line Interface，简称 cli)，连接到 Server

    redis-cli 里的命令不区分大小写

    发送 ping，回复 pong，则表示链接成功。

    $ redis-cli
    
127.0.0.1:> ping
    
PONG

    NoSql数据库简介及Redis学习

    否则

    127.0.0.1:6379> ping
    
Could not connect to Redis at 127.0.0.1:6379: Connection refused

    Key-Value 存储

    使用 GET / SET 命令，key 和 value 都是 string

    127.0.0.1:> set name jackon
    
OK
    
127.0.0.1:> get name
    
"jackon"
    
127.0.0.1:> set desc Web Developer  # value 里面有空格, redis 就搞不定了.
    
Invalid argument(s)
    
127.0.0.1:> set desc "Web Developer"  # 一个 " 解决问题
    
OK

    实用但被忽略的基础命令

    • keys * 查看所有 key，此处，* 是通配符. 查看所有以 user_ 开头的 key，命令为 keys user_*
    • del key 删除 key 及其 value
    • flushdb 清空数据库。

    个人的使用感触是，

    在 redis 里操作一段时间以后， 基本记不清已经有多少 key 了， 一些比较复杂的命令执行过后，需要看下执行结果是否符合预期。 比如, 批量添加了 100 个 key / value 对. 此时，keys * 就很有用。

    开发阶段，为了保证每次运行，代码执行结果一致，可以先 flushdb 清空历史数据。 注意，如果是跟其他人共用一个 db，就不要轻易 flushdb 了。

    如果自己只用了三两个 key，每次代码执行时，del 精准的删掉这几个 key 就可以了。

    演示:

    127.0.0.1:> keys *  # 已经提前添加了  个 key / value
    
) "age"
    
) "desc"
    
) "name"
    
127.0.0.1:> keys *e
    
) "name"
    
) "age"
    
127.0.0.1:> del name
    
(integer)
    
127.0.0.1:> keys *
    
) "age"
    
) "gender"
    
127.0.0.1:> flushdb
    
OK
    
127.0.0.1:> keys *
    
(empty list or set)

    dump.rdb 文件是什么鬼

    Redis 会定期把内存里的数据写入硬盘备份. 默认, 写入启动目录下的 dump.db 文件. 下次启动 redis 时，会加载 dump.db 里的数据.

    save 命令会触发一次 备份.

    127.0.0.1:> save
    
OK

    dump.db 文件更新, 同时, Server 端的 log 日志出现:

    :M  Mar ::53.534 * DB saved on disk

Redis详细介绍：

虽然Redis已经很火了，相信还是有很多同学对Redis只是有所听闻或者了解并不全面，下面是一个比较系统的Redis介绍，对Redis的特性及各种数据类型及操作进行了介绍。是一个很不错的Redis入门教程。

1.介绍

1.1 Redis是什么

REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis提供了一些丰富的数据结构，包括 lists, sets, ordered sets 以及 hashes ，当然还有和Memcached一样的 strings结构.Redis当然还包括了对这些数据结构的丰富操作。

1.2 Redis的优点

  • 性能极高 – Redis能支持超过 100K+ 每秒的读写频率。
  • 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
  • 原子 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。
  • 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

2.数据类型

2.1 String类型

Redis能存储二进制安全的字符串，最大长度为1GB

redis 127.0.0.1:6379> SET name "John Doe"

OK

redis 127.0.0.1:6379> GET name

"John Doe"

String类型还支持批量的读写操作

redis 127.0.0.1:6379> MSET age 30 sex "male"

OK

redis 127.0.0.1:6379> MGET age sex

1) "30"

2) "male"

String类型其实也可以用来存储数字，并支持对数字的加减操作。

redis 127.0.0.1:6379> INCR age

(integer) 31

redis 127.0.0.1:6379> INCRBY age 4

(integer) 35

redis 127.0.0.1:6379> GET age

"35"

redis 127.0.0.1:6379> DECR age

(integer) 34

redis 127.0.0.1:6379> DECRBY age 4

(integer) 30

redis 127.0.0.1:6379> GET age

"30"

String类型还支持对其部分的修改和获取操作

redis 127.0.0.1:6379> APPEND name " Mr."

(integer) 12

redis 127.0.0.1:6379> GET name

"John Doe Mr."

redis 127.0.0.1:6379> STRLEN name

(integer) 12

redis 127.0.0.1:6379> SUBSTR name 0 3

"John"

2.2 List类型

Redis能够将数据存储成一个链表，并能对这个链表进行丰富的操作

redis 127.0.0.1:6379> LPUSH students "John Doe"

(integer) 1

redis 127.0.0.1:6379> LPUSH students "Captain Kirk"

(integer) 2

redis 127.0.0.1:6379> LPUSH students "Sheldon Cooper"

(integer) 3

redis 127.0.0.1:6379> LLEN students

(integer) 3

redis 127.0.0.1:6379> LRANGE students 0 2

1) "Sheldon Cooper"

2) "Captain Kirk"

3) "John Doe"

redis 127.0.0.1:6379> LPOP students

"Sheldon Cooper"

redis 127.0.0.1:6379> LLEN students

(integer) 2

redis 127.0.0.1:6379> LRANGE students 0 1

1) "Captain Kirk"

2) "John Doe"

redis 127.0.0.1:6379> LREM students 1 "John Doe"

(integer) 1

redis 127.0.0.1:6379> LLEN students

(integer) 1

redis 127.0.0.1:6379> LRANGE students 0 0

1) "Captain Kirk"

Redis也支持很多修改操作

redis 127.0.0.1:6379> LINSERT students BEFORE "Captain Kirk" "Dexter Morgan"

(integer) 3

redis 127.0.0.1:6379> LRANGE students 0 2

1) "Dexter Morgan"

2) "Captain Kirk"

3) "John Doe"

redis 127.0.0.1:6379> LPUSH students "Peter Parker"

(integer) 4

redis 127.0.0.1:6379> LRANGE students 0 3

1) "Peter Parker"

2) "Dexter Morgan"

3) "Captain Kirk"

4) "John Doe"

redis 127.0.0.1:6379> LTRIM students 1 3

OK

redis 127.0.0.1:6379> LLEN students

(integer) 3

redis 127.0.0.1:6379> LRANGE students 0 2

1) "Dexter Morgan"

2) "Captain Kirk"

3) "John Doe"

redis 127.0.0.1:6379> LREM students 1 "John Doe"

(integer) 1

redis 127.0.0.1:6379> LLEN students

(integer) 1

redis 127.0.0.1:6379> LRANGE students 0 1

1) "Captain Kirk"

2.3 集合（Sets）类型

Redis能够将一系列不重复的值存储成一个集合

redis 127.0.0.1:6379> SADD birds crow

(integer) 1

redis 127.0.0.1:6379> SADD birds pigeon

(integer) 1

redis 127.0.0.1:6379> SADD birds bat

(integer) 1

redis 127.0.0.1:6379> SADD mammals dog

(integer) 1

redis 127.0.0.1:6379> SADD mammals cat

(integer) 1

redis 127.0.0.1:6379> SADD mammals bat

(integer) 1

redis 127.0.0.1:6379> SMEMBERS birds

1) "bat"

2) "crow"

3) "pigeon"

redis 127.0.0.1:6379> SMEMBERS mammals

1) "bat"

2) "cat"

3) "dog"

Sets结构也支持相应的修改操作

redis 127.0.0.1:6379> SREM mammals cat

(integer) 1

redis 127.0.0.1:6379> SMEMBERS mammals

1) "bat"

2) "dog"

redis 127.0.0.1:6379> SADD mammals human

(integer) 1

redis 127.0.0.1:6379> SMEMBERS mammals

1) "bat"

2) "human"

3) "dog"

Redis还支持对集合的子交并补等操作

redis 127.0.0.1:6379> SINTER birds mammals

1) "bat"

redis 127.0.0.1:6379> SUNION birds mammals

1) "crow"

2) "bat"

3) "human"

4) "pigeon"

5) "dog"

redis 127.0.0.1:6379> SDIFF birds mammals

1) "crow"

2) "pigeon"

2.4 有序集合（Sorted Sets）类型

Sorted Sets和Sets结构相似，不同的是存在Sorted Sets中的数据会有一个score属性，并会在写入时就按这个score排好序。

redis 127.0.0.1:6379> ZADD days 0 mon

(integer) 1

redis 127.0.0.1:6379> ZADD days 1 tue

(integer) 1

redis 127.0.0.1:6379> ZADD days 2 wed

(integer) 1

redis 127.0.0.1:6379> ZADD days 3 thu

(integer) 1

redis 127.0.0.1:6379> ZADD days 4 fri

(integer) 1

redis 127.0.0.1:6379> ZADD days 5 sat

(integer) 1

redis 127.0.0.1:6379> ZADD days 6 sun

(integer) 1

redis 127.0.0.1:6379> ZCARD days

(integer) 7

redis 127.0.0.1:6379> ZRANGE days 0 6

1) "mon"

2) "tue"

3) "wed"

4) "thu"

5) "fri"

6) "sat"

7) "sun"

redis 127.0.0.1:6379> ZSCORE days sat

"5"

redis 127.0.0.1:6379> ZCOUNT days 3 6

(integer) 4

redis 127.0.0.1:6379> ZRANGEBYSCORE days 3 6

1) "thu"

2) "fri"

3) "sat"

4) "sun"

2.5 Hash类型

Redis能够存储key对多个属性的数据（比如user1.uname user1.passwd）

redis 127.0.0.1:6379> HKEYS student

1) "name"

2) "age"

3) "sex"

redis 127.0.0.1:6379> HVALS student

1) "Ganesh"

2) "30"

3) "Male"

redis 127.0.0.1:6379> HGETALL student

1) "name"

2) "Ganesh"

3) "age"

4) "30"

5) "sex"

6) "Male"

redis 127.0.0.1:6379> HDEL student sex

(integer) 1

redis 127.0.0.1:6379> HGETALL student

1) "name"

2) "Ganesh"

3) "age"

4) "30"

Hash数据结构能够批量修改和获取

redis 127.0.0.1:6379> HMSET kid name Akshi age 2 sex Female

OK

redis 127.0.0.1:6379> HMGET kid name age sex

1) "Akshi"

2) "2"

3) "Female"

3.Publish/Subscribe

Redis支持这样一种特性，你可以将数据推到某个信息管道中，然后其它人可以通过订阅这些管道来获取推送过来的信息。

3.1 订阅信息管道

用一个客户端订阅管道

redis 127.0.0.1:6379> SUBSCRIBE channelone

Reading messages... (press Ctrl-C to quit)

1) "subscribe"

2) "channelone"

3) (integer) 1

另一个客户端往这个管道推送信息

redis 127.0.0.1:6379> PUBLISH channelone hello

(integer) 1

redis 127.0.0.1:6379> PUBLISH channelone world

(integer) 1

然后第一个客户端就能获取到推送的信息

redis 127.0.0.1:6379> SUBSCRIBE channelone

Reading messages... (press Ctrl-C to quit)

1) "subscribe"

2) "channelone"

3) (integer) 1

1) "message"

2) "channelone"

3) "hello"

1) "message"

2) "channelone"

3) "world"

3.2 按一定模式批量订阅

用下面的命令订阅所有channel开头的信息通道

redis 127.0.0.1:6379> PSUBSCRIBE channel*

Reading messages... (press Ctrl-C to quit)

1) "psubscribe"

2) "channel*"

3) (integer) 1

在另一个客户端对两个推送信息

redis 127.0.0.1:6379> PUBLISH channelone hello

(integer) 1

redis 127.0.0.1:6379> PUBLISH channeltwo world

(integer) 1

然后在第一个客户端就能收到推送的信息

redis 127.0.0.1:6379> PSUBSCRIBE channel*

Reading messages... (press Ctrl-C to quit)

1) "psubscribe"

2) "channel*"

3) (integer) 1

1) "pmessage"

2) "channel*"

3) "channelone"

4) "hello"

1) "pmessage"

2) "channel*"

3) "channeltwo"

4) "world"

4.数据过期设置

Redis支持按key设置过期时间，过期后值将被删除（在客户端看来是补删除了的）

用TTL命令可以获取某个key值的过期时间（-1表示永不过期）

redis 127.0.0.1:6379> SET name "John Doe"

OK

redis 127.0.0.1:6379> TTL name

(integer) -1

下面命令先用EXISTS命令查看key值是否存在，然后设置了5秒的过期时间

redis 127.0.0.1:6379> SET name "John Doe"

OK

redis 127.0.0.1:6379> EXISTS name

(integer) 1

redis 127.0.0.1:6379> EXPIRE name 5

(integer) 1

5秒后再查看

redis 127.0.0.1:6379> EXISTS name

(integer) 0

redis 127.0.0.1:6379> GET name

(nil)

这个值已经没有了。

上在是直接设置多少秒后过期，你也可以设置在某个时间点过期，下面例子是设置2011-09-24 00:40:00过期。

redis 127.0.0.1:6379> SET name "John Doe"

OK

redis 127.0.0.1:6379> EXPIREAT name 1316805000

(integer) 1

redis 127.0.0.1:6379> EXISTS name

(integer) 0

5.事务性

Redis本身支持一些简单的组合型的命令，比如以NX结尾命令都是判断在这个值没有时才进行某个命令。

redis 127.0.0.1:6379> SET name "John Doe"

OK

redis 127.0.0.1:6379> SETNX name "Dexter Morgan"

(integer) 0

redis 127.0.0.1:6379> GET name

"John Doe"
redis 127.0.0.1:6379> GETSET name "Dexter Morgan"

"John Doe"

redis 127.0.0.1:6379> GET name

"Dexter Morgan"

当然，Redis还支持自定义的命令组合，通过MULTI和EXEC，将几个命令组合起来执行

redis 127.0.0.1:6379> SET counter 0

OK

redis 127.0.0.1:6379> MULTI

OK

redis 127.0.0.1:6379> INCR counter

QUEUED

redis 127.0.0.1:6379> INCR counter

QUEUED

redis 127.0.0.1:6379> INCR counter

QUEUED

redis 127.0.0.1:6379> EXEC

1) (integer) 1

2) (integer) 2

3) (integer) 3

redis 127.0.0.1:6379> GET counter

"3"

你还可以用DICARD命令来中断执行中的命令序列

redis 127.0.0.1:6379> SET newcounter 0

OK

redis 127.0.0.1:6379> MULTI

OK

redis 127.0.0.1:6379> INCR newcounter

QUEUED

redis 127.0.0.1:6379> INCR newcounter

QUEUED

redis 127.0.0.1:6379> INCR newcounter

QUEUED

redis 127.0.0.1:6379> DISCARD

OK

redis 127.0.0.1:6379> GET newcounter

"0"

6.持久化

Redis的所有数据都存储在内存中，但是他也提供对这些数据的持久化。Redis 本身支持持久化，通过在一定时间间隔或触发操作，将内存中的数据同步到磁盘来保证持久化。

Redis 支持两种持久化方式，一种是  Snapshotting（快照），保存为dump.rdb文件，也是默认方式，另一种是 Append-only file（缩写aof）的方式，保存为 .aof 文件。

补充一下内存数据库：

内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多，一般都在10倍以上。内存数据库的最大特点是其“主拷贝”或“工作版本”常驻内存，即活动事务只与实时内存数据库的内存拷贝打交道。常见的例子有MySQL的MEMORY存储引擎、eXtremeDB、TT、FastDB、SQLite、Microsoft SQL Server Compact等。

6.1 数据快照

数据快照的原理是将整个Redis中存的所有数据遍历一遍存到一个扩展名为rdb的数据文件中。通过SAVE命令可以调用这个过程。

Snapshot 快照 通过save或者bgsave命令通知redis做一次快照持久化。save操作是在主线程中保存快照的，由于redis是用一个主线程来处理所有客户端的请求（保证redis原子性的原因），这种方式会阻塞所有客户端请求。所以不推荐使用。另一点需要注意的是，每次快照持久化都是将内存数据完整写入到磁盘一次，并不是增量的只同步增量数据。如果数据量大的话，写操作会比较多，必然会引起大量的磁盘IO操作，可能会严重影响性能。

redis 127.0.0.1:> SET name "John Doe"

OK

redis 127.0.0.1:> SAVE

OK

redis 127.0.0.1:> SET name "Sheldon Cooper"

OK

redis 127.0.0.1:> BGSAVE

Background saving started

如果你是使用的brew在Mac OSX上安全的Redis，那么rdb文件会存在如下路径

/usr/local/var/db/redis/dump.rdb

在默认的快照 rdb保存方式中，redis.conf 里面的配置如下：

save     #900秒内如果超过1 个key 被修改，则发起快照保存

save    #300秒内容如超过10个key 被修改，则发起快照保存

save

如果我们需要关闭快照，只需要将这几行注释了，然后重启 redis 即可。

如果是正在运行的实例，可以使用 redis-cli的命令

# 查看当前配置

config get save

# 关闭快照

config set save ""

来在线更新配置，输出OK表示设置成功。

6.2 Append-Only File（追加式的操作日志记录）

Redis还支持一种追加式的操作日志记录，叫append only file，其日志文件以aof结局，我们一般各为aof文件。要开启aof日志的记录，你需要在配置文件中进行如下设置：

appendonly yes

这时候你所有的操作都会记录在aof日志文件中，当redis 重启时会通过重新执行文件中，保存的写命令来在内存中重建整个数据库的内容：

redis 127.0.0.1:> GET name

(nil)

redis 127.0.0.1:> SET name "Ganesh Gunasegaran"

OK

redis 127.0.0.1:> EXIT

→ cat /usr/local/var/db/redis/appendonly.aof

*

$

SELECT

$

*

$

SET

$

name

$

Ganesh Gunasegaran

默认配置如下：

appendonly yes      //启用日志追加持久化方式

#appendfsync always //每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用

appendfsync everysec //每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐

#appendfsync no //完全依赖操作系统，性能最好,持久化没保证

在线更新配置使用

# 查看当前配置

config get appendfsync

# 关闭快照

config set appendfsync no

通过这两个配置，redis就可以完全在内存运行。

7.管理命令

Redis支持多个DB，默认是16个，你可以设置将数据存在哪一个DB中，不同DB间的数据具有隔离性。也可以在多个DB间移动数据。

redis 127.0.0.1:6379> SELECT 0

OK

redis 127.0.0.1:6379> SET name "John Doe"

OK

redis 127.0.0.1:6379> SELECT 1

OK

redis 127.0.0.1:6379[1]> GET name

(nil)

redis 127.0.0.1:6379[1]> SELECT 0

OK

redis 127.0.0.1:6379> MOVE name 1

(integer) 1

redis 127.0.0.1:6379> SELECT 1

OK

redis 127.0.0.1:6379[1]> GET name

"John Doe"

Redis还能进行一些如下操作，获取一些运行信息

redis 127.0.0.1:6379[1]> DBSIZE

(integer) 1

redis 127.0.0.1:6379[1]> INFO

redis_version:2.2.13

redis_git_sha1:00000000

redis_git_dirty:0

arch_bits:64

multiplexing_api:kqueue

......

Redis还支持对某个DB数据进行清除（当然清空所有数据的操作也是支持的）

redis 127.0.0.1:6379> SET name "John Doe"

OK

redis 127.0.0.1:6379> DBSIZE

(integer) 1

redis 127.0.0.1:6379> SELECT 1

OK

redis 127.0.0.1:6379[1]> SET name "Sheldon Cooper"

OK

redis 127.0.0.1:6379[1]> DBSIZE

(integer) 1

redis 127.0.0.1:6379[1]> SELECT 0

OK

redis 127.0.0.1:6379> FLUSHDB

OK

redis 127.0.0.1:6379> DBSIZE

(integer) 0

redis 127.0.0.1:6379> SELECT 1

OK

redis 127.0.0.1:6379[1]> DBSIZE

(integer) 1

redis 127.0.0.1:6379[1]> FLUSHALL

OK

redis 127.0.0.1:6379[1]> DBSIZE

(integer) 0

8.客户端

Redis的客户端很丰富，几乎所有流行的语言都有其客户端，这里就不再赘述，有兴趣的同学可以上Redis的Clients页面去查找。

9.资料引用

上一篇：Redis系统性介绍


下一篇：《基于J2EE平台的党建管理系统设计与实现》论文笔记（十五）