• 什么是nosql：

NoSQL，指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

• 为什么要用nosql
  • 现在数据量大
  • 访问量大
  • 高并发

• nosql特点
  • 方便扩展
  • 大数据量高性能
  • 数据类型是多样性的

• nosql的四大分类
  • KV键值对：阿里、百度-》Redis+memecache
  • 文档型数据库（bson格式和json格式）
    • mongodb是基于分布式文件存储的数据库，C++编写，主要处理大量的文档
    • conthdb
  • 列存储数据库
    • HBase
    • 分布式文件系统
  • 图关系数据库
  • 四大类型对比：

• 什么是Redis

Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。

• Redis用途：内存存储、持久化，内存中是断电即失、所以说持久化很重要（rdb\aof）

• 安装Redis（端口：6379）：
  • window安装
    • 下载Redis（官网下载）
    • 解压
    • 进入目录开启服务，运行redis-server.exe文件即可
    • 使用客户端连接Redis（运行redis-client.exe）

• • linux安装：
    • 下载Redis（官网下载）
    • 复制到服务器（linux）
    • 解压到opt文件夹中
    • 进入目录
    • 执行 yum install gcc-c++ （要联网）
    • 执行 make（下载环境）
    • 执行 make install（确认安装环境了）
    • redis的默认安装路径 “usr/local/bin”
    • 备份redis的配置文件，该文件在解压目录里（redis.conf）
    • redis运行不是在后台运行，要修改redis.conf配置文件

• • •  启动redis服务：进人“/usr/local/bin”,执行redis-server 配置文件的位置/redis.conf
    • 连接：redis-cli -p 6379
    • 关闭服务：shutdown

• redis-benchmark是一个压力测试工具

例：redis-benchmark [option] [option value]

•  redis基础知识
  • 默认有16个数据库，默认使用第0个
  • select进行切换数据库
  • keys 查看key
  • flushdb 清除当前数据库
  • flushall 清除全部数据库
  • redis是单线程的，基于内存操作，把全部数据放在内存，所以快

• redis的五大数据类型
  • redis-key
    • set key value：设值
    • get key：取值
    • keys *：查看所有值
    • exists key：判断某值是否存在
    • move key：移除值
    • expire key time：设置值的有效时间，单位是秒
    • ttl key：查看key的过期时间
    • type key：查看key的类型

• • String类型-用途：计数器，统计数量
    • append key value：追加字符串，字符串不存在就新建
    • strlen key：获取字符串的长度
    • incr key：自加1，用于浏览量之类的操作
    • decr key：自减1
    • incrby key 长度：步长自加
    • decrby key 长度：步长自减
    • getrange key begin end：截取可以从begin到end的字符串
    • setrange key begin value：用value替换从begin开始的值
    • setex  key value：设置过期时间
    • setnx  key value：不存在在设置（分布式锁中常用）
    • mset key value key value ..：一次设置多个key
    • mget key key ..：一次取多个key
    • msetnx key value key value ..：不存在在设置

• • • getset key value：先获取在设值

• • List类型-用途：当栈、队列、阻塞队列用，他实际是一个链表，从左右插入数据
    • 所有命令都是l开头的
    • lpush key value：设值，从左边插入
    • lrange keybegin end：会倒序，相当于栈
    • rpush key value：设置，从右边插入
    • lpop key：从左边移除
    • rpop key：从右边移除
    • lindex key index：通过下标获取值
    • llen key：查看长度
    • lrem key count value：移除count个value
    • ltrim key begin end：截取值
    • rpoplpush source 目的：移除最后一个元素再移动到新的列表中
    • lset key index value：存在替换值，不存在报错
    • linsert key before|after pivot value：在特定的位置插入值

• • set（集合）：值不能重复（用途：共同关注【并集】、）
    • sadd key value：设值
    • smembers key：查看元素
    • sismember key value：判断是否存在该值
    • scard key：查看长度
    • srem key value：移除值
    • srandmember key 【count】：随机获取值[多个值]
    • spop key：随机移除元素
    • smove source destination member：将一个指定的值移动到另一个集合中
    • sdiff key1 key2：他们的差集（他们不同的）
    • sinter key1 key2：他们的交集，共同好友、推荐好友、共同爱好等功能
    • sunion key1 key2：他们的并集

• • Hash（哈希），map集合（key-value）、用途：变更数据、对象的存储
    • hset key field value：设置
    • hget key field：取值
    • hmset key field vallue [field vallue]：同时设置多个值
    • hget key fileld [field]：获取多个值
    • hgetall key：：获取全部值
    • hdel key field [field]：删除指定的值
    • hlen key：获取长度
    • hexists key field：判断指定值是否存在
    • hvals key：只获取field
    • hicnrby key field number：自加number
    • hsetnx key field value ：如果存在不能设值

• • zset（有序集合）：set排序，存储班级成绩，工资表，排行榜
    • zadd key 位置（数字） value：设值
    • zrangbyscore key min max：排序
    • zrem key name：删除
    • zcard key：获取有序集合的个数
    • zcount key begin end：获取期间的数量

• 三种特殊数据类型
  • geospatial地理位置
    • 两地之间的距离，只有6个命令
    • geoadd key 经度 维度 成员：添加地理位置（两极无法添加）
    • geopos key 成员[成员]：获取指定的成员
    • geodist key 成员 成员 单位（m\km\mi\ft）：两个成员的距离
    • georedius key 经度 维度 半径 范围：查找该半径方位的key（附近的人）
    • georandiusbymember key 成员 半径：找出该范围的成员
    • geohash key 成员：找出该成员的位置
  • hyperloglog
    • 基数的统计算法
    • PFadd key：添加
    • PFcount key：统计数量
    • PFMERGE newkey key1 key2：合并
  • bitmaps位存储：
    • 统计用户信息，活跃、不活跃、登录、未登录等
    • setbit key 成员 状态（0/1）：添加
    • getbit key 成员：获取成员状态
    • bitcount key：统计状态

• 事务
  • 本质：一组命令的集合，一个事务中的所有命令都会被序列化，在事务执行过程中，会按照顺序执行！一次性、顺序性、排他性
  • redis事务没有隔离级别
  • redis单条命令有原子性，事务不保证原子性
  • redis的事务
    • 开始事务（multi）
    • 命令入队（。。。）
    • 执行事务（exec）
  • 放弃事务（discard）
  • 编译型异常（代码有误，命令有误）：命令不会执行
  • 运行时异常（0/1）：异常命令不执行，其他会执行
  • ====
  • 悲观锁
    • 认为做什么都有问题，无论做什么都加锁
  • 乐观锁
    • 认为什么时候都不出问题，不加锁
    • 获取version
    • 更新的时候比较version
  • redis测试检测：watch key当做乐观锁
  • UNwatch：解锁

• jedis
• 使用java操作redis，jedis是java操作redis的中间件
• 使用
  • 创建maven项目
  • 导入依赖

• • •  编写代码

• • •  jedis的操作事务

• springboot整合redis
  • springData是和springboot起名的
  • 在springboot2.x之后，jedis改成了lettuce
  • jedis和lettuce的区别
    • 采用的直连，多个操作的话，是不安全的，如果想要避免不安全，就要使用jedis pool连接池（BIO）
    • 采用nettly，实例可以在多个线程中进行共享，实现线程安全（NIO模式）
  • 测试
  • • 创建springboot项目
    • 导入依赖

• • • 配置

• • • • 测试代码：对象要序列化

 自己编写temp，实现序列化

在真实开发中自己写工具类

• redis.conf解析
• 单位

• •  对大小写不敏感
  • 网络：

• •  快照

• •   安全

• •  限制

• redis持久化
  • RDB：RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘，实际操作过程是fork一个子进程，先将数据集写入临时文件，写入成功后，再替换之前的文件，用二进制压缩存储。

　　　　　　触发机制：

 　　　　　　配置：　　　　　

　　　　　　机制图：

• • AOF：AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作，查询操作不会记录，以文本的方式记录，可以打开文件看到详细的操作记录。

配置：

在Redis的配置文件中存在三种同步方式，它们分别是：

appendfsync always     #每次有数据修改发生时都会写入AOF文件。

appendfsync everysec  #每秒钟同步一次，该策略为AOF的缺省策略。

appendfsync no          #从不同步。高效但是数据不会被持久化。

　　　　　　机制图：

• •  两种机制的优缺点

RDB存在哪些优势呢？

AOF的优势有哪些呢？

• redis发布订阅

  • Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。

  • Redis 客户端可以订阅任意数量的频道。

• • 常用命令

• •  使用场景
    • 实时消息系统
    • 实时聊天
    • 订阅，关注系统

• redis主从复值
  • 主从复制，读写分离，减少服务器压力
  • 概念：

    在Redis客户端通过info replication可以查看与复制相关的状态，对于了解主从节点的当前状态，以及解决出现的问题都会有帮助。

    主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master/leader)，后者称为从节点(slave/follower)；数据的复制是单向的，只能由主节点到从节点。

    默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。

  • 作用

1. 1. 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
   2. 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
   3. 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
   4. 高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

• • 配置

假设有两台服务器，一台是Linux操作系统（局域网IP：192.168.1.4，master服务器），一台是Linux操作系统（局域网IP：192.168.1.5，slave服务器）

配置slave服务器很简单，只需要在配置文件(redis.conf)中加入如下配置
bind  192.168.1.5(从服务器,此处默认是127.0.0.1，请修改成本机的IP地址，要不然，客户端无法进行访问)

slaveof 192.168.1.4 6379  (映射到主服务器上)

如果是在一台机器上面配置主从关系，那么还需要修改从服务器的默认端口号，同样也在redis.conf中进行修改。

• • 主可以写，其他只能读
  • 主机死机，从机当主机的配置：（哨兵模式解决这种问题）

手动：修改配置文件：saveof no one

• 哨兵模式
  • 概念：哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。
  • 作用：

    • 通过发送命令，让Redis服务器返回监控其运行状态，包括主服务器和从服务器。

    • 当哨兵监测到master宕机，会自动将slave切换成master，然后通过发布订阅模式通知其他的从服务器，修改配置文件，让它们切换主机。

  • 配置：

　　　　　　主机：

 　　　　　哨兵：

　　　　　　　　# 配置监听的主服务器，这里sentinel monitor代表监控，mymaster代表服务器的名称，可以自定义，192.168.11.128代表监控的主服务器，6379代表端口，2代表只有两个或两个以上的哨兵认为主服务器不可用的时候，才会进行failover操作。

•  redis缓存穿透和雪崩
  • 缓存穿透

缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中，于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力，这时候就相当于出现了缓存穿透。

这里需要注意和缓存击穿的区别，缓存击穿，是指一个key非常热点，在不停的扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续的大并发就穿破缓存，直接请求数据库，就像在一个屏障上凿开了一个洞。

• 解决方案
  • 布隆过滤器

布隆过滤器是一种数据结构，垃圾网站和正常网站加起来全世界据统计也有几十亿个。网警要过滤这些垃圾网站，总不能到数据库里面一个一个去比较吧，这就可以使用布隆过滤器。

那这个布隆过滤器是如何解决redis中的缓存穿透呢？很简单首先也是对所有可能查询的参数以hash形式存储，当用户想要查询的时候，使用布隆过滤器发现不在集合中，就直接丢弃，不再对持久层查询。

• • 缓存空对象

当存储层不命中后，即使返回的空对象也将其缓存起来，同时会设置一个过期时间，之后再访问这个数据将会从缓存中获取，保护了后端数据源；

但是这种方法会存在两个问题：

1、如果空值能够被缓存起来，这就意味着缓存需要更多的空间存储更多的键，因为这当中可能会有很多的空值的键；即使对空值设置了过期时间，还是会存在缓2、存层和存储层的数据会有一段时间窗口的不一致，这对于需要保持一致性的业务会有影响。

• • 缓存雪崩

 概念：缓存雪崩是指，缓存层出现了错误，不能正常工作了。于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。

• • 解决方案

（1）redis高可用

这个思想的含义是，既然redis有可能挂掉，那我多增设几台redis，这样一台挂掉之后其他的还可以继续工作，其实就是搭建的集群。

（2）限流降级

这个解决方案的思想是，在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。

（3）数据预热

数据加热的含义就是在正式部署之前，我先把可能的数据先预先访问一遍，这样部分可能大量访问的数据就会加载到缓存中。在即将发生大并发访问前手动触发加载缓存不同的key，设置不同的过期时间，让缓存失效的时间点尽量均匀。

• 总结：多学习，多编程。

非结构数据库-Redis