Nosql数据库总结

Nosql概述
为什么要用Nosql而不是关系型数据库?
大数据时代(一般的数据库无法进行分析处理)

  • 单机Mysql时代
    Nosql数据库总结
    一个基本网站访问量不大,单个数据库完全足够,静态网页html=>服务器没有太大的压力
    这种情况下,网站瓶颈是什么
  1. 数据量如果太大,一台机器放不下
  2. 数据索引 单表超过300万一定要建立索引,Mysql(B+ tree索引)台打,一个机器也放不下
  3. 访问量(读写混合),一个服务器承受不了

只要发生三种情况之一,一定要改进

  • 缓存时代 Memcached+Mysql+垂直拆分(读写分离,主从复制)==>解决读的问题
    优化Mysql底层数据结构和索引 ----> 文件索引(IO) ----> 缓存Memcached
    网站80%都在执行读操作,每次查询数据库都会十分麻烦,希望减轻数据的压力,我们可以使用缓存来保证效率
    Nosql数据库总结

  • 表分区(没有大量使用)

  • 分库分表+水平拆分(Mysql集群)==>使用分库分表解决写的压力

Nosql数据库总结

  • 如今数据量很多,变化很快,Mysql等关系型数据库不够用了

新型数据库==>图形数据库,Json数据库
使用Mysql数据库存储图片,文件等大型数据,数据库表就会很大,效率就低了
如果有一种数据专门处理大型数据,那么mysql的压力就会变小,大数据的IO压力下,表几乎无法更改(一亿条数据增加一列 非常难办!)
灰度发布:平滑升级

互联网基本架构模型
Nosql数据库总结

本质:数据库(读,写)
MyISAM:表锁(查询一个数据需要锁定整个表)==>影响效率,高并发下出现严重问题
Innodb:行锁(查询一个数据只需锁定一行)

为什么要用NoSql?
用户的个人信息,社交网络,地理位置,用户自己产生的数据,用户日志等爆发式增长
关系型数据库达到瓶颈,使用Nosql可以很好的处理这种情况

NoSql=Not Only Sql(不仅仅是Sql)泛指非关系型数据库,随着WEB2.0互联网的诞生,传统的关系型数据库很难对付(尤其是大规模高并发的社区)
关系型数据库:表格(行和列来记录)(POI使用java操作Excel)
Nosql数据库:没有固定的格式,拓扑图(动态发展),不需要多于操作就可以横向扩展, Map<String,Object>

Nosql特点

  • 方便扩展(数据之前没有关系,很好扩展!) 解耦
  • 大数据量高性能(Redis一秒可以写8w次,读取11w次,Nosql的缓存记录,是一种细粒度的缓存,性能会比较高)
  • 数据类型多样型(八种类型),不需要设计数据库,随取随用(如果数据量大很多人就无法设计)

传统RDBMS

  1. 结构化组织
  2. Sql
  3. 数据和sql都存在单独的表中 row col
  4. 操作数据的操作,数据定义语言
  5. 严格的一致性
  6. 基础的事务

Nosql

  1. 不仅仅是数据
  2. 没有固定的查询语言
  3. 键值对存储,列数据(Hbase),文档存储(Mongodb),图形数据库存储
  4. 最终一致性
  5. CAP定理和BASE理论(异地多活)
  6. 高性能,高可用,高扩展

大数据时代的3V+3高

Nosql+关系型数据库一起使用

阿里巴巴演进分析

商品基本信息:mysql
商品描述:mongodb
图片:分布式文件系统Hdfs
搜索:搜索引擎elasticserach,ISearch
热门波段信息:内存数据库(Redis,memache)
商品交易:三方应用

出现问题

  • 数据类型太多
  • 数据源太多
  • 经常重构
  • 数据改造,大面积改造

统一数据服务层UDSL,类似JDBC屏蔽了数据库的差异

Nosql四大分类

  1. KV键值对存储
    Map<String,Object>
    新浪:Redis
    美团:Redis+Tair
    阿里,百度:Redis+Memache

  2. 文档型数据库(bson(类似于json))

  • 必须掌握 MongoDB:一个基于分布式文件存储的数据库,C++编写,主要用于处理大量文档
  • MongDB是一个介于关系型数据库和非关系型数据库的中间产品,是Nosql非关系型数据库中功能最丰富,最像关系型数据库的
  1. 列存储数据库(HBase,分布式文件系统)

  2. 图形关系数据库(社交拓扑图)

  • 存放的是关系而不是图形
  • Neo4j

Nosql数据库总结

上一篇:GaussDB NoSQL架构设计分享


下一篇:分布式数据库NoSQL简介