第1章 数据库管理系统
1.1 前言
01.数据的定义：文字、图像、地理位置信息(坐标、经纬度)等
02.数据库管理系统的定义：建立、存取和管理数据，保证数据安全和完整性的软件
03.常见的数据库管理系统：
关系型：MySQL、Oracle、SQL Server、Db2等
非关系型：MongoDB、Redis、HBase等
数据库管理系统使用情况排名https://db-engines.com/en/ranking
1.2 NoSQL简介
NoSQL=Not Only SQL，支持类似SQL的功能， 与Relational Database相辅相成
其适用于性能较高，不使用SQL意味着没有结构化的存储要求(SQL为结构化的查询语句)，没有约束之后架构更加灵活
1.2.1 NoSQL数据库四大家族
列存储：Hbase
键值(Key-Value)存储：Redis
图像存储：Neo4J
文档存储：MongoDB
1.2.2 NoSQL的优势
高可扩展性、分布式计算、没有复杂的关系、低成本、架构灵活、半结构化数据
第2章 MongoDB
2.1 MongoDB特性
即最像关系型数据库的NoSQL
MongoDB与RDBMS的最大区别：
没有固定的行列组织数据结构，即无需将不同类的数据放入多张表中建立对应关系并分别存储其数据，而是直接放入一份文档进行存储
2.1.1 数据存储格式
01. JSON
MongoDB使用JSON(JavaScript ObjectNotation)文档存储记录
JSON数据库语句可以容易被解析
Web应用大量使用
NAME-VALUE配对
02. BSON
二进制的JSON，JSON文档的二进制编码存储格式
BSON有JSON没有的Date和BinData
MongoDB中document以BSON形式存放
数据格式灵活-文档里嵌入文档
{
_id: ObjectID(""),
username: “Silence”,
regDate: “--”,
scores: {
math: "",
english: ""
}
}
2.2 MongoDB优势
MongoDB是开源产品，On GitHub，Licensed under the AGPL，起源&赞助by MongoDB公司，提供商业版licenses许可
01.功能
JSON文档模型、动态的数据模式、二级索引强大(特有)、查询功能、自动分片、水平扩展、自动复制、高可用、文本搜索、企业级安全、聚合框架MapReduce、大文件存储GridFS、地理位置索引
支持多种存储引擎：
02.存储引擎比较
|
|
MySQL InnoDB |
MongoDB MAPI |
MongoDB WiredTiger |
|
事务 |
YES |
NO |
NO |
|
锁粒度 |
ROW-level行级锁 |
Collection-level |
Document-level |
|
Geospatial |
YES |
YES |
YES |
|
MVCC |
YES |
NO |
NO |
|
Replication |
YES |
YES |
YES |
|
外键 |
YES |
NO |
NO |
|
数据库集群 |
NO |
YES |
YES |
|
B-TREE索引 |
YES |
YES |
YES |
|
全文检索 |
YES |
YES |
YES |
|
数据压缩 |
YES |
NO |
YES |
|
存储限制 |
64TB |
NO |
NO |
|
表分区 |
YES |
YES(分片) |
YES(分片) |
03.数据库功能和性能分布图
2.3 数据逻辑结构
2.3.1 层次关系
文档(document)、集合(collection)、数据库(database)
2.3.2 层次关系图
2.3.3 MongoDB与RDBMS数据结构逻辑对比
|
MongoDB |
VS |
RDBMS |
|
集合Collection |
-> |
表Table |
|
文档Document |
-> |
行Row |
|
数据库Database |
数据库Database |
|
|
索引值Index |
-> |
索引值Index |
|
嵌入式文件Embedded Document |
-> |
合并Join |
|
引用Reference |
-> |
外键Foreign Key |
|
分片Shard |
-> |
分区Partition |
2.4 MongoDB适用场景
)网站数据：MongoDB 非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性
)缓存：由于性能很高，MongoDB 也适合作为信息基础设施的缓存层。在系统重启之后，由 MongoDB 搭建的持久化缓存层可以避免下层的数据源过载
)大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储
)高伸缩性的场景：MongoDB 非常适合由数十或数百台服务器组成的数据库。MongoDB的路线图中已经包含对 MapReduce 引擎的内置支持
)用于对象及 JSON 数据的存储：MongoDB 的 BSON 数据格式非常适合文档化格式的存储及查询
2.4.1 MongoDB使用场景
我的数据量是有亿万级或者需要不断扩容
需要2000-3000以上的读写每秒
新应用，需求会变，数据模型无法确定
我需要整合多个外部数据源
我的系统需要99.%高可用
我的系统需要大量的地理位置查询
我的系统需要提供最小的latency
我要管理的主要数据对象 <
说明：以上条件满足一个可以考虑MongoDB，满足两个选择MongoDB不会后悔
第3章 MongoDB软件安装
3.1 前提条件
官方下载地址www.mongodb.com 安装文档地址
docs.mongodb.com
mongoing.com
软件所支持的平台(X86_64)
在3.4版更改：MongoDB不再支持32位的x86平台
注意：切记在选择mongodb版本时要确认支持/兼容哪些操作系统及版本信息，如使用3.2版本需安装在CentOS6.2级以上操作系统
3.1.1 安装前准备
01.准备Redhat或Centos6.2以上系统
02.系统开发包完整
03.关闭iptables及Selinux
04.配置IP地址和hosts解析
05.关闭hugepage大页内存
06.创建所需用户mongod(非root用户)
07.创建所需目录，并授权
3.1.1.1 具体步骤
[root@mongodb ~]# cat /etc/redhat-release
CentOS release 6.9 (Final) [root@mongodb ~]# uname -r
2.6.-.el6.x86_64 [root@mongodb ~]# uname -m
x86_64
/etc/init.d/iptables status
getenforce
ip a
echo "10.0.0.51 mongodb" >>/etc/hosts /etc/init.d/mysqld stop #若存在mysql程序需提前关闭以防止程序冲突
关闭大页内存机制以提高性能
vim /etc/rc.local #以root用户身份在最后一行添加如下代码，重启生效
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
系统关闭参照官方文档https://docs.mongodb.com/manual/tutorial/transparent-huge-pages/
3.2 安装及启动
01.创建所需用户和组
groupadd -g mongod useradd -u -g mongod mongod passwd mongod
02.创建mongodb所需目录结构
mkdir -p /application/mongodb/{bin,conf,log,data}
03.上传并解压软件到指定位置
cd /application/ rz#上传mongodb-linux-x86_64-3.2..tgz包 tar -zxvf mongodb-linux-x86_64-3.2..tgz
cd mongodb-linux-x86_64-3.2./bin/
cp -a * /application/mongodb/bin
04.设置目录结构权限
chown -R mongod:mongod /application/mongodb
05.设置用户环境变量
su - mongod
vim .bash_profile
export PATH=/application/mongodb/bin:$PATH
source .bash_profile
06.启动mongodb(无需初始化)
mongod --dbpath=/application/mongodb/data --logpath=/application/mongodb/log/mongodb.log --port= --logappend --fork
说明：在启动mongodb要指定数据、日志路径及端口号(默认也可以)
06.1成功标识
about to fork child process, waiting until server is ready for connections.
forked process:
child process started successfully, parent exiting
3.2.1 mongodb启动参数详解
|
mongod参数 |
参数说明 |
|
--dbpath |
数据存放路径 |
|
--logpath |
日志文件路径 |
|
--logappend |
日志输出方式->以追加模式进行记录，默认覆盖记录 |
|
--port |
启用端口号 |
|
--fork |
以后台守护进程的方式启动 |
|
--auth |
是否需要验证权限登录(用户名和密码) |
|
--bind_ip |
限制访问的ip |
07.编辑配置文件->以读取配置文件的方式来启动数据库
vim /application/mongodb/conf/mongod.conf dbpath=/application/mongodb/data
logptah=/application/mongodb/log/mongodb.log
port=
logappend=
fork=
08.指定配置文件启动/关闭mongod
mongod -f /application/mongodb/conf/mongod.conf #启动数据库
mongod -f /application/mongodb/conf/mongod.conf shutdown #关闭
09.登录mongodb
mongo ###此时已登陆mongodb系统，以下为提示信息###
MongoDB shell version: 3.2.
connecting to: test
>
说明：
01.初次登录时默认提示版本号信息及连接数据库test，但是在MongoDB中test数据库默认并不存在
02.对于3.2以上版本默认只有一个admin数据库，且无需提前创建，不存在的库也能够正常use
3.2.2 启动时报错："WARNING: soft rlimits too low. rlimits set to 1024 processes, 64000 files. Number of processes should be at least 32000 : 0.5 times number of files"的类似错误
报错原因：rlimits设置过小，其设置几乎不能满足MongoDB运行所需的最小条件，会导致它运行缓慢甚至出现不可知的错误
解决思路：
01.查看当前的MongoDB进程信息
ps -ef | grep mongod #结果如下
mongod : ? :: mongod --dbpath=/application/mongodb/data --logpath=/application/mongodb/log/mongodb.log --port= --logappend --fork
root : pts/ :: grep --color=auto mongod
02.查看mongod进程的系统限制
cat /proc//limits #结果如下
Limit Soft Limit(软限制->最小值) Hard Limit(硬限制->最大值) Units
Max processes processes
Max open files files
解决方法：
①方法一
vim /etc/security/limits.d/-nproc.conf
* soft nproc #此为修改后结果，reboot重启生效
②方法二
vim /etc/security/limits.conf # End of file
mongod soft nofile
mongod hard nofile
mongod soft nproc
mongod hard nproc
查看系统限制
ulimit -a
#也可利用ulimit [-ftvnmu]命令在shell命令行中直接进行设置
#但若要系统启动时在所有窗口生效，需将上面的ulimit添加到/etc/profile
3.2.3 YAML模式编写配置文件
systemLog:
destination: file
path: "/application/mongodb/log/mongod.log"
logAppend: true
storage:
journal:
enabled: true
dbPath: "/application/mongodb/data"
processManagement:
fork: true
net:
port:
此时关闭mongodb重新启动即可
3.2.4 MongoDB的关闭方式
3.2.4.1 kill进程模式(不建议使用)
$ kill - PID #原理：-2表示向mongod进程发送SIGINT信号
或
$ kill - PID #原理：-4表示向mognod进程发送SIGTERM信号
3.2.4.2 自带模式
use admin
admin> db.adminCommand({shutdown:})
或
$ mongod -f mongodb.conf --shutdown
killing process with pid:
注意：
01.mongod进程收到SIGINT或SIGTERM信号，会做一些处理
02.切忌使用kill -9
3.2.5 编辑脚本实现SYS-V形式启动mongod
vim /etc/rc.d/init.d/mongod
#!/bin/bash
#
#chkconfig:
#description:mongodb
MONGODIR=/application/mongodb
MONGOD=$MONGODIR/bin/mongod
MONGOCONF=$MONGODIR/conf/mongod1.conf
start() {
su - mongod -c "$MONGOD -f $MONGOCONF"
} stop() {
su - mongod -c "$MONGOD -f $MONGOCONF --shutdown"
} case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
sleep
start
;;
*)
echo $"Usage: $0 {start|stop|restart}"
exit
esac chmod +x /etc/init.d/mongod
mongod.conf
3.3 基本操作及使用
获取帮助
> help
db.help() help on db methods
db.mycoll.help() help on collection methods
sh.help() sharding helpers
rs.help() replica set helpers
help admin administrative help
help connect connecting to a db help
help keys key shortcuts
help misc misc things to know
help mr mapreduce show dbs show database names
show collections show collections in current database
show users show users in current database
show profile show most recent system.profile entries with time >= 1ms
show logs show the accessible logger names
show log [name] prints out the last segment of log in memory, 'global' is default
use <db_name> set current database
db.foo.find() list objects in collection foo
db.foo.find( { a : } ) list objects in foo where a ==
it result of the last line evaluated; use to further iterate
DBQuery.shellBatchSize = x set default number of items to display on shell
exit quit the mongo shell
help帮助信息
查看当前db版本
> db.version()
3.2.
查看当前使用db
> db
test
或
> db.getName()
test
查询所有数据库
> show dbs
local .000GB
切库
> use test
switched to db test
显示当前数据库状态
> db.stats()
{
"db" : "local",
"collections" : ,
"objects" : ,
"avgObjSize" : ,
"dataSize" : ,
"storageSize" : ,
"numExtents" : ,
"indexes" : ,
"indexSize" : ,
"ok" :
}
查看当前数据库的连接机器地址
> db.getMongo()
connection to 127.0.0.1
创建数据库
当使用use命令时系统会自动创建一个数据库，如果use之后没有创建任何集合，系统就会删除这个数据库
> use banana
switched to db banana
删除数据库
如果没有选择任何数据库，会删除默认的test数据库
> db.dropDatabase()
{ "ok" : }
> show dbs;
local .000GB
创建集合
方法1：
> use banana;
switched to db banana #相当于use banana ,不同的是（从mysql关系型数据库角度解释），在mongodb中banana允许未创建情况下use banana，在创建数据表后，即创建了banana，否则banana不会创建
> db.createCollection('a'); #创建集合a,a相当于mysql中的数据表
{ "ok" : } # 提示创建成功
> db.createCollection('b');
{ "ok" : }
> show collections;
a
b
方法2：
> db.c.insert({username:"mongodb"}) #向c集合插入数据
WriteResult({ "nInserted" : }) ->成功写入文档
> show collections
a
b
c
> db.c.find() #显示数据集合中所有数据，当前仅一条
{ "_id" : ObjectId("5743c9a9bf72d9f7b524713d"), "username" : "mongodb" }
> db.log.find().pretty(); # 格式化打印结果
{
"_id" : ObjectId("5743c9a9bf72d9f7b524713d"),
"uid" : ,
"name" : "mongodb",
"age" : ,
"date" : ISODate("2018-01-03T08:37:00.214Z")
}
> db.c.drop() #删除c集合
true
> db.c.find() #c集合置空
批量插入数据
> for(i=;i<;i++){ db.log.insert({"uid":i,"name":"mongodb","age":,"date":new Date()}); } #批量插入10000个数据
#查询集合中的记录数
> db.log.find()
说明：默认每页显示20条记录，当显示不下的的情况下，可以用it迭代命令查询下一页数据
#设置每页显示数据的大小：每页显示50条记录
> DBQuery.shellBatchSize=;
#查看第1条记录
> db.log.findOne()
#查询总的记录数
> db.log.count()
#删除集合中所有记录
> db.log.remove({})
#集合中数据的原始大小
> db.log.dataSize()
#集合中索引数据的原始大小
> db.log.totalIndexSize()
#集合中索引+数据压缩存储之后的大小
> db.log.totalSize()
#集合中数据压缩存储的大小
> db.log.storageSize()
此笔记是本人学习摘记整理而成，此为初稿(尚有诸多不完善之处)，原创作品允许转载，转载时请务必以超链接形式标明文章原始出处，作者信息和本声明，否则将追究法律责任。
作者：banana童
出处：http://www.cnblogs.com/bananaaa/