NoSQL(NoSQL = Not Only SQL),它指的是非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显的力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。
NoSQL的特点:
特点一:
是以key-value形式存储,和传统的关系型数据库不一样,不一定遵循传统数据库的一些基本要求,比如说遵循SQL标准、ACID属性、表结构等等,这类数据库主要有以下特点:非关系型的、分布式的、开源的、水平可扩展的。
特点二:
处理超大量的数据比Mysql等有优势。
运行在便宜的PC服务器集群上。
击碎了性能瓶颈。(MySQL的时候需要很多优化,但是NoSQL不需要,性能非常高)
特点三(性能方面):
对数据高并发读写。(对MySQL进行上万次读的请求可能顶得住,但是如果对MySQL进行上万次的写的时候,硬盘IO要求就比较高,效率就比较低下,但是NoSQL就比较方面。)
对海量数据的高效率存储和访问。
对数据的高可扩展和高可用性。(NoSQL可以增加一个服务器节点,使用NoSQL来做分布式比较简单,因为没有固定的表结构,所以更改比较方便)。
Redis的介绍:
Redis是一个开源的,先进的key-value存储。它通常被称为数据结构服务器,因为键可以包含字符串,哈希,链表,集合和有序集合。
Redis是一个key-value存储系统。它支持存储的value类型很多,包括string(字符串)、list(链表)、set(集合)、zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集和并集及更丰富的操作,Redis支持各种不同方式的序列。为了保证效率,都是缓存在内存中的,它也可以周期性的吧更新的数据写入磁盘或者吧修改操作写入追加的记录文件。
Redis的使用场合:
在新浪微博Redis的部署场景很多,大概分为如下2种:
应用程序直接访问Redis数据库。
应用程序直接访问Redis,只有当Redis访问失败时才访问MySQL
把大象装冰箱的过程:
Redis数据库提供多中灵活的数据结构和数据操作,为不同的大象构建不同的冰箱。
Redis具体的适用场景:
取最新N个数据库的操作
排行榜应用,取TOP N操作
需要精确设定过期时间的应用
计数器应用
Uniq操作,获取某段时间所有数据排重值
实时系统,反垃圾系统。
Pub/Sub构建实时消息系统(Redis独有的发布和订阅系统)
构建队列系统
缓存。
Redis的安装与部署
第一步:
Redis的官方下载站是:http://redis.io/download
最好使用Stable版本(稳定版本)。
第二步:编译源程序
tar zxvf redis-2.8.19.tar.gz
cd redis-2.8.19
make
cd src && make install (注意权限问题)
网上安装方式: |
$ wget http://download.redis.io/releases/redis-2.8.19.tar.gz $ tar xzf redis-2.8.19.tar.gz $ cd redis-2.8.19 $ make |
步骤三:
移动文件,便于管理:
mkdir –p /usr/local/redis/bin
mkdir –p /usr/local/redis/etc
mv /home/toto/redis/redis-2.8.19/redis.conf/usr/local/redis/etc/
cd src
mv mkreleasehdr.sh redis-benchmarkredis-check-aof redis-check-dump redis-cli redis-server /usr/local/redis/bin/ (也就是说移动的是所有的可执行的文件)
第四步:启动Redis服务:
/usr/local/redis/bin/redis-server (或者到/usr/local/redis/bin目录下,执行:./redis-server)
可以指定配置文件:
/usr/local/redis/etc/redis.conf (可以在./redis-server后面加上这个配置文件)
Redis服务端的默认连接端口是6379 (mongodb的端口号是:27017和28017端口)
第五步:
客户端连接:/usr/local/redis/bin/redis-cli (cli是client的缩写)。
退出客户端的方式是通过exit或者通过quit的方式。
步骤六:
停止Redis实例
我们可以使用/usr/local/redis/bin/redis-cli然后再
shutdown
也可以使用pkill redis-server 或者kill -9来实现。
Redis的配置:
daemonize:如果需要在后台运行,把该项改为yes |
pidfile:配置多个pid的地址默认在/var/run/redis.pid |
bind:绑定ip,设置后只接受来自该ip的请求 |
port:监听端口,默认为6379 |
timeout:设置客户端连接时的超时时间,单位为秒 |
loglevel:分为4级,debug、verbose、notice、warning |
logfile:配置log文件地址 |
databases:设置数据库的个数,默认使用的数据库为0 |
save:设置redis进行数据库镜像的频率。(备份数据) |
rdbcompression:在进行镜像备份时,是否进行压缩 |
dbfilename:镜像备份文件的文件名 |
dir:数据库镜像备份的文件放置路径 |
slaveof:设置数据库为其它数据库的从数据库。 |
masterauth:主数据库连接需要的密码验证。 |
requirepass:设置登录时需要使用的密码。 |
maxclients:限制同时连接的客户数量。 |
maxmemory:设置redis能够使用的最大内存。 |
appendonly:开启append only模式。 |
appendfsync:设置对appendonly.aof文件进行同步的频率。 |
vm-enabled:是否开启虚拟内存支持。 |
vm-swap-file:设置虚拟内存的交换文件路径。 |
vm-max-memory:设置redis使用的最大物理内存大小。 |
vm-page-size:设置虚拟内存的页的大小 |
vm-pages:设置交换文件的总的page数量 |
vm-max-threads设置VMIO同时使用的线程数量。 |
glueoutputbuf:把小的输出缓存存放在一起。 |
hash-max-zipmap-entries:设置hash的临界值 |
activerehashing:重新hash |
查看进程的方式:ps –ef | grep “redis”
查看端口的方式:netstat -tunpl | grep 6379
-------------------------------------------------------------------------------------------------------------------------------------------------------
redis服务器安装(其他方式)
用源码工程来编译安装
1/ 到官网下载最新stable版
2/ 解压源码并进入目录 tar -zxvf redis-2.8.19.tar.gz -C ./redis-src/
3/ make
如果报错提示缺少gcc,则安装gcc : yum install -y gcc
如果报错提示:Newer version ofjemalloc required
则在make时加参数:make MALLOC=libc
4/ 安装redis,指定安装目录,如 /usr/local/redis
make PREFIX=/usr/local/redis install
6/ 拷贝一份配置文件到安装目录下
切换到源码目录,里面有一份配置文件redis.conf,然后将其拷贝到安装路径下
cp redis.conf /usr/local/redis/
7/ 启动redis
cd /usr/local/redis
bin/redis-server redis.conf (如果想后台进程运行,修改:daemonize yes)
8 连接redis
另开一个xshell,然后:
#cd /usr/local/redis/
[root@hadoop redis]# bin/redis-cli
127.0.0.1:6379>
注意:为了让机器能够远程连接服务器上的redis,需要将redis.conf中的bind值改成访问机器的ip地址,不要用127.0.0.1
1、如果想远程访问redis,需要对redis配置ip
配置的方式是:
cd /usr/local/redis vim redis.conf 将bind的id换成真实的ip地址,比如: bind 192.168.106.81 |
2、在集群配置中,要对redis配置密码,修改的配置是:
cd /usr/local/redis vim redis.conf requirepass accountOne (这里设置一个密码:accountOne) |
3、另外若想远程访问,需要将6379的防火墙端口号放开
bin/redis-cli -h 192.168.106.81 -p 6379 通过这种方式可以连接到192.168.106.81这台服务器上的redis. 注意:若想让它能够被连同192.168.106.81这台服务器上的redis.conf的bind属性值要改成192.168.106.81