1. 架构设计
1.1 架构图
FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
1.2 服务器配置
192.168.22.173 tracker-group1
192.168.22.174 tracker-group2
192.168.22.175 storage-group1-1
192.168.22.176 storage-group1-2
192.168.22.177 storage-group2-1
192.168.22.178 storage-group2-2
2. FastDFS安装和配置
2.1. 安装libfastcommon
上述所有服务器均进行安装。
参照《fastDFS分布式文件系统安装教程》
2.2. 安装FastDFS
上述所有服务器均进行安装。
参照《fastDFS分布式文件系统安装教程》
2.3. 配置跟踪器
2.3.1. 配置（192.168.22.173 tracker-group1）tracker.conf
disabled=false #启用配置文件
base_path=/home/fastdfs/tracker #设置tracker的数据文件和日记目录(预先创建)
store_lookup=0 #0：轮询，1：指定组，2：负载均衡（测试效果，改为0）
port=22122 #设置tracker的端口号,一般使用默认的
2.3.2. 配置（192.168.22.174 tracker-group2）tracker.conf
disabled=false #启用配置文件
base_path=/home/fastdfs/tracker #设置tracker的数据文件和日记目录(预先创建)
store_lookup=0 #0：轮询，1：指定组，2：负载均衡（测试效果，改为0）
port=22122 #设置tracker的端口号,一般使用默认的
2.4. 配置存储器
2.4.1. 配置（192.168.22.175 storage-group1-1）storage.conf
disabled=false #启用配置文件
base_path=/home/fastdfs/storage#设置storage的数据文件和日记目录(预先创建)：
port=23000 #设置端口号,默认值23000,同一组的的storage端口号必须相同
group_name=group1 #组名,第一组group1，第二组group2
store_path0=/home/fastdfs/storage #存储路径
store_path_count=1 #存储路径个数,需要和store_path个数匹配
tracker_server=192.168.22.173:22122 #tracker服务器的ip地址和端口号
tracker_server=192.168.22.174:22122 #多个tracker添加多条配置
Http_server_port=8888 #设置http端口号
2.4.2. 配置（192.168.22.176 storage-group1-2）storage.conf
disabled=false #启用配置文件
base_path=/home/fastdfs/storage#设置storage的数据文件和日记目录(预先创建)：
port=23000 #设置端口号,默认值23000,同一组的的storage端口号必须相同
group_name=group1 #组名,第一组group1，第二组group2
store_path0=/home/fastdfs/storage #存储路径
store_path_count=1 #存储路径个数,需要和store_path个数匹配
tracker_server=192.168.22.173:22122 #tracker服务器的ip地址和端口号
tracker_server=192.168.22.174:22122 #多个tracker添加多条配置
Http_server_port=8888 #设置http端口号
2.4.3. 配置（192.168.22.177 storage-group2-1）storage.conf
disabled=false #启用配置文件
base_path=/home/fastdfs/storage#设置storage的数据文件和日记目录(预先创建)：
port=23000 #设置端口号,默认值23000,同一组的的storage端口号必须相同
group_name=group2 #组名,第一组group1，第二组group2
store_path0=/home/fastdfs/storage #存储路径
store_path_count=1 #存储路径个数,需要和store_path个数匹配
tracker_server=192.168.22.173:22122 #tracker服务器的ip地址和端口号
tracker_server=192.168.22.174:22122 #多个tracker添加多条配置
Http_server_port=8888 #设置http端口号
2.4.4. 配置（192.168.22.178 storage-group2-2）storage.conf
disabled=false #启用配置文件
base_path=/home/fastdfs/storage#设置storage的数据文件和日记目录(预先创建)：
port=23000 #设置端口号,默认值23000,同一组的的storage端口号必须相同
group_name=group2 #组名,第一组group1，第二组group2
store_path0=/home/fastdfs/storage #存储路径
store_path_count=1 #存储路径个数,需要和store_path个数匹配
tracker_server=192.168.22.173:22122 #tracker服务器的ip地址和端口号
tracker_server=192.168.22.174:22122 #多个tracker添加多条配置
Http_server_port=8888 #设置http端口号
2.5. 测试
2.5.1. 主从自动切换
先启动tracker,在启动storage
查看日志信息:
tail -f /home/fastdfs/storage/logs/storaged.log
自动选举一个leader(tracker节点),同一组是互通的
关闭一个tracker,验证是否自动切换主从leader
2.5.2. 集群信息查看
查看命令：cd /usr/bin/ && ll | grep fdfs
查看存储集群信息：/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
2.5.3. 上传文件
修改tracker节点的client.conf配置信息
base_path=/home/fastdfs/tracker #存放路径
tracker_server=192.168.22.173:22122 #tracker服务器ip地址和端口
tracker_server=192.168.22.174:22122 #tracker服务器ip地址和端口
上传：/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/1.img
在storage服务器查看/home/fastdfs/storage/data中的数据
75和76服务器数据一致
75.76和77.78根据之前设置的轮询进行数据存储
3. Nginx安装（storage）
3.1. 安装fastdfs-nginx-module包进行整合
上述四个存储节点都进行安装。
参照《fastDFS分布式文件系统安装教程》
3.2. Fastdfs与Nginx进行集成
上述四个存储节点都进行安装。
参照《fastDFS分布式文件系统安装教程》
3.3. nginx-module.conf配置
3.3.1. 配置（192.168.22.175 storage-group1-1）
connect_timeout=10 #连接超时时间
tracker_server=192.168.22.173:22122 #跟踪ip
tracker_server=192.168.22.174:22122 #跟踪ip
storage_server_port=23000
url_have_group_name=true #启用url访问
store_path0=/home/fastdfs/storage #与之前一致
group_name=group1 #第一组
group_count=2 #有多少个组
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
3.3.2. 配置（192.168.22.176 storage-group1-2）
connect_timeout=10 #连接超时时间
tracker_server=192.168.22.173:22122 #跟踪ip
tracker_server=192.168.22.174:22122 #跟踪ip
storage_server_port=23000
url_have_group_name=true #启用url访问
store_path0=/home/fastdfs/storage #与之前一致
group_name=group1 #第一组
group_count=2 #有多少个组
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
3.3.3. 配置（192.168.22.177 storage-group2-1）
connect_timeout=10 #连接超时时间
tracker_server=192.168.22.173:22122 #跟踪ip
tracker_server=192.168.22.174:22122 #跟踪ip
storage_server_port=23000
url_have_group_name=true #启用url访问
store_path0=/home/fastdfs/storage #与之前一致
group_name=group2 #第二组
group_count=2 #有多少个组
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
3.3.4. 配置（192.168.22.178 storage-group2-2）
connect_timeout=10 #连接超时时间
tracker_server=192.168.22.173:22122 #跟踪ip
tracker_server=192.168.22.174:22122 #跟踪ip
storage_server_port=23000
url_have_group_name=true #启用url访问
store_path0=/home/fastdfs/storage #与之前一致
group_name=group2 #第二组
group_count=2 #有多少个组
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
3.4. 安装nginx缓存模块
需要在所有跟踪器上安装nginx,以提供反向代理服务,目的是使用统一的一个ip地址对外提供服务。
3.4.1. 安装nginx缓存模块
上传并解压Nginx缓存模块,ngx_cache_purge
安装依赖库文件
yum install pcre
yum install pcre-deve
yum install zlib
yum install zlib-devel
安装Nginx,并加入缓存模块
加入模块：./configure --add-module=/usr/local/fastdfs/ngx_cache_purge
编译：make && make install
3.4.2. 配置nginx负载均衡和缓存（192.168.22.173 tracker-group1）
编辑nginx.conf
# 缓存配置start
server_names_hash_bucker_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarder_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
# 缓存文件夹
proxy_cacher_path /home/fastdfs/cache/nginx/proxy_cache levels=1:2
keys_zone=http-cache:200m max_size=1g inactive=30d;
proxy_temp_path /home/fastdfd/cache/nginx/proxy_cache/tmp;
# group的服务设置
upstream fdfs_group1{
server 192.168.22.175:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.22.176:8888 weight=1 max_fails=2 fail_timeout=30s;
}
upstream fdfs_group2{
server 192.168.22.177:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.22.178:8888 weight=1 max_fails=2 fail_timeout=30s;
}
# 缓存配置end
server {
listen 8000;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location /group1/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1;
expires 30d;
}
location /group2/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group2;
expires 30d;
}
#缓存清空权限设置
location ~purge(/.*) {
allow 127.0.0.1;
allow 127.0.0.1;
deny all;
proxy_cache_purge http-cache $1$si_args$args;
}
3.4.3. 配置nginx负载均衡和缓存（192.168.22.174 tracker-group2）
在/fastdfs/storage文件存储目录下创建软连接,将其链接到实际存放数据的目录：
# 缓存配置start
server_names_hash_bucker_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarder_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
# 缓存文件夹
proxy_cacher_path /home/fastdfs/cache/nginx/proxy_cache levels=1:2
keys_zone=http-cache:200m max_size=1g inactive=30d;
proxy_temp_path /home/fastdfd/cache/nginx/proxy_cache/tmp;
# group的服务设置
upstream fdfs_group1{
server 192.168.22.175:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.22.176:8888 weight=1 max_fails=2 fail_timeout=30s;
}
upstream fdfs_group2{
server 192.168.22.177:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.22.178:8888 weight=1 max_fails=2 fail_timeout=30s;
}
# 缓存配置end
server {
listen 8000;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location /group1/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1;
expires 30d;
}
location /group2/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group2;
expires 30d;
}
#缓存清空权限设置
location ~purge(/.*) {
allow 127.0.0.1;
allow 127.0.0.1;
deny all;
proxy_cache_purge http-cache $1$si_args$args;
}
3.4.4. 创建缓存文件夹
命令：mkidr -p /home/fastdfs/cache/nginx/proxy_cache
命令：mkidr -p /home/fastdfd/cache/nginx/proxy_cache/tmp
3.4.5. 启动nginx进行测试
命令: /usr/local/nginx/sbin/nginx
3.4.6. 使用keepalive虚拟ip地址(可在173和174上代理)
upstream fastdfs_tracker{
server 192.168.22.173:8000 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.22.174:8000 weight=1 max_fails=2 fail_timeout=30s;
}
server {
listen 80;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location /fastdfs {
root html;
index index.html index.htm;
proxy_pass http://fastdfs_tracker;
proxy_set_header Host $http_host;
proxy_set_header Cookie $http_cookie;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarder_for;
proxy_set_header X-Forwarded-Proto $scheme;
client_max_body_size 300m;
}