1. 分布式文件系统应用场景

互联网海量非结构化数据的存储需求：

• 电商网站：海量商品图片
• 视频网站：海量视频文件
• 网盘：海量文件
• 社交网站：海量图片

2. FastDFS介绍

https://github.com/happyfish100/fastdfs

2.1 简介

​ FastDFS是一个开源的高性能分布式文件系统(DFS)。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件(建议范围：4KB< file_size<500MB)为载体的在线服务。

​ FastDFS设计是用来存储小文件的，过大的文件处理方案是拆分为小文件，可跟踪小文件的上传情况。如果应用场景都是外理大文件，可以选择其他分布式文件系统方案会更合适。

2.2 特性

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

优点:

• 文件不分块存储，文件和系统中的文件一一对应。
• 对文件内容做hash处理，避免出现重复文件，节约磁盘空间。
• 下载文件支持HTTP协议，可基于内置Web Server或外部Web Server。
• 支持在线扩容，动态添加卷。
• 支持文件冗余备份和负载均衡。
• 存储服务器上可以保存文件属性 (meta-data)。
• V2.0 网络通信采用libevent，支持高并发访问，整体性能更好。

缺点:

• 直接按文件存储，可直接查看文件内容，缺乏文件安全性。
• 数据同步无校验，存在静默IO问题，降低系统可用性。
• 单线程数据同步，仅适合存储小文件 (4KB到500MB之间)。
• 备份数根据存储分卷(分组)决定，缺乏文件备份数设置灵活性。
• 单个挂载点异常会导致整个存储节点下线。
• 缺乏多机房容灾机制。
• 静态的负载均衡机制。

优点与缺点并存，但针对中小型系统已经完全足够使用了。

2.3 角色

• Tracker Server: 跟踪服务器，主要做调度工作，起到均衡的作用。负责管理所有的 storage server和 group，每个 storage 在启动后会连接Tracker，告知自己所属 group 等信息，并保持周期性心跳。
• Storage Server: 存储服务器，主要提供容量和备份服务;以 group 为单位，每个group 内可以有多台 storage server，数据互为备份。
• client: 客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

Tracker相当于一个调度中心，上传和下载都通过它来进行分配指定。

Storage cluster部分，由Volume1、Volume2…VolumeK组成，它们称为卷(或者叫做组)，卷与卷之间是平行的关系，可以根据资源的使用情况随时增加，卷内服务器文件相互同步备份，以达到容灾的目的。

2.4 存储策略

​ 为了支持大容量，存储节点 (服务器) 采用了分卷 (或分组) 的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

​ 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

2.5 上传过程

当服务启动之后，Storage Server会定期的向Tracker Server发送存储信息如果Tracker Server是集群形式，则每个Tracker之间的关系是对等的，客户端上传时选择任意一个Tracker即可。

整体流程：当客户端请求Tracker进行上传操作时，会获取存储服务器相关信息，主要包括IP和端口。根据返回信息上传文件，通过存储服务器写入磁盘，并返回给客户端file_id、路径信息、文件名等信息。

对应流程图如下:

其中，当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storage server。

当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid最后根据以上的信息生成文件名存储文件。

生成的文件名基本格式如下：

• 组名：文件上传后所在的 storage 组名称，在文件上传成功后有 storage 服务器返回，需要客户端自行保存。
• 虚拟磁盘路径：storage 配置的虚拟路径，与磁盘选项 store_path*对应。如果配置了store_path0 则是 M00，如果配置了store_path1则是M01，以此类推。
• 数据两级目录：storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
• 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含源存储 服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

2.6 文件同步

写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。

每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步，进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。

storage的同步进度会作为元数据的一部分汇报到traker上，tracke在选择读storage的时候会以同步进度作为参考。

2.7 下载过程

跟上传一样，在下载时客户端可以选择任意Tracker server。

客户端带文件名信息请求Tracker，Tracker从文名中解析出文件的group、大小、创建时间等信息，然后选择一个storage用来服务处理请求，返回对应文件。

对应流程图如下:

如果是基于Web的http请求，此处的Client可以是Nginx代理服务。下面这张图更加形象的描述了相关的流程。

3. FastDFS环境搭建

3.1 环境准备

3.1.1 使用的系统软件

名称	说明
centos	7.X
libfastcommon	FastDFS分离出的一些公用函数包
FastDFS	FastDFS本体
fastdfs-nginx-module	FastDFS和nginx的关联模块
nginx	nginx-1.16.1

3.1.2 编译环境

yum install -y git gcc gcc-c++ make automake autoconf 1ibtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim   

3.1.3 磁盘目录

说明	位置
所有安装包	/usr/local/soft/
数据存储位置	/data/fastdfs/

3.1.4 安装libfastcommon

mkdir /usr/local/soft/
cd /usr/local/soft
#下载libfastcommon源码包
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
tar -xf libfastcommon-1.0.7.tar.gz
cd libfastcommon-1.0.7 
#编译安装：
./make.sh && ./make.sh insta11

3.1.5 安装FastDFS

cd /usr/local/soft
#下载fastdfs源码包
wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
cd fastdfs-5.05/
#编译安装
./make.sh && ./make.sh insta11


#供nginx访问使用
cp -r /usr/local/soft/fastdfs-5.05/conf/http.conf /etc/fdfs/
cp -r /usr/local/soft/fastdfs-5.05/conf/mime.types /etc/fdfs/

3.1.6 安装fastdfs-nginx-module

fastdfs-nginx-module下载: https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/

在这里插入图片描述

#下载nginx模块:
tar -xf fastdfs-nginx-module_v1.16.tar.gz
cp  -r /usr/local/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

3.1.7 安装nginx

#下载nginx源码
wget  https://nginx.org/download/nginx-1.16.1.tar.gz
tar -xf nginx-1.16.1.tar.gz
cd nginx-1.16.1/
#预编译添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/soft/fastdfs-nginx-module/src/
#编译安装
make && make install

• 编译时报错如下：

In file included from /usr/local/soft/fastdfs-nginx-module/src//common.c:26:0,
                 from /usr/local/soft/fastdfs-nginx-module/src//ngx_http_fastdfs_module.c:6:
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory
 #include "common_define.h"
                           ^
compilation terminated.

• 解决方法如下：

# 将fastdfs-nginx-module/src/config中CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 去掉local

# 修改如下：
vim /usr/local/soft/fastdfs-nginx-module/src/config
...
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
...

• 继续安装nginx

cd  /usr/local/soft/nginx-1.16.1
#预编译添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/soft/fastdfs-nginx-module/src/
#编译安装
make && make install

3.2. 单机部署

• 服务器IP地址：192.168.2.10

#添加域名方便管理
vim /etc/hosts
192.168.2.10   fastdfs.com

3.2.1. tracker配置

mkdir  -p /data/fastdfs/
cp -r  /etc/fdfs/tracker.conf.sample  /etc/fdfs/tracker.conf
vim  /etc/fdfd/tracker.conf
# 修改如下：
base_path=/data/fastdfs/

• tracker.conf配置文件详解

disabled=false   #标识是否禁用，这里设置为 false 表示启用
bind_addr=     #绑定地址，留空表示绑定所有可用地址   
port=22122   #监听端口号
connect_timeout=30     #连接超时时间，单位为秒
network_timeout=60     #网络超时时间，单位为秒
base_path=/data/fastdfs/    #存储文件的基本路径
max_connections=256       #最大连接数
accept_threads=1      #接受连接的线程数
work_threads=4     #工作线程数
store_lookup=2     #存储查找方式
store_group=group2   #存储组名
store_server=0      #存储服务器编号
store_path=0      #存储路径编号  
download_server=0      #下载服务器编号
reserved_storage_space = 10%    #保留存储空间的百分比
log_level=info    #日志级别，这里设置为 info
run_by_group=      #运行用户组
run_by_user=      #运行用户名
allow_hosts=*     #允许连接的主机，这里设置为全部允许
sync_log_buff_interval = 10    #同步日志缓冲间隔，单位为秒
check_active_interval = 120    #检查活跃状态的间隔时间，单位为秒
thread_stack_size = 64KB    #线程栈大小  
storage_ip_changed_auto_adjust = true       #存储 IP 变化自动调整的开关，这里设置为 true
storage_sync_file_max_delay = 86400   #存储同步文件最大延迟时间，单位为秒
storage_sync_file_max_time = 300   #存储同步文件最大时间，单位为秒
use_trunk_file = false    #是否使用扩展文件
slot_min_size = 256    #槽位最小尺寸
slot_max_size = 16MB   #槽位最大尺寸
trunk_file_size = 64MB   #扩展文件大小
trunk_create_file_advance = false   #是否提前创建扩展文件
trunk_create_file_time_base = 02:00   #扩展文件创建时间的基准，这里设置为凌晨 2 点
trunk_create_file_interval = 86400   #扩展文件创建间隔，单位为秒
trunk_create_file_space_threshold = 20G   #扩展文件空间阈值
trunk_init_check_occupying = false   #初始化检查扩展文件占用情况的开关
trunk_init_reload_from_binlog = false   #是否从 binlog 重载初始化数据
trunk_compress_binlog_min_interval = 0   #扩展文件压缩的最小时间间隔，单位为秒
use_storage_id = false    #是否使用存储 ID
storage_ids_filename = storage_ids.conf    #存储 ID 配置文件名
id_type_in_filename = ip     #文件名中的 ID 类型，这里设置为 IP
store_slave_file_use_link = false   #从节点是否使用链接方式
rotate_error_log = false    #是否轮转错误日志
error_log_rotate_time=00:00    #错误日志轮转时间
rotate_error_log_size = 0     #错误日志轮转大小
log_file_keep_days = 0    #保留日志文件的天数
use_connection_pool = false    #是否使用连接池
connection_pool_max_idle_time = 3600   #连接池最大空闲时间，单位为秒
http.server_port=8080     #HTTP 服务器监听端口号
http.check_alive_interval=30    #检查存活状态的间隔时间，单位为秒
http.check_alive_type=tcp    #检查存活状态的类型，这里设置为 TCP
http.check_alive_uri=/status.html   #检查存活状态的 URI

3.2.2. storage配置

cp -r /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
vim /etc/fdfs/storage.conf
...
port=23000    #storage服务端口，默认23000一般不修改
base_path=/data/fastdfs/  #数据和日志文件存放根目录
store_path0=/data/fastdfs/  #第一存储目录
tracker_server=fastdfs.com:22122  #tracker服务IP和端口号
http.server_port=8888  #http访问文件的端口（默认8888，和nginx保持一致)

# 创建目录
mkdir -p /data/fastdfs/

• 配置文件详解

disabled=false  #标识是否禁用，这里设置为 false 表示启用
group_name=group1  #FastDFS 的分组名称
bind_addr=  #绑定地址，留空表示绑定所有可用地址
client_bind=true  #客户端是否绑定地址的开关，这里设置为 true
port=23000  #监听端口号
connect_timeout=30  #连接超时时间，单位为秒
network_timeout=60  #网络超时时间，单位为秒
heart_beat_interval=30  #心跳间隔时间，单位为秒
stat_report_interval=60  #状态报告间隔时间，单位为秒
base_path=/data/fastdfs/ #存储文件的基本路径
max_connections=256  #最大连接数
buff_size = 256KB  #缓冲区大小
accept_threads=1  #接受连接的线程数
work_threads=4  #工作线程数
disk_rw_separated = true  #磁盘读写是否分离的开关，这里设置为 true
disk_reader_threads = 1  #磁盘读取线程数
disk_writer_threads = 1  #磁盘写入线程数
sync_wait_msec=50  #同步等待时间，单位为毫秒
sync_interval=0  #同步间隔时间，单位为秒
sync_start_time=00:00  #同步开始时间
sync_end_time=23:59  #同步结束时间
write_mark_file_freq=500  #写入标记文件的频率
store_path_count=1  #存储路径个数
store_path0=/data/fastdfs/  #存储路径
subdir_count_per_path=256  #每个存储路径的子目录个数
tracker_server=fastdfs.com:22122  #Tracker 服务器地址
log_level=info  #日志级别，这里设置为 info
run_by_group=  #运行用户组
run_by_user=  #运行用户名
allow_hosts=*  #允许连接的主机，这里设置为全部允许
file_distribute_path_mode=0  #文件分布路径模式
file_distribute_rotate_count=100  #文件分布轮转计数
fsync_after_written_bytes=0  #写入多少字节后执行 fsync
sync_log_buff_interval=10  #同步日志缓冲间隔，单位为秒
sync_binlog_buff_interval=10  #同步二进制日志缓冲间隔，单位为秒
sync_stat_file_interval=300  #同步统计文件间隔，单位为秒
thread_stack_size=512KB  #线程栈大小
upload_priority=10  #上传优先级
if_alias_prefix=  #接口别名前缀
check_file_duplicate=0  #检查文件重复性的开关
file_signature_method=hash  #文件签名方法
key_namespace=FastDFS  #键命名空间
keep_alive=0  #保持连接的时间，单位为秒
use_access_log = false  #是否使用访问日志
rotate_access_log = false  #是否轮转访问日志
access_log_rotate_time=00:00  #访问日志轮转时间
rotate_error_log = false  #是否轮转错误日志
error_log_rotate_time=00:00  #错误日志轮转时间
rotate_access_log_size = 0  #访问日志轮转大小
rotate_error_log_size = 0  #错误日志轮转大小
log_file_keep_days = 0  #保留日志文件的天数
file_sync_skip_invalid_record=false  #是否跳过无效记录进行文件同步的开关
use_connection_pool = false  #是否使用连接池
connection_pool_max_idle_time = 3600  #连接池最大空闲时间，单位为秒
http.domain_name=  #HTTP 服务器的域名
http.server_port=8888  #HTTP 服务器监听端口号

3.2.3. 启动服务

#启动tracker服务：
/usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf
#启动storage服务：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf
# 重启storage服务：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart 

3.2.4. client测试

cp -r /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
...
base_path=/data/fastdfs  #存储文件路径
tracker_server=fastdfs.com:22122  #指定tracker服务IP地址和端口号
...

#测试上传图片,下载一张图片上传至/root/下
ls
anaconda-ks.cfg  pcindex_small.png

#上传图片：
fdfs_upload_file /etc/fdfs/client.conf  /root/pcindex_small.png
group1/M00/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png    --这是存放图片的路径

#查看一下图片：
ls /data/fastdfs/data/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png
/data/fastdfs/data/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png

#删除图片：
fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgCCmUQWBeAOIRdAAAYqekVITI126.png

#查看图片是否存在：
ls /data/fastdfs/data/00/00/

3.2.5. 配置nginx访问

#修改mod_fastdfs.conf
vim /etc/fdfs/mod_fastdfs.conf

tracker_server=fastdfs.com:22122   #Tracker 服务器的地址和端口号
url_have_group_name = true    #URL 是否包含分组名称的开关，设置为 true 表示 URL 包含分组名称
store_path0=/data/fastdfs   #存储路径的配置。FastDFS 是一个分布式文件系统，数据会保存在多个存储路径中。store_path0 表示第一个存储路径，/data/fastdfs 是具体的路径。可以根据实际情况配置多个存储路径，每个存储路径使用不同的 store_pathX 配置项，例如 store_path1=/path/to/another/store

#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
...
server {
        listen       8888;  #该端口为storage.conf中的http.server_port相同
        server_name  localhost;
        location  ~/group[0-9]/  {
            ngx_fastdfs_module;
        }
#启动nginx
/usr/local/nginx/sbin/nginx
#重启nginx
/usr/local/nginx/sbin/nginx  -s reload
#停止nginx
/usr/local/nginx/sbin/nginx  -s  stop

3.2.6. 测试

#上传一张图片
fdfs_upload_file /etc/fdfs/client.conf  /root/pcindex_small.png
group1/M00/00/00/wKgCCmUQYGmAC88HAAAYqekVITI560.png

# 打开浏览器访问：http://192.168.2.10:8888/group1/M00/00/00/wKgCCmUQYGmAC88HAAAYqekVITI560.png

3.3. 集群部署

• 集群IP地址：192.168.2.10，192.168.2.20，192.168.2.30

3.3.1. 修改hosts内容和主机名

• 注意每台服务器都需要修改如下：

vim /etc/hosts
192.168.2.10   fastdfs.com
192.168.2.20   fastdfs2.com
192.168.2.30   fastdfs3.com

# 在每台服务器执行如下命令修改主机名，注意不同服务器的网卡不同需要根据现场情况修改：
hostname `cat /etc/hosts|grep $(ifconfig ens33|grep broadcast|awk '{print $2}')|awk '{print $2}'`;su

• 每台部署Fastdfs，这里就不重新写了，具体怎么部署可以看上面的内容

3.3.2. tracker配置

• 每台都需要配置

vim /etc/fdfs/tracker.conf
# 需要修改的内容如下
port=22122                # tracker服务器端口（默认22122,一般不修改）
base_path=/data/fastdfs   # 存储日志和数据的根目录

3.3.3. storage配置

• 每台都需要配置

vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000                              # storage服务端口（默认23000,一般不修改）
base_path=/data/fastdfs                 # 数据和日志文件存储根目录
store_path0=/data/fastdfs               # 第一个存储目录
tracker_server=fastdfs.com:22122        # 服务器1
tracker_server=fastdfs2.com:22122       # 服务器2
tracker_server=fastdfs3.com:22122       # 服务器3
http.server_port=8888                   # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

3.3.4. 启动服务

#启动tracker服务：
/usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf
#启动storage服务：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

3.3.5. client 测试

• 在任意一台都可以测试：

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/data/fastdfs
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3

# 下载一张图片上传至/root/下
[root@fastdfs ~]# ls
28e70ebf91667f0c9b04be96bc730c49.jpeg  anaconda-ks.cfg  pcindex_small.png

#上传图片
fdfs_upload_file /etc/fdfs/client.conf  /root/28e70ebf91667f0c9b04be96bc730c49.jpeg
group1/M00/00/00/wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

#任意一台验证：
ls /data/fastdfs/data/00/00/
wKgCCmUQYGmAC88HAAAYqekVITI560.png  wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

3.3.6. 配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=fastdfs.com:22122 # 服务器1
tracker_server=fastdfs2.com:22122 # 服务器2
tracker_server=fastdfs3.com:22122 # 服务器3
url_have_group_name=true
store_path0=/data/fastdfs

#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
   listen 8888; ## 该端口为storage.conf中的http.server_port相同
   server_name localhost;
   location ~/group[0-9]/ {
       ngx_fastdfs_module;
    }
   error_page 500 502 503 504 /50x.html;
   location = /50x.html {
   root html;
   }
}

#启动nginx
/usr/local/nginx/sbin/nginx -s reload
ngx_http_fastdfs_set pid=25197

3.3.6. 测试刚才上传的图片

• 打开浏览器访问：http://192.168.2.10:8888/group1/M00/00/00/wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

3.3.7. 检测集群

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息

local/nginx/conf/nginx.conf
#添加如下配置
server {
listen 8888; ## 该端口为storage.conf中的http.server_port相同
server_name localhost;
location ~/group[0-9]/ {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}

#启动nginx
/usr/local/nginx/sbin/nginx -s reload
ngx_http_fastdfs_set pid=25197

#### 3.3.6. 测试刚才上传的图片

- 打开浏览器访问：http://192.168.2.10:8888/group1/M00/00/00/wKgCCmUWboKAJ2IPAAEnsjF1S3g58.jpeg

#### 3.3.7. 检测集群

```bash
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息