http://www.wingdevops.com/?p=603

流行的开源分布式文件系统有很多,FastDFS 是国人在mogileFS的基础上进行改进的key-value型文件系统，不支持FUSE，提供比mogileFS更好的性能。即可以这样理解：FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

作者：

淘宝余庆(happy fish)大神

应用场景：

适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务

如：1.超大数量存储；

      2.数据高可用（冗余备份）；

      3.读/写高性能；

     4.海量数据计算。最好还得支持多平台多语言，支持高并发

5.支持http下载

相关资料：

FastDFS百度百科:http://baike.baidu.com/view/2466025.htm

FastDFS官方论坛:http://bbs.chinaunix.net/forum-240-1.html

FastDFS下载:http://sourceforge.net/projects/fastdfs/files/

http://code.google.com/p/fastdfs/downloads/list ，

具连接池的java客户端

https://github.com/baoming/FastdfsClient

https://github.com/mikesu/FastdfsClient

应用案例：

方案示意图：

FastDFS方案详细讲解:

tracker1,CentOS6.3(x64) :192.168.0.10

tracker2,CentOS6.3(x64) :192.168.0.11

group1, CentOS6.3(x64); storager1:192.168.0.20   storager2:192.168.0.21  (预留IP192.168.0.22成熟的存储方案是三份)

group2, CentOS6.3(x64); storager1:192.168.0.23   storager2:192.168.0.24  (预留IP192.168.0.25成熟的存储方案是三份)

group3, CentOS6.3(x64); storager1:192.168.0.26   storager2:192.168.0.27  (预留IP192.168.0.28成熟的存储方案是三份)

下载FastDFS

http://sourceforge.net/projects/fastdfs/files/
FastDFS_v5.01.tar.gz
fastdfs-nginx-module_v1.16.tar.gz

安装步骤

最新版5.0.1,所有服务器的fastdfs安装基本一样

下载
http://sourceforge.net/projects/fastdfs/files/
FastDFS_v5.01.tar.gz
fastdfs-nginx-module_v1.16.tar.gz

（一）安装tracker
tar zxvf FastDFS_v5.01.tar.gz
cd FastDFS
./make.sh
./make.sh install
安装完成后，所有可执行文件在/usr/local/bin下，以fdfs开头
所有配置文件在/etc/fdfs下

vim /etc/fdfs/tracker.conf
一般只需改动以下几个参数即可：
disabled=false            #启用配置文件
port=22122                #设置tracker的端口号
base_path=/fdfs/tracker   #设置tracker的数据文件和日志目录（需预先创建）
http.server_port=8080     #设置http端口号

mkdir -p /fdfs/tracker
cp init.d/fdfs_trackerd /etc/init.d/
chmod 755 /etc/init.d/fdfs_trackerd
chkconfig --add fdfs_trackerd
chkconfig fdfs_trackerd --level 35 on
/etc/init.d/fdfs_trackerd start

（二）安装storage
tar zxvf FastDFS_v5.01.tar.gz
cd FastDFS
./make.sh
./make.sh install
安装完成后，所有可执行文件在/usr/local/bin下，以fdfs开头
所有配置文件在/etc/fdfs下

vim /etc/fdfs/storage.conf
一般只需改动以下几个参数即可：
disabled=false                    #启用配置文件
group_name=group1                 #组名，根据实际情况修改
port=23000                        #设置storage的端口号
base_path=/fdfs/storage           #设置storage的日志目录（需预先创建）
store_path_count=1                #存储路径个数，需要和store_path个数匹配
store_path0=/data0                #存储路径
tracker_server=10.2.3.154:22122 #tracker服务器的IP地址和端口号
http.server_port=8080     #设置http端口号

mkdir -p /fdfs/storage
mkdir -p /data0  #一般还要挂载一个磁盘分区
cp init.d/fdfs_storaged /etc/init.d/
chmod 755 /etc/init.d/fdfs_storaged
chkconfig --add fdfs_storaged
chkconfig fdfs_storaged --level 35 on
/etc/init.d/fdfs_storaged start

运行fdfs_monitor查看storage服务器是否已经登记到tracker服务器

/usr/local/bin/fdfs_monitor /etc/fdfs/client.conf

（三）storage上安装nginx
注意：
编译的时候增加如下参数
--add-module=/usr/local/src/fastdfs-nginx-module/src \
解压缩该软件包
tar zxvf fastdfs-nginx-module_v1.16.tar.gz

nginx安装过程
http://blog.sina.com.cn/s/blog_4e37be480102v05m.html

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

cd /usr/local/nginx/conf/vhosts
vim fdfs.conf
server {
       listen  8080;
       location ~/group[1-3]/M00 {
               root
/fdfs/storage/data/M00;
               ngx_fastdfs_module;
       }
}

vim /etc/fdfs/mod_fastdfs.conf
一般只需改动以下几个参数即可：
base_path=/fdfs/storage           #保存日志目录
tracker_server=10.2.3.154:22122 #tracker服务器的IP地址以及端口号
storage_server_port=23000        
#storage服务器的端口号
group_name=group1                 #当前服务器的group名
url_have_group_name = true        #文件url中是否有group名
store_path_count=1                #存储路径个数，需要和store_path个数匹配
store_path0=/data0                #存储路径
http.need_find_content_type=true  #从文件扩展名查找文件类型（nginx时为true）
group_count = 1                   #设置组的个数
在末尾增加1个组的具体信息：
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data0

建立M00至存储目录的符号连接
ln -s /data0/data /fdfs/storage/data/M00

启动nginx
/usr/local/nginx/sbin/nginx

（四）上传测试
vim /etc/fdfs/client.conf
修改以下参数：
base_path=/fdfs/tracker                   
#日志存放路径
tracker_server=10.2.3.154:22122         
#tracker服务器IP地址和端口号
http.tracker_server_port=8080             
#tracker服务器的http端口号

执行:
/usr/local/bin/fdfs_upload_file
/etc/fdfs/client.conf /root/aa.txt

使用浏览器访问
http://10.2.3.155:8080/group1/M00/00/00/CgIDm1O7zbiABgeHAAAADMRHqIs525.txt

（五）tracker或者使用单独的服务器上安装nginx作为缓存
nginx安装过程
http://blog.sina.com.cn/s/blog_4e37be480102v05m.html

cd /usr/local/nginx/conf/vhosts
具体缓存的一些参数优化参数这边因时间关系先不写出，仅仅实现反向代理的功能
vim image.conf
upstream fdfs_group1 {
       server 10.2.3.155:8080 weight=1
max_fails=2 fail_timeout=30s;
       server 10.2.3.156:8080 weight=1
max_fails=2 fail_timeout=30s;
}

server {
       listen  80;  
       location /group1/M00 {
               proxy_pass
http://fdfs_group1;
       }
}

启动nginx
/usr/local/nginx/sbin/nginx

（六）php使用fastdfs上传文件
cd /usr/local/src/FastDFS/php_client

/usr/bin/phpize
./configure --with-php-config=/usr/bin/php-config
make
make install
mkdir -p /etc/fdfs
cd /etc/fdfs
vim client.conf
base_path=/fdfs/tracker                   
#日志存放路径
tracker_server=10.2.3.154:22122         
#tracker服务器IP地址和端口号
http.tracker_server_port=8080             
#tracker服务器的http端口号

cp fastdfs_client.ini /etc/php.d
/etc/init.d/php-fpm restart

php测试代码
       $fdfs = new FastDFS();
      
$fdfs->connect_server("10.2.3.154",22122);
       $file_info =
$fdfs->storage_upload_by_filename("/root/a.txt");
       print_r($file_info);

 

============================================================================

有了上面的理解及实践，你可以继续从另一个方面理解

安装说明二：

tar zxvf fastdfs5.0.1.tar.gz

cd fastdfs5.0.1

sh -x make.sh     ###fastdfs5.0版本后不再依赖libevent库

sh -x make.sh install

一:Tracker服务器相关配置

1.安装tracker服务器需要提供上传,更新,删除操作的php,nginx,安装php,nginx请自行查找安装方法,本文不再赘述

安装fastdfs-php扩展

cd ./fastdfs5.0.1/php_client

phpize
./configure
make
make install

安装完毕

vim fastdfs_client.ini

只需注意一项fastdfs_client.tracker_group0 = /etc/fdfs/client.conf 看下配置文件位置是否正确

一般默认配置是没有问题的

cat fastdfs_client.ini >> /usr/local/php/etc/php.ini   ####把配置文件写入到php.ini

重启/etc/init.d/php-fpm restart

测试扩展安装是否成功 php fastdfs_test.php 或phpinfo查看fastdfs_client扩展信息

若安装没有成功最可能出现fastdfs_client.ini 文件配置不正确,请检查

2.tracker服务器配置文件/etc/fdfs/tracker.conf,可相关详解http://bbs.chinaunix.net/thread-1941456-1-1.html

vim /etc/fdfs/tracker.conf

base_path=/home/yuqing/fastdfs ###tracker状态与log日志存储目录

其它保持默认即可

至此tracker服务器安装完毕,PHP的fastdfs的API使用,可查询相关资料,也可研究上面的 fastdfs_test.php测试页面

启动fastdfs tracker端

/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf

写入系统服务,开机自动启动

echo "/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf" >> /etc/rc.local

二:Storage服务器相关配置

修改storage配置文件

vim /etc/fdfs/storage.conf

base_path=/home/yuqing/fastdfs  ###数据与log日志存储目录路径,可自行修改

store_path_count=1  ##存储目录数目,默认是1,如果想做raid可改为2,下面设置增加store_path1的配置

store_path0=/home/yuqing/fastdfs  ###数据存储目录路径,可自行修改,若不填以base_path的值为默认存储目录

重点配置,两台tracker服务器的,tracker服务器的端口要打开,否则连接不成功,会造成storage启动一直卡住

tracker_server=192.168.0.10:22122

tracker_server=192.168.0.11:22122

其它配置保持默认即可

启动fastdfs storage端

/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf

写入系统服务,开机自动启动

echo "/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf" >> /etc/rc.local

fastdfs-nginx扩展安装有两方式,

一是在编译安装nginx时以添加模块方式安装,如:

./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-ipv6

--add-module=/home/soft/fastdfs-nginx-module/src

二是先安装nginx再安装扩展库

cd /home/soft/fastdfs-nginx-module/src

./configure --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-ipv6

--add-module=/home/yuqing/fastdfs-nginx-module/src  
####注意一定要加上之前编译安装nginx的扩展参数,否则,之前的会没有了,造成nginx提示模块不存在

make && make install

fastdfs-nginx安装完毕

复制配置文件

cp mod_fastdfs.conf  /etc/fdfs/

vim /etc/fdfs/mod_fastdfs.conf

重点配置

group_name=group1   ####组名一定要和当前storage所属的组名一样

store_path_count=1   ###存储数目一定要和当前storage配置一样

store_path0=/home/yuqing/fastdfs   //存储路径一定要和当前storage配置一样

其它保持默认即可

配置nginx模块

location /M00 {
            root /home/yuqing/fastdfs/data;
            ngx_fastdfs_module;
        }

重启nginx

/etc/init.d/nginx restart ####nginx启动重启停止脚本,自行编写

若重启不成功检查相关配置文件是否有误

storage配置完毕

三:相关测试

回到tracker服务器上

vim /etc/fdfs/client.conf

重点配置文件,若这里配置有误,将影响FastDFS的PHP扩展,以及PHP API的使用

base_path=/home/yuqing/fastdfs  ###和tracker.conf的目录路径保持一致

tracker_server=192.168.0.10:22122   ####和storage服务器的storage.conf保持一致

tracker_server=192.168.0.11:22122

测试

上传文件：/usr/local/bin/fdfs_upload_file  /etc/fdfs/client.conf /etc/rc/local

返回上传后生成的文件名,如:group1/MOO/00/00/test_1922
下载文件：/usr/local/bin/fdfs_download_file/etc/fdfs/client.confgroup1/MOO/00/00/test_1922
删除文件：/usr/local/bin/fdfs_delete_file/etc/fdfs/client.confgroup1/MOO/00/00/test_1922

也可使用 /usr/local/bin/fdfs_test /etc/fdfs/client.conf upload /etc/rc.local  ##上传文件会显示更加详细的上传后返回的信息,包括上传分配的组和stroage信息

其它相关技术信息

两台tracker向外提供上传更新删除等操作

利用表单form直接提交到tracker服务器中的php页面,上传更新删除等操作成功后返回相关信息

可分担前端网站的压力,以端对端形式上传文件,更省资源,更省时间

三组storage服务器直接向外提供http服务,上传后返回的组信息可存入数据库中

如图片链接:http://pic1.test.com/MOO/00/00/test.jpg

域名解析方案如:

pic1.test.com 指向group1组的外网IP

pic2.test.com 指向group2组的外网IP

pic3.test.com 指向group3组的外网IP

大型网站文件存储都是采用定向存储,定向链接.定向访问的方式达到分布式CDN

fdfs_monitor 使用:

/usr/local/bin/fdfs_monitor /etc/fdfs/client.conf delete group1 192.168.0.21   ###手动删除storage服务器

/usr/local/bin/fdfs_monitor /etc/fdfs/client.conf    ###查看tracker服务器状态信息