一:实验描述:
fastdfs 介绍
FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。
存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key value pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta data是文件属性列表,可以包含多个键值对。
FastDFS系统结构如下图所示:
跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。
为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。
在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。
FastDFS file upload
上传文件交互过程:
1. client询问tracker上传到的storage,不需要附加参数;
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件上传。
FastDFS file download
下载文件交互过程:
1. client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件下载。
需要说明的是,client为使用FastDFS服务的调用方,client也应该是一台服务器,它对tracker和storage的调用均为服务器间的调用。
二:实验要求:
需要完成系统安装过程,并分析客户端(client)、跟踪器(tracker)和存储节点(storage)工作机制。学有余力的同学实现客户端界面及api调用。
三:实验环境
ubuntu64
四:实验内容以及步骤:
1.安装FastDFS5.08。FastDFS4.x之前的版本是依赖libevent。现在不需要了。只需要libfastcommon。并且设置环境变量或创建软连接。(以前的版本我试过,有的安装不成功,这个是我安装成功的,所以推荐大家用这个,可以少走很多弯路;利用网上的教程安装这个我安装了很多天,但是都失败了,网上的资料都不是很详细,很容易误导人)
(1)安装libfastcommon:
git clone https://github.com/happyfish100/libfastcommon.git
cd libfastcommon/
./make.sh
./make.sh install
2.下载FastDFS后解压到主文件夹然后安装
tar zxvf FastDFS_v5.08.tar.gz
./make.sh
./make.sh install
3.修改/etc/fdfs下的三个配置文件
首先将三个文件的名字去掉sample(怎么去掉:可以用mv trackerd.conf.sample trackerd.conf)
暂时只修改以下几点,先让fastdfs跑起来,其余参数调优的时候再考虑。
(1)tracker.conf不用修改任何东西
(2)storage.conf中修改:
tracker_server=192.168.29.132:22122 #指定tracker服务器地址(是你Ubuntu的ip地址)
(3)client.conf中同样要修改:
tracker_server=192.168.29.132:22122 #指定tracker服务器地址(是你Ubuntu的ip地址)
4.启动tracker和storage
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf
注意:启动的时候会提示没有/home/yuqing/fdfs,没有权限,这是因为你没有创建这个文件;你需要创建这个文件才行
5.可以通过进程检查是否启动成功
ps -ef |grep fdfs
6.上传测试:
使用自带的fdfs_test来测试,使用命令如下:/usr/bin/fdfs_test /etc/fdfs/client.conf upload /etc/passwd(这里后面的/etc/passwd是你想上传文件的路径)
7、测试下载文件
在浏览器中,输入上图中的url地址, tracker server会自动重定向到存储文件的storage server,文件下载成功。至此,已经成功搭建了FastDFS,编写你自己的client来进行访问吧
参考的博客:
http://www.vicenteforever.com/2012/04/ubuntu-fastdfs/
http://www.mhzg.net/a/20157/201572211450960.html