FastDFS分布式的文件系统从小白入门到企业实践打怪之路系列笔记【运维实践】

2024-01-03 13:08:52

FastDFS分布式的文件系统从小白入门到企业实践打怪之路系列笔记【运维实践】

0.前言
Q: 传统的文件系统面临的问题与挑战?
描述: 在传统WEB应用中，前端、后端、以及其它API服务部署在同一台服务器，所有文件都作为静态资源访问，随着业务量的不断增长，久而久之，图片和文件等资源占用的空间变得越来越大。

随之带来了各种性能、管理与安全风险等问题，如下所示：

若文件直接置于应用服务器中，难以管理；

昂贵的磁盘空间、高性能服务器大大增加了运维成本；

易发生单点故障；

传统FTP上传文件，存在诸多安全隐患（用户名和口令的明文传输等）；

无法保证文件的机密性，某些敏感文件如身份证照片等以明文存储，文件的授权访问不易控制；

安全没有保障，文件上传、下载、删除、查看依赖于各个业务系统的实现，一个上传功能可能出现“修不完的漏洞”；

Q: 什么是分布式文件系统？
描述: 分布式文件系统（Distributed File System, DFS）是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。客户端并非直接访问底层的数据存储区块，而是通过网络以特定的通信协议与服务器通信，借通信协议来限制客户端对于文件系统的访问。分布式文件存储利用多台存储服务器分担存储压力，利用跟踪服务器定位存储信息，不但提高了系统可靠性、可用性以及读写效率，而且方便水平扩展。分布式文件存储可采用多副本备份机制，分布式存储对数据进行了分片，分片后的数据按照一定规则保存在集群节点上。即使单个集群节点机器发生故障也能保证数据不会丢失，最小化对业务的影响。

Tips: 既然传统的文件存储方式存在这么多弊端，那么新的分布式文件系统需要满足哪些需求呢？作者：

我在B站学习运维之FastDFS分布式的文件存储系统快速入门介绍(1):

https://www.bilibili.com/read/cv13945905

0x00 基础介绍

    0.前言

    1.简介

    2.特性

    3.架构

        Tracker Server

        Storage Server

        Client

    4.存储策略

    5.过程剖析

        文件上传 - Upload

        文件下载 - Download

        文件访问 - HTTP

        文件同步 - Sync

    6.功能比对

    7.参考来源

我在B站学习运维之FastDFS分布式的文件存储系统快速单机部署与主从部署(2):

https://www.bilibili.com/read/cv13946146

本章目录：

0x01 FastDFS 安装使用

    1.Linux 安装

        1.1) CentOS 单机部署 FastDFS

        1.2) Ubuntu 主从部署 FastDFS

    2.Docker 安装

        官方仓库fastDFS相关镜像

        自定义FastDFS基础镜像

我在B站学习运维之FastDFS分布式的文件存储系统进阶使用配置(3):

https://www.bilibili.com/read/cv13946270

本章目录：

    0x00 进阶使用

        1.FastDFS 重复文件处理

        2.FastDFS 原始文件名恢复

        3.FastDFS 资源防盗链功能

        4.FastDFS 从文件的使用技巧

我在B站学习运维之FastDFS分布式的文件存储系统容灾恢复及入坑出坑(4):

https://www.bilibili.com/read/cv13946433

本章目录:


    0x01 容灾恢复

        1.主从同步异常恢复测试

        2.集群数据整体迁移(思路)

    0x02 测试优化

        3.1 测试工具

        3.2 优化参数

    0x0n 入坑&出坑

我在B站学习运维之FastDFS分布式的文件存储系统进阶使用使用实践之API(5):

https://www.bilibili.com/read/cv13946557

本章目录:

    0x00 FastDFS API 使用实践

        Java

        Python

    0x01 FastDFS 基础命令与配置

        1.FastDFS 客户端命令浅析

        2.FastDFS 服务端配置浅析

至此本系列完毕！

欢迎各位志同道合的朋友一起学习交流，如文章有误请在下方留下您宝贵的经验知识，个人邮箱地址【master#weiyigeek.top】

更多文章来源: https://weiyigeek.top 【WeiyiGeek Blog - 为了能到远方，脚下的每一步都不能少】

如果你觉得这个专栏还不错的，请给这篇专栏点个赞、投个币、收个藏、关个注，转个发，这将对我有很大帮助。

码农公寓