JuiceFS框架介绍和读写流程解析

1.基本组件介绍

JuiceFS框架介绍和读写流程解析

  

JuiceFS Client:支持多种Client端的接口,比如兼容POSIX文件系统的接口,以此你可以将它挂载到系统上当文件系统使用,且可以为k8s提供存储使用,用ks8s的csi driver进行接入。同时也支持S3协议,开发了对应的S3网关进行支持;

Data Storage:对象存储服务,用以存储具体数据的,可以类比文件系统里的block数据保存,支持多种后端存储;

Metadata Engine:元数据服务,用以存储文件元数据信息的,比如文件名、目录信息、文件inode等信息,可以类比文件系统里的inode数据管理,支持多种元数据存储;

 

2.快速部署

我们使用docker部署一个minio作为对象存储服务,用docker部署一个redis作为元数据服务。

git下载juicefs代码并进行编译生成juicefs二进制可执行文件:

git clone https://github.com/juicedata/juicefs.git

cd juicefs && make

 

安装docker和下载redis和minio/minio镜像。

 

部署元数据服务和对象存储服务:

sudo docker run -d --name redis -v /data/redis-data:/data -p 6379:6379 --restart unless-stopped redis redis-server --appendonly yes
sudo docker run -d --name minio -v /data/minio-data:/data -p 9000:9000 --restart unless-stopped minio/minio server /data

 

进行format和挂载:

mkdir /data/ussfs

./juicefs format --storage minio --bucket http://127.0.0.1:9000/test123 --access-key minioadmin --secret-key minioadmin redis://127.0.0.1:6379/10 test123
./juicefs mount -d redis://127.0.0.1:6379/10 /data/ussfs

 

3.挂载过程分析

format过程:

format的作用是将一些元数据信息先注册好,在mount时进行获取作为配置参数,比如对象存储的相关信息,bucket的相关信息等。

JuiceFS框架介绍和读写流程解析

 

流程说明:

(1)接收客户端执行的命令,如果是mount的命令,则进入mount逻辑;

(2)通过format给定的url来判断是哪种元数据服务,并初始化元数据服务对象;

(3)构建format结构体对象,结构体里包含对象存储服务信息,block size等信息;

(4)根据format的信息初始化对象存储服务并测试对象存储服务是否可增删改操作,确保对象存储服务可用;

(5)持久化format信息,在redis为元数据服务时,即是将格式化后的format数据保存到redis的setting这个key中;

(6)创建inode号为1的第一个文件,文件类型为目录,作为后续创建文件的父目录,并持久化到元数据中。

 

mount过程:

mount就是将自定义的文件系统挂载到指定目录下,可供符合POSIX的接口进行调用,由mount中开启的server服务进行文件操作请求接收并处理。

JuiceFS框架介绍和读写流程解析

  

流程说明:

(1)获取mount中的命令行参数,获取到元数据信息url;

(2)创建元数据服务连接实例,从元数据服务中获取之前保存的format信息;

(3)根据format信息创建对象存储服务连接实例storage,创建store对象,store对象是对对象存储数据进行管理,store对象属性里包含了storage对象和对cache的管理;

(4)初始化vfs对象,vfs是一层虚拟文件系统对象,它包含了对meta和storage的管理,创建了读写对象和文件句柄管理;

(5)如果命令行参数中是有用-d指定了mount进程后台运行,则调用makeDaemon函数将fork出一个进程作为daemon进程后台运行;

(6)通过读取挂载目录文件属性来检查挂载目录是否可进行挂载;

(7)创建本次挂载session,生成session信息保存到元数据服务中;

(8)创建自定义的文件系统类型,通过用户态fuse(用户空间实现文件系统)库来进行实现,启动服务来接收fuse的请求信息并封装成request,解析request找到对应的处理函数进行处理并返回。

 

启动的server接收fuse请求大致流程图:

JuiceFS框架介绍和读写流程解析

 

4.元数据保存key含义解析

主要介绍在redis为元数据服务时,保存的各个key的含义,方便下面讲解读写流程。

这里我们先列出redis中保存的所有key:

JuiceFS框架介绍和读写流程解析

 

可以看到,大概分成好几种key,有i开头的,有d开头的,有c开头的,还有其它的一些固定字符串的key。

setting:保存的format信息的key,对应的结构体:

type Format struct {
    Name        string
    UUID        string
    Storage     string
    Bucket      string
    AccessKey   string
    SecretKey   string `json:",omitempty"`
    BlockSize   int
    Compression string
    Shards      int
    Partitions  int
    Capacity    uint64
    Inodes      uint64
    EncryptKey  string `json:",omitempty"`
}

 

i1:表示记录的inode号为1的文件的属性信息,同理i2为inode号为2的文件属性key,保存的值对应的结构体为:

// Attr represents attributes of a node.
type Attr struct {
    Flags     uint8  // reserved flags
    Typ       uint8  // type of a node
    Mode      uint16 // permission mode
    Uid       uint32 // owner id
    Gid       uint32 // group id of owner
    Atime     int64  // last access time
    Mtime     int64  // last modified time
    Ctime     int64  // last change time for meta
    Atimensec uint32 // nanosecond part of atime
    Mtimensec uint32 // nanosecond part of mtime
    Ctimensec uint32 // nanosecond part of ctime
    Nlink     uint32 // number of links (sub-directories or hardlinks)
    Length    uint64 // length of regular file
    Rdev      uint32 // device number
 
    Parent    Ino  // inode of parent, only for Directory
    Full      bool // the attributes are completed or not
    KeepCache bool // whether to keep the cached page or not
}

 

d1:当文件为目录类型时,就会对应一个d开头的key,1表示该文件夹是inode号为1的,它是一个hash类型的键,它的每个field key是文件名字,field key对应的值是文件类型和对应的inode号,field key的值保存着文件类型和文件inode号。这样的话就可以方便的找到某个目录下的某个文件名的inode号及该文件的类型,同理d3就是inode号为3的文件夹记录着它文件夹下的文件元信息。

 

c14_0:c表示chunk的意思,我们先来看下这个数据结构图

JuiceFS框架介绍和读写流程解析

 

可以看到一个文件数据会被拆分成chunk来进行保存的,如果是大文件,那么会被按指定大小拆分成多个chunk,这个c14的14就表示这个chunk是归属于inode14这个文件的,c14_0的0则表示是第一个chunk,该key是列表类型的键,它的每个元素是一个slice,slice不是固定大小的,slice会根据block size大小拆分成多个block进行存储,比如block size是4M,如果slice是6M,则拆分成2个block来进行存储,计算出对应的两个key把键值往对象存储服务中存储。比如生成35_0_16384和35_1_8192,35是表示这个slice的id(Slice结构体中的Chunkid字段),0和1表示两个block,16384和8192分别表示block的大小,分别为4M和2M。

chunk的结构体:是slices列表的数据结构,[]meta.Slice

Slice结构体:

// Slice is a slice of a chunk.
// Multiple slices could be combined together as a chunk.
type Slice struct {
    Chunkid uint64
    Size    uint32
    Off     uint32
    Len     uint32
}

 

nextinode:它是一个自增的key,作用是分配新的inode;

nextchunk:它也是自增的,用来分配给slice的chunkid的;

nextsession:它也是自增的,用来给session结构体分配session id的。

totalInodes和usedSpace是记录当前一共有多少个inode和当前空间已使用量的。

 

5.读写文件过程分析

5.1.创建文件夹

创建文件夹命令示例:mkdir /data/ussfs/testdir

流程图:

JuiceFS框架介绍和读写流程解析

 

流程说明:

(1)先获取根文件属性信息,然后通过文件路径和文件名获取指定文件属性,获取的方式就是一层层获取,比如/a/b/c,先是在a目录下找b,然后在b目录下找c,这是通过调用doLookup函数来查询获取;

(2)如果要创建的文件夹不存在则进行创建,创建调用doMkdir函数进行创建,该函数又调用mknode函数来创建文件信息(文件夹也是一个文件);

(3)从元数据服务器中获取一个新的inode号,如果是redis元数据服务,则是由一个自增的nextinode来保存当前分配的inode号;

(4)设置新文件的文件属性信息,比如权限、创建时间等信息;

(5)向父目录中添加该新文件,当redis为元数据服务时,则是向d开头的key里比如d1里添加一条该新文件信息;

(6)更新父目录文件属性信息、新文件属性信息和文件系统的一些总体使用信息。

 

创建文件跟创建文件夹类似,先调用的doCreate,然后也会调用mknode来生成inode和保存文件属性信息。

 

5.2.写入数据到文件

写入文件命令示例:echo "123456789" > /data/ussfs/testdir/testfile

流程图:

JuiceFS框架介绍和读写流程解析

 

流程说明:

(1)跟先前类似,先通过文件路径找到该文件,获取该文件属性信息,如果文件不存在先创建文件;

(2)调用doopen函数打开文件,主要是初始化文件handle,创建文件读写对象,返回文件描述符;

(3)调用dowrite,传入偏移位置和写入数据,通过偏移位置计算出要写入到第几个chunk中去,如果是跨chunk(一个chunk默认64M),则先写入一部分数据到一个chunk,然后再写剩下的数据到下一个chunk;

(4)在一个chunk中查找合适的slice进行写入,比如改变的数据是在中间部分的,那其实只要更新那一个slice数据即可,其它slice可以不变更,我们目前这场景是找不到一个合适的slice,它会创建一个slice,然后通过该slice进行数据上传;

(5)通过偏移量进行block的计算,每个block会生成对应的key,然后调用对象存储的put方法进行key value的上传来存储数据;

(6)保存slice元信息到元数据服务中。

 

5.3.读取文件数据

读取文件命令示例:cat /data/ussfs/testdir/testfile

流程图:

JuiceFS框架介绍和读写流程解析

 

流程说明:

(1)跟先前类似,先通过文件路径找到该文件,获取该文件属性信息,如果文件不存在先创建文件;

(2)调用doopen函数打开文件,主要是初始化文件handle,创建文件读写对象,返回文件描述符;

(3)分配存储数据的page数据结构,从元数据服务获取所有slice列表;

(4)遍历每个slice,取出slice对应的所有block信息保存到page对象中;

(5)如果block有缓存则直接从缓冲中获取,否则从对象存储中重新获取,并进行缓存。

 

上一篇:如何利用 JuiceFS 的性能工具做文件系统分析和调优


下一篇:如何借助 JuiceFS 为 AI 模型训练提速 7 倍