S3存储服务间数据同步工具Rclone介绍

文章目录


前言

目前大多项目我们都会使用各种存储服务,例如oss、cos、minio等。当然,因各种原因,可能需要在不同存储服务间进行数据迁移工作,所以今天就给大家介绍一个比较通用的数据迁移工具Rclone。


提示:以下是本篇文章正文内容,下面案例可供参考

一、Rclone是什么?

Rclone是一个命令行程序,用于管理云存储上的文件。它是云供应商Web存储界面的功能丰富的替代方案。超过40种云存储产品支持rclone,包括S3对象存储,业务和消费者文件存储服务以及标准传输协议。详细推荐直接官网学习:英文官网中文网站

二、Rclone能做什么?

  • 备份(和加密)文件到云存储。
  • 从云存储还原(和解密)文件。
  • 将云数据镜像到其他云服务或本地。
  • 将数据迁移到云,或在云存储供应商之间迁移。
  • 将多个加密的,缓存的或多样化的云存储作为磁盘挂载。

三、使用步骤

1.安装Rclone

curl https://rclone.org/install.sh | sudo bash

2.生成配置文件

配置可以随便选择,选择完成后重新修改就好了,文章后面会有修改方法。
rclone config

3、查看生成的配置文件

在路径/root/.config/rclone/rclone.conf(rclone.conf为配置文件生成时配置的名称)

cd /root/.config/rclone

4、修改配置文件

    vi /root/.config/rclone/rclone.conf

修改配置如下,请根据自己服务配置修改部分参数


	[minio-biosan] 名称随便
	type = s3  
	provider = Minio
	env_auth = false
	access_key_id = minioadmin  
	secret_access_key = minioadmin
	region = cn-east-1
	endpoint = http://172.17.90.17:9000

	[cos]
	type = s3
	provider = Cos
	env_auth = false
	access_key_id = AKIDQErHVFxfQOM9
	secret_access_key = nNLp33y95kFUVFpz
	region = ap-nanjing
	endpoint = https://cos.ap-nanjing.myqcloud.com

5、进行数据同步

rclone sync cos:newheart-1257168050 minio-biosan:test2

命令解释,这里是将cos数据同步到本地minio

rclone sync 源(配置文件名称): 源数据Bucket  目标源名称:目标bucket

总结

以上就是今天介绍的全部内容,这里介绍的rclone sync的方式数据同步不能做到同步过程实时同步,即同步过程中,如果有新的文件上传到已同步完成的文件下,该文件会丢失。当然Rclone也提供了其他方法解决该问题,有兴趣的朋友可以到官网直接学习英文官网中文网站。大家学习也可参考这个:参考博客

上一篇:复数(概念性质详解)《初等数论及其应用》


下一篇:《A diagonal quasi-Newton updating method for unconstrained optimization》文献算法实现