如何自动备份公司数据到云存储

2021-08-29 23:52:17

背景

做过运维的都知道，最怕就是数据丢失，其它故障什么都好说，数据没了，那可是要死人的，所以DBA这个岗位在公司都比较重视，当然薪水也不错，一个合格的DBA要做的事很多，远不止只做数据备份恢复工作（数据备份恢复是最基本基本的了），像调优、数据库设计什么的也都需要参与，甚至在项目立项时就要介入了。

之所以说了那么多关于DBA的事，就是简单跟大家铺垫下，告诉大家数据对公司或个人来讲是多么的重要，那既然重要，我们就要备份好它，一般做法都是数据库本机留一个备份，然后再异地备份一份，但是随着目前云成为大家选择的主流，数据备份方式也因此发生了改变，今天我们就讲下如何将数据库备份到阿里云的OSS上，你要问为什么选择OSS？因为OSS提供三重备份，故障自动恢复能力，保障数据可靠性99.99999999%。也就是说放到OOS上的数据，永远不用担心丢失的问题。

环境和准备工作

阿里云的1台云主机，上面有要备份的数据库（我的是mysql），今天我们任务就是把数据库备份到OSS上；
登录阿里云控制台，点解最上面导航栏中accesskey选项，获取accessKeyId 和accessKeySecret；
准备好数据库备份脚本；
下载阿里云OSS的SDK，本文采用的是Python SDK，点击查看相关使用教程和下载地址。

具体操作步骤

万事俱备，只欠行动了，go,go,go!!

第一步：将我们数据库备份到某目录下，注明时间：

运行备份脚本（注意在备份目录下，我的在/home/dbback/下）

查看目录是否生成备份文件，心细的同学可能发现我这个mysqldump没有指定用户名和密码，为啥我运行的时候费用输入密码呢？莫着急，马上为你揭晓答案，因为mysql5.6后（具体版本编号不记得了），如果你把密码写到脚本里，运行会有警告，告诉你不要把密码写到脚本里，会有危险，那我的小伙伴该怎么办呢，官方给了解决方案，期望你是配置到my.cnf文件中，所以，现在打开你的my.cnf，加入如下字段：

有了以上这两条，运行脚本时就不会在提示要输入密码了，马上测试下，看是否成功，如果没问题，我们进入下一步。

第二步：如何自动备份到oss中，开始前我们要做两件事：

1、登录阿里云控制台，点右上“管理控制台”，然后点左上“产品与服务”，在第二列中点击“对象存储OSS”，如果没开通就要开通，如果开通了直接点击右上的“新建bucket”，来创建一个bucket，记住buket的名字。（注：其实通过api也是可以直接创建bucket的，因为这个操作不多，所以我就用控制台来创建了，降低理解的难度。）

2、开始写上传脚本，因为要导入oss的sdk，所以要下安装下，比较简单，跟安装其他python包没啥区别，解压进入目录，然后运行python setup.py install 就安装完毕了，接下来看我们如何使用它，全部代码如下：

#!/usr/bin/python env
#autor:glacier
#date:2015-11-16
import os,os.path,time
import operator
import time
from oss.oss_api import *
prefix = '/home/dbback'
logtime = time.strftime(time.ctime())
#filelist = [ file for file in os.listdir(os.path.dirname(os.path.abspath(__file__))) if os.path.isfile(file) ]
filelist = [ file for file in os.listdir(prefix) if os.path.isfile(prefix + '/' + file) ]
def get_time(filename):
    ft = os.stat(filename)
    return ft.st_ctime
#def get_max():
#    flist = []
#    for file in filelist:
#        flist.append(os.stat(file).st_ctime)
#    return max(flist)
def get_dist():
    d = {}
    for file in filelist:
        d[file] = get_time(prefix + '/' + file)
    return d
if __name__ == '__main__':
    #maxtime = get_max()
    d = get_dist()
    #dic= sorted(d.iteritems(), key=lambda d:d[1], reverse = True)
    upfile = max(d.iteritems(), key=operator.itemgetter(1))[0]
    endpoint = "your aliyun endpoint"
    accessKeyId, accessKeySecret="your accessKeyId","your accessKeySecret "
    oss = OssAPI(endpoint, accessKeyId, accessKeySecret)
    res = oss.put_object_from_file("bucketname",upfile,prefix + '/' + upfile)
    if res.status != 200:
        with open('/var/log/dbback.log', 'a+') as f:
            f.write(logtime + ' back failed' + '\n')

我们接下来分析下脚本内容，其中脚本中注释的行都不用看，是我编写过程中测试用的，最开始我们设定了备份文件的目录和记录日志的时间，然后生成了一个备份目录所有文件的列表（列表其实不是最好的方式，我是用最简单的方式了，因为文件多了，列表会慢），然后定义了两个函数，get_time()函数是获取文件的创建时间戳，get_dist()函数是获取文件名和时间戳的字典，主函数部分比较难理解的根据字典value排序获得文件名了，d.iteritems()获得字典中的每个key,value对，key指定了一个函数，operator.itemgetter(1)表示用value来排序(因为就两个元素，key 是0，value就是1了），就是时间戳，排序完后返回key，最后的[0]做了这个工作，脚本其它部分的内容我就不多说了，都是很常见的用法，没什么难于理解的，好，脚本就介绍到这里，接下来进入我们最后一步。

第三步：将脚本写入crontab中，具体什么时候执行，就根据大家各自业务不同来设置了，没什么特别的。

码农公寓

相关文章