#

# The file is used by cron to Archive the data of NeedArchiveColName_Archive collection,the collection is part of NeedArchiveDBColName DB.

# The file is writed by DBA Carson Xu.If you find any error, please connect with me,thanks.

# The version is defined V.

# Version   ModifyTime                ModifyBy              Desc

# Ver001    -- :         Carson Xu             Create the Scripts File

#

#

#!/bin/bash

######mongodb可执行文件所在文档路径，此例为4. ，同时支持3.4.4

command_linebin="/QQMSG/mongo_db/mongobin404/bin/mongo"

command_linebinT="/QQMSG/mongo_db/mongobin404/bin/mongo"

######存放导出过渡文件的文档路径和文件名字，ColA可用你的集合名字替代

targetpath='/data/mongodb_back/ArchiveDB_端口号'

bakcollectionname=NeedArchiveColName_$(date "+%Y%m%d%H%M")

###### 登入账号信息

username="账号"

password="账号密码"

#######start 设置备份集合的开始日期和结束日期 #####

ParamBakStartDate=$(date -d '-46 days' "+%Y-%m-%d")

echo "备份NeedArchiveColName时间参数中的开始时间为：" $ParamBakStartDate 

ParamBakEndDate=$(date -d '-45 days' "+%Y-%m-%d")

echo "备份NeedArchiveColName时间参数中的结束时间为：" $ParamBakEndDate 

ParamBakStartTimeS="$(date -d $ParamBakStartDate +%s)"

ParamBakEndTimeS="$(date -d $ParamBakEndDate  +%s)"

echo "备份集合的时间转换为UTC时间秒数为：" $ParamBakStartTimeS  和 $ParamBakEndTimeS

ParamBakStartTimeMS=$[$ParamBakStartTimeS * +***]

ParamBakEndTimeMS=$[$ParamBakEndTimeS * +***]

echo "备份集合的时间转换为UTC时间毫秒数为：" $ParamBakStartTimeMS  和 $ParamBakEndTimeMS

#######end ######

######## start 连接源Server DB ，检查此次集合备份的文档数

command_line="${command_linebin} localhost:端口号/NeedArchiveDBColName -u$username -p$password"

export docQty=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_line --quiet)

echo "备份前集合NeedArchiveColName的文档数据为：" $docQty

###### End #####

###### Start 定义每次备份归档的最大阈值，防止意外情况的发生，例如：参数输入错误###

if [ $docQty -gt  ];then

  echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合指定时间段内的文档数过大，超过定义的安全阈值 2000000，归档终止，请检查！"

  exit

fi

####### end  ######

######## start 连接目标Server DB ，检查target DB 上是否已经存在此时间内的文档

command_lineT="${command_linebinT} 归档实例IP:归档实例端口/归档数据库Name -u$username -p$password"

export docQtyT=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_lineT --quiet)

echo "备份目标BKDB集合NeedArchiveColName备份归档前的文档数据为：" $docQtyT

if [ $docQtyT -gt  ];then

  echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合检查发现指定时间段内目标数据库目标集合存在异常文档数，归档终止，请检查！"

  exit

fi

####### end  ######

####### start mongoexport  指定集合指定时间段内的文档，输出到指定路径下;并执行检查命令是否正常执行####

start()

{

echo "NeedArchiveDBColName库NeedArchiveColName集合备份输出开始"

/QQMSG/mongo_db/mongobin404/bin/mongoexport --port 端口号 -u $username -p $password -d NeedArchiveDBColName --authenticationDatabase NeedArchiveDBColName -c NeedArchiveColName -q ' { NeedArchiveByField: { $gte:new Date('$ParamBakStartTimeMS'),$lt:new Date('$ParamBakEndTimeMS') } } ' -o ${targetpath}/${bakcollectionname}

echo "NeedArchiveDBColName库NeedArchiveColName集合备份输出完毕"

}

start

execute()

{

if [ $? -eq  ]

then

echo "The MongoDB 集合 NeedArchiveColName 文档mongoexport完成!"

else

echo "The MongoDB 集合 NeedArchiveColName 文档mongoexport失败"

exit

fi

}

###### end  ######

###### Start mongomongoimport 将导出的备份集合导入到指定的BKDB 指定的集合中#####

echo "备份输入开始"

/QQMSG/mongo_db/mongobin404/bin/mongoimport -h 归档实例IP --port 归档实例端口 -u $username -p $password -d 归档数据库Name --authenticationDatabase 归档数据库Name -c NeedArchiveColName  --file ${targetpath}/${bakcollectionname}

echo "备份输入完毕"

##### End #######

######## start 连接目标Server DB ，检查target DB 上是否已经存在此时间内的文档

export docQtyT2=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_lineT --quiet)

echo "备份目标BKDB集合NeedArchiveColName备份归档后的文档数据为：" $docQtyT2

echo "比较docQty 和 docQtyT2 的大小"

if [ $docQty == $docQtyT2 ]; then

     echo "正常:时间段内源数据库集合中的文档数  和 目标数据库集合中还原后的文档数据 相等";

elif [ $docQty -gt $docQtyT2 ]; then

    echo "MongoDB-Archive-Exception:时间段内源数据库集合中的文档数  大于  目标数据库集合中还原后的文档数据";

    exit

else

   echo "MongoDB-Archive-Exception:时间段内源数据库集合中的文档数  小于  目标数据库集合中还原后的文档数据";

   exit

fi

########### End ##### 

########### Start Remove 源数据库源集合指定时间内的记录 ########

docQtyR=$(/bin/echo 'db.NeedArchiveColName.remove({NeedArchiveByField:{$gte:new Date('$ParamBakStartTimeMS'),$lt:new Date('$ParamBakEndTimeMS')}}).nRemoved' | $command_line --quiet)

echo "本次操作Remove集合NeedArchiveColName的文档数据为：" $docQtyR

########## End  #########

###### 检查 Remove 后集合的文档数 ###

docQty=$(/bin/echo 'db.NeedArchiveColName.find({NeedArchiveByField:{$gte:new Date('\"$ParamBakStartDate\"'),$lt:new Date('\"$ParamBakEndDate\"')}}).count()' | $command_line --quiet)

echo "NeedArchiveDBColName库NeedArchiveColName集合 此次 Remove 后指定时间剩余的文档数据为：" $docQty

###### End ###

#########删除导出的文件#######

rm -rf ${targetpath}/${bakcollectionname}

if [ $? -eq  ]

then

echo "正常：NeedArchiveDBColName库NeedArchiveColName集合导出的文件被删除:" ${targetpath}/${bakcollectionname}

else

echo "MongoDB-Archive-Exception:NeedArchiveDBColName库NeedArchiveColName集合导出的文件未被正常删除" ${targetpath}/${bakcollectionname}

fi

######## End #####