FTP数据采集脚本

#!/bin/bash
#FTP数据采集脚本
T=`date -d yesterday +%Y%m%d`//获取昨天的日期,格式20220107
#T=`date -d  +%Y%m%d`//获取今天的日期
#T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期
#T=`date -d '2 day ago ' +%Y%m%d`//获取前天的日期
#T=`date -d '10 day ago ' +%Y%m%d`//获取10天前的日期

cd /data/tmp //数据下载到tmp目录

ftp -v -n 192.168.153.10 22 <<EOF //-v 显示过程;-n 不自动登录 IP 端口

user root ctsi123456 //user 用户名  密码
binary  //开启二进制
prompt off //关闭交互
cd /opt/hive  //打开FTP服务器里的/opt/hive目录

mget * //下载所有文件
close
bye  //结束推出
EOF

tar -zcvf /data/google/$T.tar.gz * --remove-files  //以日期命名,打包到/data/google/目录,*-表示目录中的所有文件都打包,打包后删除源文件

 以上是采集并打包的脚本。

#!/bin/bash
#FTP数据采集脚本
T=`date -d yesterday +%Y%m%d`//获取昨天的日期,格式20220107
#T=`date -d  +%Y%m%d`//获取今天的日期
#T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期
#T=`date -d '2 day ago ' +%Y%m%d`//获取前天的日期
#T=`date -d '10 day ago ' +%Y%m%d`//获取10天前的日期

cd /data/tmp //数据下载到tmp目录

ftp -v -n 192.168.153.10 22 <<EOF //-v 显示过程;-n 不自动登录 IP 端口

user root ctsi123456 //user 用户名  密码
binary  //开启二进制
prompt off //关闭交互
get hivelog_$T.log //get + 要下载的文件名,可以使用变量匹配
close
bye  //结束推出
EOF

 以上是采集指定某一类的文件,不打包

 

上一篇:基于 NFS 搭建便捷远程硬盘


下一篇:HDC 2021 | HMS Core 6.0:连接与通信论坛,为App打造全场景连接体验