#!/bin/bash #FTP数据采集脚本 T=`date -d yesterday +%Y%m%d`//获取昨天的日期,格式20220107 #T=`date -d +%Y%m%d`//获取今天的日期 #T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期 #T=`date -d '2 day ago ' +%Y%m%d`//获取前天的日期 #T=`date -d '10 day ago ' +%Y%m%d`//获取10天前的日期 cd /data/tmp //数据下载到tmp目录 ftp -v -n 192.168.153.10 22 <<EOF //-v 显示过程;-n 不自动登录 IP 端口 user root ctsi123456 //user 用户名 密码 binary //开启二进制 prompt off //关闭交互 cd /opt/hive //打开FTP服务器里的/opt/hive目录 mget * //下载所有文件 close bye //结束推出 EOF tar -zcvf /data/google/$T.tar.gz * --remove-files //以日期命名,打包到/data/google/目录,*-表示目录中的所有文件都打包,打包后删除源文件
以上是采集并打包的脚本。
#!/bin/bash #FTP数据采集脚本 T=`date -d yesterday +%Y%m%d`//获取昨天的日期,格式20220107 #T=`date -d +%Y%m%d`//获取今天的日期 #T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期 #T=`date -d '2 day ago ' +%Y%m%d`//获取前天的日期 #T=`date -d '10 day ago ' +%Y%m%d`//获取10天前的日期 cd /data/tmp //数据下载到tmp目录 ftp -v -n 192.168.153.10 22 <<EOF //-v 显示过程;-n 不自动登录 IP 端口 user root ctsi123456 //user 用户名 密码 binary //开启二进制 prompt off //关闭交互 get hivelog_$T.log //get + 要下载的文件名,可以使用变量匹配 close bye //结束推出 EOF
以上是采集指定某一类的文件,不打包