一、迁移场景
NAS目录迁移至OSS BUCKET,客户侧有问到NAS子目录的迁移顺序是顺序还是随机的
二、问题分析
1、问题分析
从经验来看,此类多线程的任务分配具有随机性,目录迁移还是与任务分配紧密相关。迁移过程中如果使用手工查看方式可能不足够支撑此类问题的确认。需要最终借助OSS文件生成的时间戳来进行判断
1) NAS目录结构
ls /kldjf
ccdp1 ccdp2 ccdp3 ccdp4
2) OSS目录结构
2、ossutil使用方法
wget http://gosspublic.alicdn.com/ossutil/1.7.1/ossutil64
chmod 755 ossutil64
./ossutil64 config
输入endpoint ak sk
确认有执行权限
ossutil ls oss://kldjf | head -n 10
3、oss文件时间戳确认
针对不同目录进行时间段的统计,此处只统计2个:
./ossutil64 ls oss://kldjf/ccdp1 | awk {'print $2'} | sort | head -n 6
./ossutil64 ls oss://kldjf/ccdp1 | awk {'print $2'} | sort | tail -n 6
./ossutil64 ls oss://kldjf/ccdp2 | awk {'print $2'} | sort | head -n 6
./ossutil64 ls oss://kldjf/ccdp2 | awk {'print $2'} | sort | tail -n 6
时间段:
ccdp1 时间段为: 10:00-11:30
ccdp2 时间段为: 11:00-12:30
三、结论
结论: 目录ccdp1与目录ccdp2内文件有时间交叉,说明迁移并不是完全顺序执行(按目录串行执行),按一定的前后顺序并行进行。