主要参考了http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux
首先建立50万个文件
? test for i in $(seq 1 500000) for> do for> echo test >>$i.txt for> done
看下rm表现:
? test time rm -f * zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y zsh: argument list too long: rm rm -f * 3.63s user 0.29s system 98% cpu 3.985 total
由于文件数量过多,rm不起作用。
看下find表现:
? test time find ./ -type f -exec rm {} \; find ./ -type f -exec rm {} \; 49.86s user 1032.13s system 41% cpu 43:19.17 total
大概43分钟,我的电脑。。。。。。边看视频边删的。
用下find的-delete选项:
? test time find ./ -type f -delete find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total
用时9分钟。
再看下rsync,先建一个空文件夹blanktest
? ~ time rsync -a --delete blanktest/ test/ rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total
16s,很好很强大。
用Python试了下
1 import os 2 import time 3 stime=time.time() 4 for pathname,dirnames,filenames in os.walk(‘/home/username/test‘): 5 for filename in filenames: 6 file=os.path.join(pathname,filename) 7 os.remove(file) 8 ftime=time.time() 9 print ftime-stime ~
? ~ python test.py 494.272291183
大概用时8分钟。
用Perl:
? test time perl -e ‘for(<*>){((stat)[9]<(unlink))}‘ perl -e ‘for(<*>){((stat)[9]<(unlink))}‘ 1.28s user 7.23s system 50% cpu 16.784 total
16s,这个应该最快了。
统计一下:
命令 | 耗费时间 |
---|---|
rm | 文件数量太多,不可用 |
find with -exec | 50万文件耗时43分钟 |
find with -delete | 9分钟 |
Perl | 16s |
Python | 8分钟 |
rsync with -delete | 16s |