Linux下删除大量文件

主要参考了http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

首先建立50万个文件

Linux下删除大量文件
?  test  for i in $(seq 1 500000)
for> do
for> echo test >>$i.txt
for> done
Linux下删除大量文件

看下rm表现:

Linux下删除大量文件
?  test  time rm -f *
zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
zsh: argument list too long: rm
rm -f *  3.63s user 0.29s system 98% cpu 3.985 total
Linux下删除大量文件

由于文件数量过多,rm不起作用。

看下find表现:

Linux下删除大量文件
?  test  time find ./ -type f -exec rm {} \;
find ./ -type f -exec rm {} \;  49.86s user 1032.13s system 41% cpu 43:19.17 total
Linux下删除大量文件

大概43分钟,我的电脑。。。。。。边看视频边删的。

用下find的-delete选项:

Linux下删除大量文件
?  test  time find ./ -type f -delete       
find ./ -type f -delete  0.43s user 11.21s system 2% cpu 9:13.38 total
Linux下删除大量文件

用时9分钟。

再看下rsync,先建一个空文件夹blanktest

Linux下删除大量文件
?  ~  time rsync -a --delete blanktest/ test/
rsync -a --delete blanktest/ test/  0.59s user 7.86s system 51% cpu 16.418 total
Linux下删除大量文件

16s,很好很强大。

用Python试了下

Linux下删除大量文件
  1 import os
  2 import time
  3 stime=time.time()
  4 for pathname,dirnames,filenames in os.walk(/home/username/test):
  5     for filename in filenames:
  6         file=os.path.join(pathname,filename)
  7         os.remove(file)
  8 ftime=time.time()
  9 print ftime-stime
~                       
Linux下删除大量文件
?  ~  python test.py
494.272291183

大概用时8分钟。

用Perl:

Linux下删除大量文件
?  test  time perl -e for(<*>){((stat)[9]<(unlink))}
perl -e for(<*>){((stat)[9]<(unlink))}  1.28s user 7.23s system 50% cpu 16.784 total
Linux下删除大量文件

16s,这个应该最快了。

统计一下:

 命令 耗费时间
rm  文件数量太多,不可用
find with -exec 50万文件耗时43分钟
find with -delete 9分钟
Perl 16s
Python 8分钟
rsync with -delete 16s

Linux下删除大量文件

上一篇:leetcode--Letter Combinations of a Phone Number


下一篇:创建数据表