MIT-Adobe FiveK Dataset 图片自动下载
MIT-Adobe FiveK是现在很多做图像增强(image enhancement)与图像修饰(image retouching)方面研究的人员经常会使用到的数据库。这个数据库中包含5000张dng格式的原始图片及分别由五个(A,B,C,D,E)专业修图人员手工修饰后的图片。关于该数据库的详细资料可以在:https://data.csail.mit.edu/graphics/fivek/上找到。博主目前也在作图像增强方面的算法,在该网站上面,虽然提供了原始图片的下载链接,但是修饰后的图片只提供了每个图片的独立下载链接,手工对这些图片一张张下载的话,肯定是一件令人抓狂的事情,因此博主打算应用一个python脚本来自动下载所需要的图片。
查看网页的源码,发现这些经过修饰后的图片的URL存在一定的规律,例如:由C修饰的第一张图片的URL为https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/a0001-jmac_DSC1459.tif。该地址可以划分为三部分:https://data.csail.mit.edu/graphics/fivek/img/(不变),tiff16_c(代表C修饰的图片,如果最后一个字母是D,那么就代表D所修饰的图片),a0001-jmac_DSC1459.tif(文件名)。发现这一规律之后,我们就可以运用简单的python脚本,通过图片的文件名来将图片下载到本地。
数据集中所有文件的名称在下载原始图片的时候就可以下载下来,它们被分别放置在名为:filesAdobe.txt和filesAdobeMIT.txt这两个文件中。自动下载的脚本如下:
import os import sys from urllib.request import urlretrieve #改变当前工作路径 CURRENT_PATH="/home/luohang/PyLearn"#本文件所在路径 os.chdir(CURRENT_PATH)#改变当前路径 #存储图像名称的list img_lst=[] #读取图片名列表 with open('filesAdobe.txt', 'r') as f: for line in f.readlines(): img_lst.append(line.rstrip("\n"))#去掉换行符 with open('filesAdobeMIT.txt', 'r') as f: for line in f.readlines(): img_lst.append(line.rstrip("\n"))#去掉换行符 #urlretrieve 函数的回调函数,显示下载进度 def cbk(a,b,c): '''回调函数 @a:已经下载的数据包数量 @b:数据块的大小 @c:远程文件的大小 ''' per=100.0*a*b/c if per>100: per=100 #在终端更新进度 sys.stdout.write("progress: %.2f%% \r" % (per)) sys.stdout.flush() #根据文件的url下载图片 for i in img_lst: URL='https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/'+i+'.tif'#下载由C所调整的图像(可根据需要下载其它的四类图像) print('Downloading '+i+':') urlretrieve(URL, '/media/luohang/软件/FiveK_C/'+i+'.tif', cbk)#将所获取的图片存储到本地的地址内
运行结果如下: