动手学深度学习 图像分类数据集(一) Fashion-MNIST的获取与查看
动手学深度学习 图像分类数据系列:
- 动手学深度学习 图像分类数据集(一) Fashion-MNIST的获取与查看
- 动手学深度学习 图像分类数据集(二) softmax回归的从零开始实现
- 动手学深度学习 图像分类数据集(三) softmax回归的简洁实现
Fashion-MNIST在书中多次使用,本文的内容是讲解如何获取并查看此数据集
1.下载数据集
使用torchvision.datasets来下载数据集
-
root用来指定下载后保存的位置(如果已经存在则不会下载) -
download表示是否要下载 -
train表示获取训练数据集或测试数据集 -
transform代表对图像的操作, 这里仅仅使用了ToTensor()把图像数据转换为Tensor类型
其格式为( C ∗ H ∗ W C*H*W C∗H∗W)
书本原话:
注意：由于像素值为0到255的整数，所以刚好是uint8所能表示的范围，包括
transforms.ToTensor() 在内的一些关于图片的函数就默认输入的是uint8型，若不是，可能不会报错
但可能得不到想要的结果。所以，如果用像素值（0-255整数）表示图片数据，那么一律将其类型设置成
uint8，避免不必要的bug。
import torchvision
import torchvision.transforms as transforms
mnist_train = torchvision.datasets.FashionMNIST(root=r'D:\Source\Datasets\FashionMNIST', train=True, download=True,
transform=transforms.ToTensor())
mnist_test = torchvision.datasets.FashionMNIST(root=r'D:\Source\Datasets\FashionMNIST', train=False, download=True,
transform=transforms.ToTensor())
查看一下读取的结果
2.查看数据集结构
对训练集切片查看一下数据类型和标签类型
这里的标签已经转换为数值型数据来存储
所以我们可以编写一个函数将其转换为 图像数据集原本对应的标签
def get_fashion_mnist_labels(labels):
text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
return [text_labels[int(i)] for i in labels]
3.查看图片与标签
先提取出其中的一张图片与标签来查看
img, label = mnist_train[0]
title = get_fashion_mnist_labels([label])[0] # 获取标签
plt.imshow(img.view((28,28)).numpy()) # 数据格式转换
plt.title(title) # 设置标题
plt.savefig('test.jpg') # 存储图片
查看多个图片和标签(以前十张为例)
import matplotlib.pyplot as plt
def show_fashion_mnist(images, labels):
# 这里的_表示我们忽略（不使用）的变量
_, figs = plt.subplots(1, len(images), figsize=(12, 12))
for f, img, lbl in zip(figs, images, labels):
f.imshow(img.view((28, 28)).numpy())
f.set_title(lbl)
f.axes.get_xaxis().set_visible(False)
f.axes.get_yaxis().set_visible(False)
X, y = [], []
for i in range(10):
X.append(mnist_train[i][0])
y.append(mnist_train[i][1])
show_fashion_mnist(X, get_fashion_mnist_labels(y))
plt.show()
4.按小批次读取数据集
使用DataLoader 它可以允许多线程来加速数据读取
具体的可以看下面链接中的文章,有对DataLoader和Dataset的详细介绍
Pytorch 快速详解如何构建自己的Dataset完成数据预处理(附详细过程)
from torch.utils.data import DataLoader
import sys
batch_size = 256
if sys.platform.startswith('win'):
# 0表示不用额外的进程来加速读取数据
num_workers = 0
else:
num_workers = 4
train_iter = DataLoader(mnist_train,
batch_size=batch_size,
shuffle=True,
num_workers=num_workers)
test_iter = DataLoader(mnist_test,
batch_size=batch_size,
shuffle=False,
num_workers=num_workers)
DataLoader是个可遍历的对象
start = time()
for X, y in train_iter:
continue
print('%.2f sec' % (time() - start))
可以通过上述代码来查看读取一遍训练集需要的时间
引用资料来源
本文内容来自吴振宇博士的Github项目
对中文版《动手学深度学习》中的代码进行整理，并用Pytorch实现
【深度学习】李沐《动手学深度学习》的PyTorch实现已完成