Cifar
、MNIST
等常用数据集的坑:
- 每次在一台新的机器上使用它们去训练模型都需要重新下载(国内网络往往都不给力,需要花费大量的时间,有时还下载不了);
- 即使下载到本地,然而不同的模型对它们的处理方式各不相同,我们又需要花费一些时间去了解如何读取数据。
为了解决上述的坑,我在Bunch 转换为 HDF5 文件:高效存储 Cifar 等数据集中将一些常用的数据集封装为 HDF5
文件。
下面的 X.h5c
可以参考Bunch 转换为 HDF5 文件:高效存储 Cifar 等数据集自己制作,也可以直接下载使用(链接:https://pan.baidu.com/s/1hsbMhv3MDlOES3UDDmOQiw 密码:qlb7)。
使用方法很简单:
访问数据集
# 载入所需要的包
import tables as tb
import numpy as np
xpath = 'E:/xdata/X.h5' # 文件所在路径
h5 = tb.open_file(xpath)
下面我们来看看此文件中有那些数据集:
h5.root
/ (RootGroup) "Xinet's dataset"
children := ['cifar10' (Group), 'cifar100' (Group), 'fashion_mnist' (Group), 'mnist' (Group)]
下面我们以 Cifar
为例,来详细说明该文件的使用:
cifar = h5.root.cifar100 # 获取 cifar100
为了高效使用数据集,我们使用迭代器的方式来获取它:
class Loader:
"""
方法
========
L 为该类的实例
len(L)::返回 batch 的批数
iter(L)::即为数据迭代器
Return
========
可迭代对象(numpy 对象)
"""
def __init__(self, X, Y, batch_size, shuffle):
'''
X, Y 均为类 numpy
'''
self.X = X
self.Y = Y
self.batch_size = batch_size
self.shuffle = shuffle
def __iter__(self):
n = len(self.X)
idx = np.arange(n)
if self.shuffle:
np.random.shuffle(idx)
for k in range(0, n, self.batch_size):
K = idx[k:min(k + self.batch_size, n)].tolist()
yield np.take(self.X, K, 0), np.take(self.Y, K, 0)
def __len__(self):
return round(len(self.X) / self.batch_size)
下面我们可以使用 Loader
来实例化我们的数据集:
batch_size = 512
train_cifar = Loader(cifar.trainX, cifar.train_fine_labels, batch_size, True)
test_cifar = Loader(cifar.testX, cifar.test_fine_labels, batch_size, False)
读取一个 Batch 的数据:
for imgs, labels in iter(train_cifar):
break
names = np.asanyarray([cifar.fine_label_names[label] for label in labels], dtype='U')
names[:7]
array(['orchid', 'spider', 'rabbit', 'shark', 'shrew', 'clock', 'bed'],
dtype='<U13')
可视化
需要注意,这里的 Cifar
是 first channel
的,即:
imgs.shape
(512, 3, 32, 32)
names.shape
(512,)
from pylab import plt, mpl
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号 '-' 显示为方块的问题
def show_imgs(imgs, labels):
'''
展示 多张图片
'''
imgs = np.transpose(imgs, (0, 2, 3, 1))
n = imgs.shape[0]
h, w = 5, int(n / 5)
fig, ax = plt.subplots(h, w, figsize=(7, 7))
K = np.arange(n).reshape((h, w))
names = np.asanyarray([cifar.fine_label_names[label] for label in labels], dtype='U')
names = names.reshape((h, w))
for i in range(h):
for j in range(w):
img = imgs[K[i, j]]
ax[i][j].imshow(img)
ax[i][j].axes.get_yaxis().set_visible(False)
ax[i][j].axes.set_xlabel(names[i][j])
ax[i][j].set_xticks([])
plt.show()
show_imgs(imgs[:25], labels[:25])
$2$ 个深度学习框架 & 数据集
因为,上面的数据集是 NumPy
的 array
形式,故而:
TensorFlow
import tensorflow as tf
for imgs, labels in iter(train_cifar):
imgs = tf.constant(imgs)
labels = tf.constant(labels)
break
imgs
<tf.Tensor 'Const:0' shape=(512, 3, 32, 32) dtype=uint8>
labels
<tf.Tensor 'Const_1:0' shape=(512,) dtype=int32>
MXNet
from mxnet import nd, cpu, gpu
for imgs, labels in iter(train_cifar):
imgs = nd.array(imgs, ctx = gpu(0))
labels = nd.array(labels, ctx = cpu(0))
break
imgs.context
gpu(0)
labels.context
cpu(0)
Matlab 读取 HDF
参考:h5read