DL之ShuffleNet：ShuffleNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

2022-02-02 05:49:42

ShuffleNet算法的简介(论文介绍)

ShuffleNet也是应用在移动设备上的网络架构模型。

Abstract

We introduce an extremely computation-efficient CNN architecture named ShuffleNet, which is designed specially for mobile devices with very limited computing power (e.g., 10-150 MFLOPs). The new architecture utilizes two new operations, pointwise group convolution and channel shuffle, to greatly reduce computation cost while maintaining accuracy. Experiments on ImageNet classification and MS COCO object detection demonstrate the superior performance of ShuffleNet over other structures, e.g. lower top-1 error (absolute 7.8%) than recent MobileNet [12] on ImageNet classification task, under the computation budget of 40 MFLOPs. On an ARM-based mobile device, ShuffleNet achieves ∼13× actual speedup over AlexNet while maintaining comparable accuracy.

摘要

我们介绍了一个非常高效的CNN架构，名为ShuffleNet，专门为计算能力非常有限的移动设备（如10-150 MFLOPs）设计。新的体系结构利用了两种新的运算，即点态组卷积和channel shuffle，在保持精度的同时，大大降低了计算成本。图像网络分类和MS-COCO目标检测实验表明，在40 MFLOPs的计算预算下，与其他结构相比，在图像网络分类任务上，ShuffleNet 具有更好的性能，例如比最近的MobileNet [12]更低的Top-1错误（绝对7.8%）。在基于ARM的移动设备上，ShuffleNet 比AlexNet实现了～13倍的实际加速，同时保持了相当的准确性。

4、Experiment

实验在ImageNet的分类集上做评估，大多数遵循ResNeXt的设置，除了两点：

权重衰减从1e-4降低到了4e-5

数据增强使用较少的aggressive scale 增强

这样做的原因是小型网络在训练过程通常会遇到欠拟合而不是过拟合问题。