AMiner论文推荐
论文标题：Hire-MLP: Vision MLP via Hierarchical Rearrangement
论文链接：https://www.aminer.cn/pub/612d9dd25244ab9dcbdfb442?f=cs
本文提出一种简单且有效的分层重排(Hierarchical Rearrangement)MLP架构Hire-MLP。已有MLP架构(如MLP-Mixer)对于不同图像尺寸的输入不够灵活，对于捕获空间信息不够高效。
Hire-MLP通过引入分层重排聚合全局与局部空域信息对已有MLP架构进行了改革，值得一提的是：Hire-MLP对于下游任务非常友好。具体来说，内区域(inner-region)重排捕获局部信息；为促进跨区域信息通信并捕获全局上下文信息，我们还提出了跨区域(cross-region)重排，它沿空间方向对所有tokens进行训练移位。所提Hire-MLP基于通道混叠MLP与重排操作而构建，因此具有高灵活性与高推理速度。
实验结果表明：Hire-MLP在ImageNet-1K基准数据集上取得了SOTA性能。比如，Hire-MLP取得了83.4%的top1精度 ，超过了其他Transformer与MLP模型，具有更好地精度-吞吐量均衡。
AMiner,让AI帮你理解科学！