Progressive Neural Architecture Search

2019-03-18 20:28:13

Paper：http://openaccess.thecvf.com/content_ECCV_2018/papers/Chenxi_Liu_Progressive_Neural_Architecture_ECCV_2018_paper.pdf

Code (PyTorch version)：https://github.com/chenxi116/PNASNet.pytorch

Video Tutorial from ECCV 2018: https://www.youtube.com/watch?v=mUHHdzPSleQ&t=73s

1. 摘要：

本文提出一种新的方法进行网络结构的学习，比常见的基于 RL 和 进化算法的方法，都要高效。我们的方法采用 a sequential model-based optimization (SMBO) strategy,  在增加复杂度的角度来搜索结构，同时学习一个 surrogate model 来引导搜索。直接与拥有同样搜索空间的模型相比较，我们的方法比 RL 的方法，在评价的模型 和 总计算量相比，分别要高效 5 倍 和 8倍。通过作者搜索出来的网络结构，在 CIFAR-10 和 ImageNet 上，都取得了比现有模型要好的效果。

2.