今天和你聊聊CNN压缩算法之矩阵分解

作者:UC 国际研发 迎松


今天和你聊聊CNN压缩算法之矩阵分解

今天和你聊聊CNN压缩算法之矩阵分解

今天和你聊聊CNN压缩算法之矩阵分解

今天和你聊聊CNN压缩算法之矩阵分解

今天和你聊聊CNN压缩算法之矩阵分解

今天和你聊聊CNN压缩算法之矩阵分解

今天和你聊聊CNN压缩算法之矩阵分解

注意

1.由于svd分解是基于对feature map冗余信息的降维近似,当生成feature map所用的数据集与原来训练网络模型时所用的数据集有差别时,分解的精度会受很大影响。但是卷积核分解不存在此问题。

2.利用svd的非线性方法进行分解时需要求解GSVD,当feature map的协方差矩阵低秩时可能有复数解,此时应该使用线性求解的方法

3.利用cgd求解双凸问题时,初始值的选择可能会影响目标函数的结果。

参考文献

[1] Zhang X, Zou J, He K, et al. Accelerating Very Deep Convolutional Networks for Classification and Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(10):1943.

[2] Jaderberg M, Vedaldi A, Zisserman A. Speeding up Convolutional Neural Networks with Low Rank Expansions[J]. Computer Science, 2014, 4(4):XIII.

[3] Takane Y, Hwang H. Regularized linear and kernel redundancy analysis[J]. Computational Statistics & Data Analysis, 2007, 52(1):394-405.

上一篇:瞻博网络技术大咖解密云计算所需的SDN控制器


下一篇:查看服务器的BIOS是否开启CPU虚拟化