『cs231n』卷积神经网络工程实践技巧_下

概述

『cs231n』卷积神经网络工程实践技巧_下

计算加速

方法一:

『cs231n』卷积神经网络工程实践技巧_下

由于计算机计算矩阵乘法速度非常快,所以这是一个虽然提高内存消耗但是计算速度显著上升的方法,把feature map中的感受野(包含重叠的部分,所以会加大内存消耗)和卷积核全部拉伸成为向量,组成两个矩阵相乘,再想办法恢复为输出的feature map。

方法二:

『cs231n』卷积神经网络工程实践技巧_下

『cs231n』卷积神经网络工程实践技巧_下

利用傅里叶变换的特性加速计算,思路来源于信号处理,只对大卷积核有效。

方法三:

『cs231n』卷积神经网络工程实践技巧_下

『cs231n』卷积神经网络工程实践技巧_下

思路来源于经典算法,用的人很少,老师也没怎么介绍,个人亦是不太感兴趣,需要的时候自己查资料吧。

总结:

『cs231n』卷积神经网络工程实践技巧_下

比较简要的总结就是,如果真的需要自己实现卷积层的时候,那就使用im2col提高效率吧。

GPU/CPU

这一部分老师天南海北的扯了不少,中心思想就是:深度学习使用GPU分布式计算效果更好,英伟达伟光正(历史局限性问题,现在的谷歌的TPU貌似也有崛起的可能)。

不过下图还是展示了,即使GPU在并行计算领域效能非凡(相对应的CPU很擅长顺序处理),面对深度学习的海量数据计算还是力不从心,而且,好的GPU价格往往不菲(不是我吐槽,这是老师说的),

『cs231n』卷积神经网络工程实践技巧_下

性能瓶颈

虽然GPU计算速度极其高效,但GPU和CPU数据相互拷贝过程还是会消耗大量时间

『cs231n』卷积神经网络工程实践技巧_下

文件读取,比如打开批量jpg时,由于不同图片存放于硬盘不同位置,随机索引会消耗大量时间,而解压缩也会消耗大量时间,所以一般的做法是进行预处理,解压为顺序存储的像素文件,一般各个框架都有自己的标准文件格式

『cs231n』卷积神经网络工程实践技巧_下

网瘾少年都知道,GPU么,内存越大(价格越贵)越好,(逃...

『cs231n』卷积神经网络工程实践技巧_下

浮点类型

深度学习常使用单精度(32位)浮点数,

1.节省内存,可以存储更多的数据

2.更少的位数,更少的计算量,更快的运算速度

『cs231n』卷积神经网络工程实践技巧_下

在课程中的程序中,由于numpy默认精度是64位,一般都给出了显示的类型转换。

『cs231n』卷积神经网络工程实践技巧_下

实际上有很多16位的尝试,也有一些取得了不错的结果,但是16位的表示范围和精度是个问题,有人做过尝试:正常的16位运算由于误差积累较难收敛,如果运算结果使用高精度暂存,然后随机四舍五入(具体怎么随机不太明晰)的话,结果不错,还有人使用10位激活函数+12位参数更新的精度组合进行计算,结果也不错,还有极端人士使用1位(1或-1)进行计算,老师说很酷,我觉得这只是他的中性的口头禅吧... ...

总之,现在老老实实的使用32位即可,以后说不定会使用16位计算。

总结

『cs231n』卷积神经网络工程实践技巧_下

上一篇:Git版本控制教程


下一篇:Git版本控制工具(三)----远程仓库GitHub的使用