一、为什么要使用ai芯片

 

这个图是48纳米下各个数据类型下芯片的功耗和面积，可以看到fp16的数据类型的功耗和面积都要比fp32的要小很多，量化来看是小了4倍，这也是为什么现在需要支持int8类型的数据，而大部分的神经网络其实在int8类型下面就已经有很高的精确度了。

关于pruning（剪枝）对精确度的影响，假如只是剪枝那么将会损失很大的精度，但是如果将剪枝完的weight重新进行训练，那么即使剪枝超过80%，精度也不会下降多少。 

关于wingrad算法

本质上是一种转换方式，能够将卷积操作转换成更少的乘加操作。从下面这张图可以看到通过将filter转换成4x4，这样一次就可以算出一个卷积结果，然后在做一个逆变换就行，这样从原来的36此乘加变成了心啊在的16次乘加，效率提高了一倍