背景

神经网络模型的二值化被认为是在移动设备等资源受限环境中部署深度神经网络模型的一种有前途的方法。

模型

此处研究的是对一个激活函数做一个偏移，看最终的结果如何。

平衡指的应该就是例如二值数据，1和-1的数量。

实验

我们进行了一些实验，以监测由于ReLU函数的性质导致的不平衡激活分布是否有助于提高准确性。

建议使用可训练的激活函数，以便激活的分布可以平衡。