原文章。
https://www.sigarch.org/the-future-of-sparsity-in-deep-neural-networks/
从三方面分析
1. Sparse Algorithms
第一层面是算法。
算法可以直接减少需要的workload。
2. Sparse Kernels
kernel可以提升计算效率。
Sparse kernel大约在65%可以计算超过density。
但是sparse所能达到的peak perf仍然有限，大约17~33%。而Dense大约可以达到55%~80%。
这样在硬件资源使用效率上大概差3，也就是说sparse / dense至少加速3倍才真正有意义的加速。
随着硬件的支持, sparse的peak perf应该会越来越高。
3. Sparse Hardware
hardware层面的支持可以提高硬件层面的计算效率。
4. Structured Sparsity
这里不做讨论