下面这个既有源码，又有文献

 深度学习模型优化+模型蒸馏+模型压缩_cbd_2012的博客-CSDN博客_模型压缩 模型蒸馏深度学习模型优化+模型蒸馏+模型压缩、https://blog.csdn.net/shentanyue/article/details/83539382经典论文：（1）Distilling the Knowledge in a Neural Network地址：https://arxiv.org/pdf/1503.02531.pdf（2）Paying More Attentio...https://blog.csdn.net/cbd_2012/article/details/86293424?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-5.no_search_link&spm=1001.2101.3001.4242.4&utm_relevant_index=8

下面这个链接，有对上面文章的解释 注解

【模型蒸馏】从入门到放弃：深度学习中的模型蒸馏技术_abcdefg90876的博客-CSDN博客阅读大概需要17分钟跟随小博主，每天进步一丢丢来自 |知乎 作者 | 小锋子Shawn地址 | https://zhuanlan.zhihu.com/p/93287223编辑 |...https://blog.csdn.net/abcdefg90876/article/details/105525314/ 

深度学习模型压缩方法综述（三）_小时候贼聪明-CSDN博客_模型压缩目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。https://blog.csdn.net/wspba/article/details/76039135?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3.no_search_link&utm_relevant_index=6

下面的博客是对模型蒸馏算法进行详解

模型压缩之蒸馏算法小结_画心-CSDN博客_蒸馏算法模型压缩之蒸馏算法小结文章目录模型压缩之蒸馏算法小结输出配准Distilling the Knowledge in a Neural Network（NIPS 2014）Deep Mutual Learning（CVPR 2018）Born Again Neural Networks（ICML 2018）直接配准拟合注意力图Paying More Attention to Attention: ...https://blog.csdn.net/P_LarT/article/details/100730661?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2.no_search_link&utm_relevant_index=5

模型加速之一：知识蒸馏

模型加速一:知识蒸馏(Knowledge Distillation)_小小小读书匠的博客-CSDN博客