Loading...
本文讲的是神经网络中提取知识，也就是我们熟知的 知识蒸馏 。传统方法：使用不同的网络模型对数据集进行学习，然后将预测结果取平均，得到最终的预测结果。传统方法的缺点：计算密集本文贡献：①将一堆模型的知识蒸馏到一个模型中；②实现快速并行训练。背景：在大规模学习（语音、目标检测等）中，需要大量、冗余的数据集，不要求实时，但对计算量要求大；在部署阶段，则对计算资源的要求严格许多。大体的思路：先训练一...