深度学习模型的“蒸馏”是什么意思？

蒸馏就是把模型的细枝末节给蒸发掉，只留下骨干。

蒸馏是一种模型压缩的技术，将大模型学习出来的知识作为先验，将先验知识传递到小规模的神经网络中，之后实际应用中部署小规模的神经网络。

简单说来就是这个意思。

简单来说就是让小模型去学习大模型得到的泛化能力，这样得到的结果理论上来说要比直接用小模型数据训练出的结果要更好。