深度学习模型的“蒸馏”是什么意思?

  统计/机器学习 深度学习 人工神经网络    浏览次数:4313        分享
0

深度学习模型的“蒸馏”是什么意思?

 

yangyang   2019-11-16 15:11



   2个回答 
3

蒸馏就是把模型的细枝末节给蒸发掉,只留下骨干。

蒸馏是一种模型压缩的技术,将大模型学习出来的知识作为先验,将先验知识传递到小规模的神经网络中,之后实际应用中部署小规模的神经网络。

简单说来就是这个意思。

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2020-09-20 21:34

1

简单来说就是让小模型去学习大模型得到的泛化能力,这样得到的结果理论上来说要比直接用小模型数据训练出的结果要更好。

SofaSofa数据科学社区DS面试题库 DS面经

Sophia   2021-04-18 02:21



  相关讨论

请问深度学习算法中的梯度消失的原理是什么?如何能通俗理解

为什么小数据不适合神经网络模型?

wide-deep模型里的wide和deep分别是指什么意思?

epoch和batch之间有什么关系?

神经网络模型里训练和推理是什么意思?

BatchNormalization这一层一般有哪些参数需要调?

训练神经网络中经常提到的epoch是什么意思

神经网络中的Dropout和Bagging

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题

神经网络中的dense和sparse是什么意思?

  随便看看

怎么理解推荐系统中的NDCG?

随机森林(random forest)和支持向量机(SVM)各有什么优劣

为什么样本方差是除以n-1

plt.scatter plot怎么让不同的类别有不同的颜色

什么是K-Modes(K众数)聚类法?