深度学习模型的“蒸馏”是什么意思?

  统计/机器学习 深度学习 人工神经网络    浏览次数:3395        分享
0

深度学习模型的“蒸馏”是什么意思?

 

yangyang   2019-11-16 15:11



   2个回答 
3

蒸馏就是把模型的细枝末节给蒸发掉,只留下骨干。

蒸馏是一种模型压缩的技术,将大模型学习出来的知识作为先验,将先验知识传递到小规模的神经网络中,之后实际应用中部署小规模的神经网络。

简单说来就是这个意思。

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2020-09-20 21:34

1

简单来说就是让小模型去学习大模型得到的泛化能力,这样得到的结果理论上来说要比直接用小模型数据训练出的结果要更好。

SofaSofa数据科学社区DS面试题库 DS面经

Sophia   2021-04-18 02:21



  相关主题

请问深度学习算法中的梯度消失的原理是什么?如何能通俗理解   1回答

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题   2回答

CNN和RNN分别是怎么共享权重的?   0回答

反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?   1回答

前馈神经网络如何选择隐藏层的数量   2回答

神经网络中的Dropout和Bagging   1回答

epoch和batch之间有什么关系?   3回答

神经网络中的gradient check是什么意思?   3回答

神经网络模型里训练和推理是什么意思?   1回答

deep learning中的pooling是什么意思?   6回答

dropout rate一般设置多大?   3回答

神经网络里为什么隐藏层越多越好?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!