深度学习模型的“蒸馏”是什么意思?

  统计/机器学习 深度学习 人工神经网络    浏览次数:1164        分享
0

深度学习模型的“蒸馏”是什么意思?

 

yangyang   2019-11-16 15:11



   1个回答 
2

蒸馏就是把模型的细枝末节给蒸发掉,只留下骨干。

蒸馏是一种模型压缩的技术,将大模型学习出来的知识作为先验,将先验知识传递到小规模的神经网络中,之后实际应用中部署小规模的神经网络。

简单说来就是这个意思。

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2020-09-20 21:34



  相关主题

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题   1回答

BatchNormalization这一层一般有哪些参数需要调?   1回答

神经网络模型里训练和推理是什么意思?   1回答

训练神经网络中经常提到的epoch是什么意思   2回答

前馈神经网络如何选择隐藏层的数量   2回答

dropout rate一般设置多大?   3回答

关于神经网络的性能   1回答

epoch和batch之间有什么关系?   2回答

深度学习和人工神经网络是一回事吗?   1回答

神经网络中的Dropout和Bagging   1回答

神经网络中的gradient check是什么意思?   3回答

神经网络里为什么隐藏层越多越好?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!