最深度学习最近流行的wide-deep模型里的wide和deep分别是指什么意思?
这种设计的好处是什么?
1个回答
wide通常是指训练特征很多的线性模型或者广义线性模型,因为这里有很多人工经验和业务逻辑,所以通常有非常多的人工变量,所以看起来就是一个很宽的模型。
deep通常是指隐藏层很多的神经网络模型,神经网络可以自己从原始数据里逐层抽取信息,所以输入的时候特征不多,但是学习的层数很多,看起来像一个高塔,很deep。
wide & deep是指模型中有一部分是wide而另一部分是deep,如下图所示:
wide中可以人工添加很多特征以及one-hot特征,这一部分能够给模型提供直观的预测能力,比如常见的、易判断的模式。
deep这部分可以抽取更细致的稠密表达来加强模型的泛化能力。
简单来说,wide&deep learning是记忆与泛化的结合;人工业务知识、和智能化的结合。