hyperparameter与parameter的区别？-SofaSofa

hyperparameter与parameter的区别是什么？

那我们平时说的调参，到底调的是什么参？超参数hyperparameter还是参数parameter？

图不二 2017-10-29 14:25

参数(parameter)通常是在模型训练的过程中，我们根据训练集数据自动得到的。

超参(hyperparameter)通常是在模型训练前，我们手动设置的，其目的是为了在训练参数的时候让模型的表现更好。

我们一般说的调参，都是指的调超参。

以LASSO regression为例子，回归模型里的系数是参数，正则项的惩罚系数则是超参。

简单说来，模型内部的参数是参数，由外部输入的参数就是超参。

batmanX 2017-10-30 13:40

模型参数是模型在训练的过程自己学习获得的。

模型超参是在训练模型前，我们人为设定的参数。

比如说神经网络中，每个节点的权重就是参数；神经网络的层数和每层中节点的个数，就是超参。

至于调参，我们大部分时候都是指的调“超参”。

abuu 2017-11-02 12:10

由你事先决定的参量都可以认为是超参数。

以random forest来说，

树的个数、树的最大深度，这个是超参。

以kNN来说，

k的大小、距离的权重，这个是超参。

小齐 2017-11-02 07:54