hyperparameter与parameter的区别?

  统计/机器学习 开放问题
6

hyperparameter与parameter的区别是什么?


那我们平时说的调参,到底调的是什么参?超参数hyperparameter还是参数parameter?


 

图不二   2017-10-29 14:25



   3个回答 
5

参数(parameter)通常是在模型训练的过程中,我们根据训练集数据自动得到的。

超参(hyperparameter)通常是在模型训练前,我们手动设置的,其目的是为了在训练参数的时候让模型的表现更好。

我们一般说的调参,都是指的调超参

以LASSO regression为例子,回归模型里的系数是参数,正则项的惩罚系数则是超参。


简单说来,模型内部的参数是参数,由外部输入的参数就是超参。


batmanX   2017-10-30 13:40

3

由你事先决定的参量都可以认为是超参数。


以random forest来说,

树的个数、树的最大深度,这个是超参。


以kNN来说,

k的大小、距离的权重,这个是超参。



小齐   2017-11-02 07:54

3

模型参数是模型在训练的过程自己学习获得的。

模型超参是在训练模型前,我们人为设定的参数。

比如说神经网络中,每个节点的权重就是参数;神经网络的层数和每层中节点的个数,就是超参。


至于调参,我们大部分时候都是指的调“超参”。

abuu   2017-11-02 12:10



相关问题

数据泄漏(data leakage)是什么意思?   2回答

建立一个预测模型的流程是什么   1回答

推荐开放数据库   5回答

机器学习算法的鲁棒性是什么意思?   1回答

如何理解VC dimension?   2回答

人类的第一个机器学习算法是什么?   2回答

Bagging是什么意思?   1回答

在线算法(online algorithm)是什么意思?   2回答

如何理解PAC Learning?   1回答

机器学习中的奥卡姆剃刀原理是什么意思   5回答

机器学习如何快速入门?   1回答

bias-variance tradeoff是什么意思?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!