hyperparameter与parameter的区别?

  统计/机器学习 开放问题    浏览次数: 2549
7

hyperparameter与parameter的区别是什么?


那我们平时说的调参,到底调的是什么参?超参数hyperparameter还是参数parameter?


 

图不二   2017-10-29 14:25



   3个回答 
7

参数(parameter)通常是在模型训练的过程中,我们根据训练集数据自动得到的。

超参(hyperparameter)通常是在模型训练前,我们手动设置的,其目的是为了在训练参数的时候让模型的表现更好。

我们一般说的调参,都是指的调超参

以LASSO regression为例子,回归模型里的系数是参数,正则项的惩罚系数则是超参。


简单说来,模型内部的参数是参数,由外部输入的参数就是超参。


batmanX   2017-10-30 13:40

5

模型参数是模型在训练的过程自己学习获得的。

模型超参是在训练模型前,我们人为设定的参数。

比如说神经网络中,每个节点的权重就是参数;神经网络的层数和每层中节点的个数,就是超参。


至于调参,我们大部分时候都是指的调“超参”。

abuu   2017-11-02 12:10

4

由你事先决定的参量都可以认为是超参数。


以random forest来说,

树的个数、树的最大深度,这个是超参。


以kNN来说,

k的大小、距离的权重,这个是超参。



小齐   2017-11-02 07:54



  相关主题

数据泄漏(data leakage)是什么意思?   2回答

机器学习中的奥卡姆剃刀原理是什么意思   5回答

机器学习如何快速入门?   1回答

如何理解PAC Learning?   1回答

ensemble模型时,bagging和stacking有什么区别?   2回答

非参模型是什么意思?有哪些模型算是非参的?   2回答

Bagging是什么意思?   3回答

人类的第一个机器学习算法是什么?   2回答

机器学习算法的鲁棒性是什么意思?   1回答

如何理解VC dimension?   2回答

推荐开放数据库   5回答

在线算法(online algorithm)是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!