hyperparameter与parameter的区别?

  统计/机器学习 开放问题    浏览次数:13903        分享
9

hyperparameter与parameter的区别是什么?


那我们平时说的调参,到底调的是什么参?超参数hyperparameter还是参数parameter?


 

图不二   2017-10-29 14:25



   3个回答 
12

参数(parameter)通常是在模型训练的过程中,我们根据训练集数据自动得到的。

超参(hyperparameter)通常是在模型训练前,我们手动设置的,其目的是为了在训练参数的时候让模型的表现更好。

我们一般说的调参,都是指的调超参

以LASSO regression为例子,回归模型里的系数是参数,正则项的惩罚系数则是超参。


简单说来,模型内部的参数是参数,由外部输入的参数就是超参。

SofaSofa数据科学社区DS面试题库 DS面经

batmanX   2017-10-30 13:40

10

模型参数是模型在训练的过程自己学习获得的。

模型超参是在训练模型前,我们人为设定的参数。

比如说神经网络中,每个节点的权重就是参数;神经网络的层数和每层中节点的个数,就是超参。

至于调参,我们大部分时候都是指的调“超参”。

SofaSofa数据科学社区DS面试题库 DS面经

abuu   2017-11-02 12:10

7

由你事先决定的参量都可以认为是超参数。

以random forest来说,树的个数、树的最大深度,这个是超参。以kNN来说,k的大小、距离的权重,这个是超参。

SofaSofa数据科学社区DS面试题库 DS面经

小齐   2017-11-02 07:54



  相关讨论

机器学习+计算机网络

函数型数据分析

meta learning是什么意思?

机器学习中的投票算法是指什么?

机器学习如何快速入门?

推荐开放数据库

机器学习算法中有哪些用到了贪婪算法的思想?

如何理解PAC Learning?

ensemble模型时,bagging和stacking有什么区别?

建立一个预测模型的流程是什么

  随便看看

逻辑回归的损失函数是怎么来的

模型调参时常用到的Grid Search是什么意思?

二元分类为什么不能用MSE做为损失函数?

sklearn r2_score返回负数

NLP里的OOV是什么意思?