关于损失函数h(x), J(x), cost的概念问题

  统计/机器学习 监督式学习 损失函数    浏览次数:5365        分享
1

刚开始学机器学习,正在coursera上学吴恩达老师的课,遇到了一点小问题

因为本身大学的课程就很多,再加上coursera上有截止期限制,没有什么巩固时间,感觉学的不是很扎实,学到第三周逻辑回归之后再加上之前学的彻底懵了,现在忽然回首发现自己hθ(x),J(θ),cost(hθ(x)-y)这几个函数什么意思都混了,算法的过程也乱成一锅粥,翻回去看了看讲义,自己总结了一下,希望大神帮忙看一下我说的对不对,谢谢各位老师!:

首先hθ(x)是假设有一个θ向量和x有一定的关系能预测结果y的函数,θ如何的到呢,就要构造一个cost函数来计算每一次预测值h和实际值y的偏差,然后将很多的偏差利用J函数求出平均来并且最小化这个J,此时的θ就可以补全最开始的预测函数h

 

shawnw   2018-11-03 20:53



   1个回答 
2

你说的是对的

$h_\theta$是模型,$\theta$是模型的参数

$h_\theta(x)$是模型在样本$x$上的预测值

$h_\theta(x)-y$是预测值和真实值的差

$J_\theta$可以表示模型参数为$\theta$时的损失函数,你的目标是找到最优的$\theta$让$J(\theta)$越小越好

在回归时$J_\theta$也可以表示为

$$J_\theta=\sum_{(x, y)\in S}(h_\theta (x) - y)^2=\sum_{(x,y)\in S}\text{Cost}(h_\theta (x), y)$$

SofaSofa数据科学社区DS面试题库 DS面经

飞翔钉子   2018-11-04 16:30

谢谢老师!这样系统的总结出来就清楚多了! - shawnw   2018-11-04 16:42
哈哈,不客气,我不是老师,我也是学生,互相学习,共同进步呐 - 飞翔钉子   2018-11-05 09:46


  相关讨论

logloss的取值范围是多少?一般好的分类器能达到多少?

Hamming Loss汉明损失的计算公式是什么?

二元分类为什么不能用MSE做为损失函数?

怎么理解surrogate loss function代理损失函数?

python求logloss

hinge loss的公式是什么?

向量梯度下降优化的最佳步长?

focal loss是什么?

用SGD计算逻辑回归时的迭代公式是什么?

LR中若标签为+1和-1,损失函数如何推导,求大佬解答

  随便看看

推荐系统中的召回(recall)是什么意思?

怎么理解推荐系统中的NDCG?

如何调节seaborn里字体大小?

求多个torch tensor的平均值

如何获取pyspark DataFrame的行数和列数?