梯度上升算法是什么?

  数学 数值计算 最优化    浏览次数:4788        分享
-1

《机器学习实战》里面提到了梯度上升,有点懵,我只听说过梯度下降

梯度上升算法又是什么意思?和梯度下降是什么关系?


 

杨业勇   2018-03-11 10:21



   2个回答 
4

其实就是一回事

我正好看过那一段

对于损失函数,我们要求最小值,所以是梯度下降(梯度的反方向)

对于似然函数,我们要求最大值,所以是梯度上升(梯度的同方向)

本质都是利用梯度来解最值


SofaSofa数据科学社区DS面试题库 DS面经

曾经是科比   2018-03-12 21:55

2

要求最小值(如loss function)的时候,用梯度下降

要求最大值(如score function)的时候,用梯度上升


SofaSofa数据科学社区DS面试题库 DS面经

sasa   2018-03-16 01:35



  相关讨论

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别

nesterov’s momentum和momentum的区别?

学习率不当会导致sgd不收敛吗?

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?

Adam优化算法

牛顿法到底是一阶优化算法还是二阶优化算法?

最速下降法与梯度下降法

RMSProp的直白解释

为什么梯度的反方向是函数下降最快的方向?

Newton–Raphson和牛顿法区别?

  随便看看

python(matplotlib)中如何把折线图和柱状图画在一起?

Resnet-18, Resnet-50, Resnet-101这些模型里的数字是什么意思?

条件概率证明P(a,b|c) > P(a,b)

决策树、随机森林中的多重共线性问题

python sklearn模型中random_state参数的意义