鞍点的数学定义是什么?

  数学 高等数学 数值计算 最优化    浏览次数:862        分享
1

在优化过程和优化算法的解释当中,经常说到“陷入鞍点”之类的,以及经典的马鞍的图像,这个鞍点的准确的数学定义是什么?

 

xxax   2018-10-17 21:01



   2个回答 
3

鞍点的梯度为0,各方向上二阶偏导的正负性不一致

-------------------------------------------------------------

比如函数$f(x,y)=x^2-y^2$

梯度

$$\text{grad}_f (x,y)=\begin{pmatrix}\frac{\partial f}{\partial x} \\ \frac{\partial f}{\partial y}\end{pmatrix}=\begin{pmatrix}2x \\ -2y\end{pmatrix}$$

在$(0,0)$处,梯度是零向量。

在$(0,0)$二阶偏导

$$\frac{\partial^2 f}{\partial x^2}=2$$

在$x$方向上大于0,说明是在$x$方向上极小值点

$$\frac{\partial^2 f}{\partial y^2}=-2$$

在$y$方向上小于0,说明在$y$方向上是极大值点;两者不一致,所以$(0,0)$是鞍点


SofaSofa数据科学社区 DS面经 问答 实战

u_u   2018-11-03 11:15

3

一个鞍点(saddle point)

首先,必须是驻点,也就是函数的导数(梯度)为0的点

其次,不能是极大值或者极小值点


大家常见的是马鞍图,其实更简单的一个例子是$f(x)=x^3$上的$0$点,也是鞍点。

SofaSofa数据科学社区 DS面经 问答 实战

zl_pku   2018-10-18 09:56



  相关主题

最小值点和极小值点的区别?   2回答

k的n次方和n的阶乘谁大?   1回答

python里如何求两个数的最小公倍数?   1回答

python有什么package是可以用来计算三角函数的   2回答

“依概率收敛”是什么意思?   1回答

学习率不当会导致sgd不收敛吗?   4回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

nesterov’s momentum和momentum的区别?   0回答

用SGD时陷入局部最优解的解决方法   3回答

牛顿法到底是一阶优化算法还是二阶优化算法?   2回答

梯度上升算法是什么?   2回答

Adam优化算法   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!