鞍点的数学定义是什么?

  数学 高等数学 数值计算 最优化    浏览次数:1670        分享
1

在优化过程和优化算法的解释当中,经常说到“陷入鞍点”之类的,以及经典的马鞍的图像,这个鞍点的准确的数学定义是什么?

 

xxax   2018-10-17 21:01



   2个回答 
6

鞍点的梯度为0,各方向上二阶偏导的正负性不一致

-------------------------------------------------------------

比如函数$f(x,y)=x^2-y^2$

梯度

$$\text{grad}_f (x,y)=\begin{pmatrix}\frac{\partial f}{\partial x} \\ \frac{\partial f}{\partial y}\end{pmatrix}=\begin{pmatrix}2x \\ -2y\end{pmatrix}$$

在$(0,0)$处,梯度是零向量。

在$(0,0)$二阶偏导

$$\frac{\partial^2 f}{\partial x^2}=2$$

在$x$方向上大于0,说明是在$x$方向上极小值点

$$\frac{\partial^2 f}{\partial y^2}=-2$$

在$y$方向上小于0,说明在$y$方向上是极大值点;两者不一致,所以$(0,0)$是鞍点


SofaSofa数据科学社区DS面试题库 DS面经

u_u   2018-11-03 11:15

4

一个鞍点(saddle point)

首先,必须是驻点,也就是函数的导数(梯度)为0的点

其次,不能是极大值或者极小值点


大家常见的是马鞍图,其实更简单的一个例子是$f(x)=x^3$上的$0$点,也是鞍点。

SofaSofa数据科学社区DS面试题库 DS面经

zl_pku   2018-10-18 09:56



  相关主题

最小值点和极小值点的区别?   2回答

k的n次方和n的阶乘谁大?   1回答

python有什么package是可以用来计算三角函数的   2回答

python里如何求两个数的最小公倍数?   1回答

RMSProp的直白解释   1回答

梯度上升算法是什么?   2回答

nesterov’s momentum和momentum的区别?   1回答

最速下降法与梯度下降法   1回答

为什么梯度的反方向是函数下降最快的方向?   4回答

Adam优化算法   1回答

学习率不当会导致sgd不收敛吗?   5回答

随机梯度下降(sgd)的收敛问题   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!