什么是Hessian矩阵和Jacobian矩阵

  数学 线性代数 数值计算 最优化    浏览次数: 2036
1
在学机器学习和深度学习的课程,最后往往是要计算Hessian矩阵或者Jacobian矩阵。我数学不扎实,请问这两个矩阵分别是什么意思?
 

MeganC   2017-04-01 09:47



   1个回答 
10

Jacobian矩阵可以看作是函数一阶导数的推广

假如一个函数$f:\mathbb{R}^n\rightarrow \mathbb{R}^m$,那$f$的Jacobian矩阵就是

$$J=\begin{pmatrix}\frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n}\\ \vdots & \ddots & \vdots \\ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n} \end{pmatrix}$$

Hessian矩阵可以看作是函数二阶矩阵的推广

假如一个函数$f:\mathbb{R}^n\rightarrow \mathbb{R}$,那$f$的Hessian矩阵就是

$$H=\left[\frac{\partial^2 f}{\partial x_i x_j}\right]_{i,j}=\begin{pmatrix}\frac{\partial^2 f}{\partial x_1\partial x_1} & \frac{\partial^2 f}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1x_n}\\ \frac{\partial^2 f}{\partial x_2\partial x_1} & \frac{\partial^2 f}{\partial x_2\partial x_2}  & \cdots & \frac{\partial^2 f}{\partial x_2x_n}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n x_1} &  \frac{\partial^2 f}{\partial x_n x_2} & \cdots & \frac{\partial^2 f}{\partial x_n x_n} \end{pmatrix}$$

SofaSofa数据科学社区 DS面经 问答 实战

沛县李刚   2017-04-02 08:40

我有点乱了,那梯度又是什么呢? - gjxs   2018-12-12 13:53
如果n维输入1维输出,一阶偏微分是nx1的向量,这就是gradient。 如果n维输入m维输出,一阶偏微分是nxm的矩阵,这就是Jacobian。 gradient是Jacobian的特例。 - Zealing   2018-12-13 00:42


  相关主题

梯度上升算法是什么?   2回答

常说的低秩分解或者低秩逼近是什么意思?   1回答

Adam优化算法   1回答

最速下降法与梯度下降法   1回答

用SGD时陷入局部最优解的解决方法   3回答

牛顿法到底是一阶优化算法还是二阶优化算法?   2回答

部分主元   1回答

nesterov’s momentum和momentum的区别?   0回答

学习率不当会导致sgd不收敛吗?   3回答

随机梯度下降(sgd)的收敛问题   3回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

为什么梯度的反方向是函数下降最快的方向?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!