什么是Hessian矩阵和Jacobian矩阵

  数学 线性代数 数值计算 最优化    浏览次数: 1049
1
在学机器学习和深度学习的课程,最后往往是要计算Hessian矩阵或者Jacobian矩阵。我数学不扎实,请问这两个矩阵分别是什么意思?
 

MeganC   2017-04-01 09:47



   1个回答 
6

Jacobian矩阵可以看作是函数一阶导数的推广

假如一个函数$f:\mathbb{R}^n\rightarrow \mathbb{R}^m$,那$f$的Jacobian矩阵就是

$$J=\begin{pmatrix}\frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n}\\ \vdots & \ddots & \vdots \\ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n} \end{pmatrix}$$

Hessian矩阵可以看作是函数二阶矩阵的推广

假如一个函数$f:\mathbb{R}^n\rightarrow \mathbb{R}$,那$f$的Hessian矩阵就是

$$H=\left[\frac{\partial^2 f}{\partial x_i x_j}\right]_{i,j}=\begin{pmatrix}\frac{\partial^2 f}{\partial x_1\partial x_1} & \frac{\partial^2 f}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1x_n}\\ \frac{\partial^2 f}{\partial x_2\partial x_1} & \frac{\partial^2 f}{\partial x_2\partial x_2}  & \cdots & \frac{\partial^2 f}{\partial x_2x_n}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n x_1} &  \frac{\partial^2 f}{\partial x_n x_2} & \cdots & \frac{\partial^2 f}{\partial x_n x_n} \end{pmatrix}$$

沛县李刚   2017-04-02 08:40



  相关主题

随机梯度下降(sgd)的收敛问题   2回答

Adam优化算法   1回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?   1回答

梯度上升算法是什么?   2回答

RMSProp的直白解释   1回答

最速下降法与梯度下降法   1回答

牛顿法到底是一阶优化算法还是二阶优化算法?   2回答

线性回归有精确的解析解为什么还要用梯度下降得到数值解?   4回答

部分主元   1回答

常说的低秩分解或者低秩逼近是什么意思?   1回答

PCA和SVD是一回事吗?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!