什么是Hessian矩阵和Jacobian矩阵

  数学 线性代数 数值计算 最优化    浏览次数:8949        分享
2
在学机器学习和深度学习的课程,最后往往是要计算Hessian矩阵或者Jacobian矩阵。我数学不扎实,请问这两个矩阵分别是什么意思?
 

MeganC   2017-04-01 09:47



   1个回答 
11

Jacobian矩阵可以看作是函数一阶导数的推广

假如一个函数$f:\mathbb{R}^n\rightarrow \mathbb{R}^m$,那$f$的Jacobian矩阵就是

$$J=\begin{pmatrix}\frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n}\\ \vdots & \ddots & \vdots \\ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n} \end{pmatrix}$$

Hessian矩阵可以看作是函数二阶矩阵的推广

假如一个函数$f:\mathbb{R}^n\rightarrow \mathbb{R}$,那$f$的Hessian矩阵就是

$$H=\left[\frac{\partial^2 f}{\partial x_i x_j}\right]_{i,j}=\begin{pmatrix}\frac{\partial^2 f}{\partial x_1\partial x_1} & \frac{\partial^2 f}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1x_n}\\ \frac{\partial^2 f}{\partial x_2\partial x_1} & \frac{\partial^2 f}{\partial x_2\partial x_2}  & \cdots & \frac{\partial^2 f}{\partial x_2x_n}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n x_1} &  \frac{\partial^2 f}{\partial x_n x_2} & \cdots & \frac{\partial^2 f}{\partial x_n x_n} \end{pmatrix}$$

SofaSofa数据科学社区DS面试题库 DS面经

沛县李刚   2017-04-02 08:40

我有点乱了,那梯度又是什么呢? - gjxs   2018-12-12 13:53
如果n维输入1维输出,一阶偏微分是nx1的向量,这就是gradient。 如果n维输入m维输出,一阶偏微分是nxm的矩阵,这就是Jacobian。 gradient是Jacobian的特例。 - Zealing   2018-12-13 00:42


  相关讨论

最速下降法与梯度下降法

nesterov’s momentum和momentum的区别?

Adam优化算法

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?

Newton–Raphson和牛顿法区别?

RMSProp的直白解释

用SGD时陷入局部最优解的解决方法

为什么梯度的反方向是函数下降最快的方向?

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别

随机梯度下降(sgd)的收敛问题

  随便看看

二元分类问题中经常提到的TP,TN,FN,FP都是什么意思?

python(matplotlib)中如何把折线图和柱状图画在一起?

推荐系统算法里的cold start是什么意思?

什么是K-Modes(K众数)聚类法?

z test和t test什么区别?