Jacobian 矩阵和 Hessian 矩阵

在向量分析中, 雅可比矩阵是一阶（first-order）偏导数（partial derivatives）以一定方式排列成的矩阵, 其行列式称为雅可比行列式。 wikipedia 给出的定义： 假设 是一个从欧式 维空间映射到欧式 维空间的函数，输入向量为 ，输出向量为 。若 的偏导数存在，其组成的 m × n m \times n n 的矩阵就是雅可比（Jacobian）矩阵： 可以看出，。 Jacobian 矩阵有一个很重要的知识点，就是 最佳优线性近似 。 对比标量函数的一阶泰勒展开公式，可见梯度和 Jacobian 都是一阶导数，梯度是（多变量的）标量函数的一阶导数，而 Jacobian 是（多变量的）矢量函数的一阶导数。标量函数的一阶泰勒展开式如下： Inverse 反向 根据反函数定理，一个可逆函数的 Jacobian 矩阵的逆矩阵就是该函数的逆函数的 Jacobian 矩阵。也就是说，假设 的 Jacobian 连续并且在点 是非奇异的，那么 在 点邻域可逆，可表示为： critical points 驻点 / 临界点 若 可微，使得 Jacobian 矩阵的秩非最大值的点称为 的驻点或临界点。也就是说，假设 是 Jacobian 矩阵秩的最大值，若某点处所有的 阶余子式都为零，则该点为驻点或临界点。 在数学中， 海森矩阵( Hessian matrix 或 Hessian )是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵。海森矩阵被应用于牛顿法解决的大规模优化问题。 wikipedia 给出的定义： 假设 ，输入是 维向量 ，输出是标量函数 。若 的二阶偏导数存在且在定义域内连续，其组成的 的矩阵就是海森（Hessian）矩阵： Hessian 矩阵的行列式（ the product of the eigenvalues ）也常被称为 Hessian 或 Hessian determinant。 Second derivative test 二阶导数检验 Hessian 矩阵是半正定凸函数，可以利用这一点来判断驻点（critical point）是否为局部最大值、局部最小值或鞍点。假设驻点为 ，判断方法如下： 一般来说，主要有两个方面：1.