标量对矩阵求导笔记

date

Sep 24, 2022

Last edited time

Sep 24, 2022 07:41 AM

status

Published

slug

标量对矩阵求导笔记

矩阵微分与矩阵导数的关系

标量对矩阵的求导，定义为

即逐元素求导排成与相同的矩阵。其中。

一元微积分中的导数与微分的关系，多元微积分中的梯度 (标量对向量的导数) 也与微分有联系

这里第一个等号是全微分公式，第二个等号表达了梯度与微分的联系。

全微分是梯度向量与微分向量的内积。

受此启发，我们将矩阵导数与微分建立联系：

其中代表迹（trace）是方阵对角线元素之和，且有性质，对尺寸相同的矩阵 , ，即是矩阵的内积。

与梯度相似，这里第一个等号是全微分公式，第二个等号表达了矩阵导数与微分的联系：全微分是导数与微分矩阵的内积。

矩阵微分的运算法则

想遇到较复杂的一元函数如，我们是如何求导的呢？通常不是从定义开始求极限，而是先建立了初等函数求导和四则运算、复合等法则，再来运用这些法则。故而，我们来创立常用的矩阵微分的运算法则：

加减法：

矩阵乘法：

转置：

迹：

逆：，此式可在两侧求微分证明。

行列式，其中表示的伴随矩阵，在可逆时又可写作。此式可用 Laplace 展开来证明，详见张贤达《矩阵分析与应用》第 279 页。

逐元素乘法：，表示尺寸相同的矩阵逐元素相乘。

逐元素函数：逐元素标量函数运算，是逐元素求导数。例如

利用迹求矩阵的导数

我们试图利用矩阵导数与微分的联系，在求出左侧的微分后，该如何写成右侧的形式并得到导数呢？这需要一些迹技巧 (trace trick)：

标量的迹：

转置：

线性：

矩阵乘法交换：，其中与尺寸相同。两侧都等于。

矩阵乘法 / 逐元素乘法交换：，其中尺寸相同。两侧都等于。

容易推得

观察一下可以断言：若标量函数是矩阵经加减乘法、逆、行列式、逐元素函数等运算构成，则使用相应的运算法则对求微分，再使用迹技巧给套上迹并将其它项交换至左侧，对照导数与微分的联系，即能得到导数。特别地，若矩阵退化为向量，对照导数与微分的联系，即能得到导数。

在建立法则的最后，来谈一谈复合：假设已求得，而是的函数，如何求呢？在微积分中有标量求导的链式法则，但这里我们不能随意沿用标量的链式法则，因为矩阵对矩阵的导数截至目前仍是未定义的。于是我们继续追本溯源，链式法则是从何而来？源头仍然是微分。我们直接从微分入手建立复合法则：先写出，再将用表示出来代入，并使用迹技巧将其他项交换至左侧，即可得到。