主成分分析（PCA）原理总结
date
Jun 24, 2021
Last edited time
Jun 28, 2021 05:36 AM
status
Published
slug
主成分分析（PCA）原理总结
tags
Math
summary
看概率论的时候, 翻出来的关于协方差矩阵的应用
type
Post
Field
Plat
主成分分析（Principal components analysis，以下简称 PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是 PCA，下面我们就对 PCA 的原理做一个总结。
1. PCA 的思想2. PCA 的推导: 基于最小投影距离3. PCA 的推导: 基于最大投影方差4. PCA 算法流程5. PCA 实例6. 核主成分分析 KPCA 介绍7. PCA 算法总结8.示例
1. PCA 的思想
PCA 顾名思义，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是 维的，共有 个数据 。我们希望将这 个数据的维度从 维降到 维，希望这 个 维的数据集尽可能的代表原始数据集。我们知道数据从 维降到 维肯定会有损失，但是我们希望损失尽可能的小。那么如何让这 维的数据尽可能表示原来的数据呢？
我们先看看最简单的情况，也就是 , 也就是将数据从二维降维到一维。数据如下图。我们希望找到某一个维度方向，它可以代表这两个维度的数据。图中列了两个向量方向， 和 ，那么哪个向量可以更好的代表原始数据集呢？从直观上也可以看出， 比 好。
为什么 比 好呢？可以有两种解释，第一种解释是样本点到这个直线的距离足够近，第二种解释是样本点在这个直线上的投影能尽可能的分开。
假如我们把 从 维推广到任意维，则我们的希望降维的标准为：样本点到这个超平面的距离足够近, 或者说样本点在这个超平面上的投影能尽可能的分开。
基于上面的两种标准，我们可以得到 PCA 的两种等价推导。
2. PCA 的推导: 基于最小投影距离
我们首先看第一种解释的推导，即样本点到这个超平面的距离足够近。
假设 个 维数据 都已经进行了中心化，即 。经过投影变换后得到的新坐标系为 , 其中 是标准正交基，即 。
如果我们将数据从 维降到 维，即丢弃新坐标系中的部分坐标，则新的坐标系为 , 样本点 在 维坐标系中的投影为：. 其中，是 在低维坐标系里第 维的坐标。
如果我们用 来恢复原始数据 , 则得到的恢复数据 , 其中， 为标准正交基组成的矩阵。
现在我们考虑整个样本集，我们希望所有的样本到这个超平面的距离足够近，即最小化下式：
将这个式子进行整理，可以得到:
注意到是数据集的协方差矩阵， 的每一个向量 是标准正交基。而 是一个常量。最小化上式等价于：
这个最小化不难，直接观察也可以发现最小值对应的 由协方差矩阵 最大的 个特征值对应的特征向量组成。当然用数学推导也很容易。利用拉格朗日函数可以得到
对 求导有 , 整理下即为：
这样可以更清楚的看出，为 的 个特征向量组成的矩阵，而 为 的若干特征值组成的矩阵，特征值在主对角线上，其余位置为 。当我们将数据集从 维降到 维时，需要找到最大的 个特征值对应的特征向量。这 个特征向量组成的矩阵 即为我们需要的矩阵。对于原始数据集，我们只需要用 , 就可以把原始数据集降维到最小投影距离的 维数据集。
如果你熟悉谱聚类的优化过程，就会发现和 PCA 的非常类似，只不过谱聚类是求前 个最小的特征值对应的特征向量，而 PCA 是求前 个最大的特征值对应的特征向量。
3. PCA 的推导: 基于最大投影方差
现在我们再来看看基于最大投影方差的推导。
假设 个 维数据 都已经进行了中心化，即。经过投影变换后得到的新坐标系为 , 其中 是标准正交基，即 。
如果我们将数据从 维降到 维，即丢弃新坐标系中的部分坐标，则新的坐标系为 , 样本点 在 维坐标系中的投影为：. 其中，是 在低维坐标系里第 维的坐标。
对于任意一个样本 ，在新的坐标系中的投影为 , 在新坐标系中的投影方差为 ，要使所有的样本的投影方差和最大，也就是最大化 的迹, 即：
观察第二节的基于最小投影距离的优化目标，可以发现完全一样，只是一个是加负号的最小化，一个是最大化。
利用拉格朗日函数可以得到
对 求导有 , 整理下即为：
和上面一样可以看出， 为 的 个特征向量组成的矩阵，而 为 的若干特征值组成的矩阵，特征值在主对角线上，其余位置为 。当我们将数据集从 维降到 维时，需要找到最大的 个特征值对应的特征向量。这 个特征向量组成的矩阵 即为我们需要的矩阵。对于原始数据集，我们只需要用, 就可以把原始数据集降维到最小投影距离的 维数据集。
4. PCA 算法流程
从上面两节我们可以看出，求样本 的 维的主成分其实就是求样本集的协方差矩阵 的前 个特征值对应特征向量矩阵 ，然后对于每个样本 , 做如下变换 ，即达到降维的 PCA 目的。
下面我们看看具体的算法流程。
输入： 维样本集 ，要降维到的维数 .
输出：降维后的样本集
1) 对所有的样本进行中心化：
2) 计算样本的协方差矩阵
3) 对矩阵 进行特征值分解
4）取出最大的 个特征值对应的特征向量 , 将所有的特征向量标准化后，组成特征向量矩阵 。
5）对样本集中的每一个样本 , 转化为新的样本
6) 得到输出样本集
有时候，我们不指定降维后的 的值，而是换种方式，指定一个降维到的主成分比重阈值 。这个阈值 在 之间。假如我们的 个特征值为, 则 可以通过下式得到:
5. PCA 实例
下面举一个简单的例子，说明 PCA 的过程。
假设我们的数据集有 10 个二维数据 (2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用 PCA 降到 1 维特征。
首先我们对样本中心化，这里样本的均值为 (1.81, 1.91), 所有的样本减去这个均值向量后，即中心化后的数据集为 (0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01)。
现在我们开始求样本的协方差矩阵，由于我们是二维的，则协方差矩阵为：
对于我们的数据，求出协方差矩阵为：
求出特征值为，对应的特征向量分别为：, 由于最大的 个特征值为 ，对于的 个特征向量为 . 则我们的
我们对所有的数据集进行投影 ，得到 PCA 降维后的 10 个一维数据集为：(-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)
6. 核主成分分析 KPCA 介绍
在上面的 PCA 算法中，我们假设存在一个线性的超平面，可以让我们对数据进行投影。但是有些时候，数据不是线性的，不能直接进行 PCA 降维。这里就需要用到和支持向量机一样的核函数的思想，先把数据集从 维映射到线性可分的高维 , 然后再从 维降维到一个低维度 , 这里的维度之间满足 。
使用了核函数的主成分分析一般称之为核主成分分析 (Kernelized PCA, 以下简称 KPCA。假设高维空间的数据是由 维空间的数据通过映射 产生。
则对于 维空间的特征分解：
映射为：
通过在高维空间进行协方差矩阵的特征值分解，然后用和 PCA 一样的方法进行降维。一般来说，映射 不用显式的计算，而是在需要计算的时候通过核函数完成。由于 KPCA 需要核函数的运算，因此它的计算量要比 PCA 大很多。
7. PCA 算法总结
这里对 PCA 算法做一个总结。作为一个非监督学习的降维方法，它只需要特征值分解，就可以对数据进行压缩，去噪。因此在实际场景应用很广泛。为了克服 PCA 的一些缺点，出现了很多 PCA 的变种，比如第六节的为解决非线性降维的 KPCA，还有解决内存限制的增量 PCA 方法 Incremental PCA，以及解决稀疏数据降维的 PCA 方法 Sparse PCA 等。
PCA 算法的主要优点有：
1）仅仅需要以方差衡量信息量，不受数据集以外的因素影响。
2）各主成分之间正交，可消除原始数据成分间的相互影响的因素。
3）计算方法简单，主要运算是特征值分解，易于实现。
PCA 算法的主要缺点有：
1）主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。
2）方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。