PCA

引言：对称性的数学之美 在数学的众多分支中，有一个深刻的原理反复出现：对称性带来简化。在物理学中，空间的对称性意味着守恒量；在群论中，对称结构导致简单的表示；在线性代数中，对称矩阵拥有最优雅的对角化理论——这就是谱定理。 想象你站在一个椭圆中心。如果你沿任意方向看出去，椭圆的"宽度"各不相同。但有两个特殊的方向——椭圆的长轴和短轴——沿这些方向，椭圆的形状最简单，只是一个被拉伸的圆。这两个正交的方向，就是椭圆的"主轴"，它们对应的拉伸倍数，就是"特征值"。 这个直观的几何图像，正是谱定理的核心。谱定理告诉我们：任何实对称矩阵都可以通过正交变换对角化。换句话说，在适当的坐标系下，对称矩阵描述的线性变换只是沿某些正交方向的简单拉伸。 在机器学习和深度学习中，谱定理无处不在。从主成分分析（PCA）到奇异值分解（SVD），从谱聚类到图神经网络，谱定理提供了理解数据和算法的理论基础。 在这篇文章中，我们将系统性地介绍谱定理的核心理论，从实对称矩阵的正交对角化到一般的奇异值分解，从PCA到谱聚类，深入浅出地推导每一个公式，并通过可视化图形直观理解这些概念。 第一章：谱定理的基础理论 1.1 特征值与特征向量：不变的方向 给定一个 $n \times n$ 矩阵 $A$，如果存在非零向量 $v \in \mathbb{R}^n$ 和标量 $\lambda \in \mathbb{R}$，使得 $$ Av = \lambda v $$ 则称 $\lambda$ 是 $A$ 的特征值，$v$ 是对应的特征向量。 几何意义：特征向量 $v$ 是线性变换 $A$ 下的"不变方向"——变换后，这个向量只是被拉伸或压缩了 $\lambda$ 倍，方向保持不变。 特征多项式：特征值是特征方程的根 $$ \det(A - \lambda I) = 0 $$ 对于 $n \times n$ 矩阵，这是一个 $n$ 次多项式，在复数域上有 $n$ 个根（计入重数）。 1.2 对称矩阵的特殊性质 实对称矩阵 $A \in \mathbb{R}^{n \times n}$（即 $A^\top = A$）拥有三个重要性质： ...

引言：从混沌中寻找秩序 想象你是一个天文学家，正在观测一群恒星的位置。这些恒星在三维空间中分布，你记录了每颗恒星到地球的距离、赤经和赤纬——这就是一个典型的三维数据集。但是，你想理解这些恒星的分布规律，三维空间太复杂了。你突然意识到：这些恒星实际上分布在一个接近平面的薄层上！如果能找到这个平面，你就可以用二维坐标来描述每颗恒星的位置，大大简化问题。 这个看似简单的思想——在高维数据中找到最能代表数据的低维子空间——就是主成分分析（Principal Component Analysis, PCA）的核心。 在机器学习、数据科学和统计学中，我们经常面临"维度灾难"：数据维度越高，计算越复杂，噪声越多，模型越容易过拟合。PCA 提供了一种优雅的解决方案：它不丢弃任何原始特征的信息，而是将数据投影到新的坐标系中，在这个新坐标系中，前几个坐标轴（主成分）包含了数据的大部分信息。 本文将带你深入 PCA 的世界。我们从直观的几何理解开始，穿越历史的长河，探索两种等价的数学推导视角，最终抵达实际应用的海岸。准备好了吗？让我们开始这场降维之旅。 PCA 的直观理解：投影的智慧 为什么需要降维？ 在深入数学之前，让我们先理解为什么降维如此重要。 假设你有一个包含 $1000$ 个人的数据集，每个人有 $100$ 个特征（身高、体重、血压、血糖、血细胞计数等）。这些特征之间往往存在相关性：身高和体重相关，血压和血糖相关。如果我们直接用 $100$ 个特征来分析，会遇到以下问题： 计算复杂度：随着维度增加，算法的运行时间呈指数级增长。 过拟合风险：特征越多，模型越容易记住训练数据，泛化能力下降。 存储压力：$1000$ 个人 $\times$ $100$ 个特征 $= 100,000$ 个数据点，存储和传输成本高。 可视化困难：我们只能在三维空间中直接观察数据，超过三维就无法直观理解。 PCA 的目标是找到一个低维表示，保留数据的大部分信息。关键问题是：如何衡量"信息保留"？答案是方差。 方差作为信息度量 在一个数据集中，方差大的方向包含更多的信息。考虑一个简单的例子：假设我们有一个二维数据集，点的分布如图所示。 图 1：PCA 的核心思想：将数据投影到方差最大的方向 如果我们把这些点投影到不同的直线上，哪种投影方式能最好地保留原始数据的信息？ 直觉告诉我们：应该投影到数据"伸展"最厉害的方向上。在这个方向上，投影点的分布范围最广，方差最大，这意味着投影后保留了更多的原始信息。 让我们用数学语言来表述这个直觉。设 $n$ 个 $d$ 维数据点 $\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n \in \mathbb{R}^d$，我们想找到一个单位向量 $\mathbf{w} \in \mathbb{R}^d$（$|\mathbf{w}| = 1$），使得数据投影到 $\mathbf{w}$ 上的方差最大。 数据点 $\mathbf{x}_i$ 投影到 $\mathbf{w}$ 上的值是： $$ z_i = \mathbf{w}^{\top} \mathbf{x}_i $$ ...