跳转到内容
← 返回概念
代数约 18 分钟阅读

线性代数

Linear Algebra

关键人物：hamilton、cayley、gauss、euler
代数向量空间矩阵线性变换特征值

为什么这门"算矩阵"的课是现代科技的通用语言

很多人对线性代数的第一印象，是一堆机械的运算：把数排成方块，按古怪的规则去乘，再解一大串方程。这副面孔最容易让人错过它真正的力量。线性代数的灵魂，是把世界里只满足两条简单规矩的现象统统收编进来——这两条规矩是"叠加"（两个输入之和的效果，等于各自效果之和）和"成比例"（输入放大几倍，效果就放大几倍）。凡是满足这两条的，就叫线性。它简单得近乎苛刻，却恰好是无数复杂系统在局部的样子。

线性的妙处在于：满足这两条规矩的变换，无论作用在多么高维的空间上，都能被一个矩阵完整地记下来。于是"画面旋转""信号滤波""把一组未知数解出来""把高维数据压到几个主方向上"——这些天差地别的操作，全都化成了同一种东西：矩阵乘法。一旦学会驾驭矩阵，你就握住了一把能撬动几何、分析乃至概率的统一杠杆。

这也是为什么从量子力学的态、计算机图形的渲染，到搜索引擎的排名、深度学习里每一层神经网络，骨子里跑的都是线性代数。它教会我们一种极其有力的策略：把一个吓人的非线性问题，在局部用线性逼近，再用矩阵这套成熟的工具一举拿下。理解了"线性"二字的份量，你就理解了为什么这门课被称作现代科技的通用语言。

定义

线性代数（Linear Algebra）是研究向量空间、线性映射及其矩阵表示的数学分支。它是现代数学和应用科学最基础的工具之一——从量子力学到机器学习，线性代数无处不在。

核心对象： - 向量空间：域 $F$ 上的向量空间 $V$ 是一个配备向量加法 +:V×V→V+: V \times V \to V 和标量乘法 ⋅:F×V→V\cdot: F \times V \to V 的集合，满足八条公理（加法交换群 + 标量乘法相容性） - 线性映射：T:V→WT: V \to W 是保持线性结构的映射，即 T(αv+βw)=αT(v)+βT(w)T(\alpha v + \beta w) = \alpha T(v) + \beta T(w) - 矩阵：线性映射在选定基下的有限表示——m×nm \times n 矩阵表示从 $n$ 维空间到 $m$ 维空间的线性映射

线性代数的核心思想是将复杂的线性关系化为矩阵运算，从而用有限的代数操作处理无穷维的几何与分析问题。

同一线性映射在不同基下会得到不同矩阵，但它们彼此相似：若换基矩阵为 $P$，则新矩阵为 P−1APP^{-1}AP。相似不改变特征值、行列式、迹与秩——这些量属于映射本身，不属于某一组坐标的写法。学会区分"映射"与"矩阵"，才算真正进入线性代数，而不是停在算数表的层面。

核心内容

向量空间与子空间

向量空间 $V$ 的子空间 W⊆VW \subseteq V 是对加法和标量乘法封闭的子集。子空间的基本定理：若 $W$ 是有限维空间 $V$ 的子空间，则 dim⁡W+dim⁡W⊥=dim⁡V\dim W + \dim W^\perp = \dim V（正交补分解）。

基与维数：向量空间 $V$ 的基是一组线性无关的生成集 {e1,…,en}\{e_1, \ldots, e_n\}。维数 dim⁡V=n\dim V = n 是基中向量的个数——与基的选择无关（Steinitz 交换引理）。

线性变换与矩阵

线性变换 T:V→WT: V \to W 的核心不变量： - 核（kernel）：ker⁡T={v∈V:T(v)=0}\ker T = \{v \in V : T(v) = 0\}——$T$ 的"零空间" - 像（image）：Im T={T(v):v∈V}\text{Im}\, T = \{T(v) : v \in V\}——$T$ 的"值域" - 秩-零化度定理：dim⁡ker⁡T+dim⁡Im T=dim⁡V\dim \ker T + \dim \text{Im}\, T = \dim V

选定基后，线性变换表示为矩阵。矩阵乘法对应线性变换的复合：若 $A$ 表示 $S$，$B$ 表示 $T$，则 $AB$ 表示 T∘ST \circ S。

换基不只是改写法，它把"找好坐标系"变成可操作的问题：对角化是在寻找一组由特征向量组成的基，使映射在这组基下变成逐分量缩放；若做不到完全对角化，Jordan 形告诉你还剩哪些不可拆的块。工程上最常用的 QR、LU、Cholesky 分解，都可以读成：把一次难算的映射，拆成若干结构更清楚、更易反解的映射之积。

行列式

$n$ 阶方阵 $A$ 的行列式 det⁡(A)\det(A) 是一个标量，刻画了线性变换对"体积"的缩放因子：

det⁡(A)=∑σ∈Snsgn(σ)∏i=1nai,σ(i)\det(A) = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=1}^n a_{i,\sigma(i)}

关键性质：det⁡(AB)=det⁡(A)det⁡(B)\det(AB) = \det(A)\det(B)；$A$ 可逆 ⇔\Leftrightarrow det⁡(A)≠0\det(A) \neq 0。

内积空间

内积空间是配备内积 ⟨⋅,⋅⟩\langle \cdot, \cdot \rangle 的向量空间。在实数域上，内积诱导范数 ∥v∥=⟨v,v⟩\|v\| = \sqrt{\langle v, v \rangle} 和夹角 cos⁡θ=⟨u,v⟩∥u∥∥v∥\cos\theta = \frac{\langle u, v \rangle}{\|u\|\|v\|}。Gram-Schmidt 正交化过程将任意基转化为标准正交基。

正交投影：向量 $v$ 在子空间 $W$ 上的正交投影 PW(v)P_W(v) 是 $W$ 中离 $v$ 最近的点。投影矩阵 P=A(ATA)−1ATP = A(A^TA)^{-1}A^T（$A$ 的列构成 $W$ 的基）。正交投影是最小二乘问题的几何本质——$Ax = b$ 的最小二乘解满足 ATAx=ATbA^TAx = A^Tb（正规方程）。

对偶空间：V∗=Hom(V,F)V^* = \text{Hom}(V, F) 是 $V$ 上所有线性泛函的空间。对偶空间在优化理论（Lagrange 乘数）和微分几何（余切空间）中有核心作用。

有了内积，许多"求解"问题变成几何问题：解线性方程组是问像空间里有没有这个向量；最小二乘是问正交投影落在哪里；条件数则度量基有多"歪"——输入的微小扰动会被放大多少。特征值把缩放方向挑出来：沿着特征向量，映射只做伸缩不做扭转；谱半径控制迭代法会不会发散。把这些图像串起来，矩阵算法就不再是黑箱口诀，而是在已知几何约束下选择最省事的坐标系与分解。

历史演变

线性代数的萌芽可追溯到17世纪。莱布尼茨（1693）最早使用行列式概念。克莱默（Gabriel Cramer，1750）给出了求解线性方程组的克莱默法则。高斯（Carl Friedrich Gauss）发展了消元法（高斯消元法），成为求解线性方程组的标准算法。

哈密顿（William Rowan Hamilton，1843）在发现四元数的过程中，意识到代数可以不满足交换律——这推动了线性代数的抽象化。凯莱（Arthur Cayley，1858）引入了矩阵的系统理论，证明了凯莱-哈密顿定理：每个方阵都满足自己的特征多项式。

20世纪初，线性代数从具体的矩阵计算发展为抽象的向量空间理论。外尔（Hermann Weyl）和诺特（Emmy Noether）将线性代数置于公理化框架中，使其成为现代代数学的基础语言。

更早一步的抽象化来自格拉斯曼（Hermann Grassmann，1844）的《线性扩张论》：他不从数表出发，而从"可伸缩、可叠加的量"出发，并引入外积——后来微分形式与多重线性代数的源头。皮亚诺（Giuseppe Peano，1888）给出了接近现代课本的向量空间公理表述。这条线说明：矩阵算法与空间公理并非同一条河的上下游，而是两条长期并行、直到 20 世纪才彻底汇合的传统——一条回答"怎么算"，一条回答"算的对象究竟是什么"。

关键人物

高斯（1777—1855）发展了最小二乘法和高斯消元法——线性代数最基本的算法。他的《算术研究》将数论与线性代数紧密结合。消元不只是"解方程的手续"：它同时暴露主元结构、揭示哪些变量自由、哪些被约束，是把抽象的核与像翻译成可执行步骤的最早范本之一。

凯莱（1821—1895）是矩阵理论的创始人。他在1858年的论文《矩阵论回忆录》中定义了矩阵的加法、乘法和逆，证明了凯莱-哈密顿定理。把"变换的复合"写成可结合的乘法，才让线性映射真正进入代数运算的闭环。

哈密顿（1805—1865）发明了四元数——第一个非交换的代数结构。他的工作推动了线性代数从具体的数组运算向抽象的线性变换理论的转变。非交换一旦被接受，人们才习惯把线性映射本身——而不只是它作用在坐标上的结果——当作一等公民来研究。

数学意义

线性代数的核心定理：

  1. 秩-零化度定理：dim⁡ker⁡T+dim⁡Im T=dim⁡V\dim \ker T + \dim \text{Im}\, T = \dim V
  2. 谱定理：实对称矩阵（或复 Hermitian 矩阵）可以正交对角化——A=QΛQTA = Q\Lambda Q^T
  3. 奇异值分解（SVD）：任意矩阵 A=UΣVTA = U\Sigma V^T——线性代数最深刻的分解
  4. 凯莱-哈密顿定理：方阵满足自己的特征多项式
  5. Jordan 标准形：复方阵相似于上双对角矩阵——线性变换的最简表示
  6. Perron-Frobenius 定理：正矩阵的最大特征值是正实数且对应的特征向量为正——PageRank 的数学基础

这些定理合在一起，刻画的是同一件事的不同侧面：线性映射能被分解到什么程度、哪些量在换基下不变、体积与能量如何被缩放。SVD 尤其值得单独读一遍几何含义——VTV^T 旋转到主轴，Σ\Sigma 按奇异值拉伸或压扁，$U$ 再旋到像空间；任何矩阵（哪怕非方、哪怕亏秩）都有这套"先对齐、再伸缩"的剧本。数值上截断小奇异值，就是在用低秩模型逼近数据；理论上核与像的维数关系，则被秩-零化度定理一次说清。

核心概念辨析

  • 线性代数 vs 抽象代数：线性代数专注于向量空间和线性映射，抽象代数研究一般的代数结构
  • 矩阵 vs 线性变换：矩阵是线性变换在选定基下的表示；线性变换是基无关的抽象对象
  • 行列式 vs 迹：行列式是特征值之积，迹是特征值之和——两者都是相似不变量
  • 特征值 vs 奇异值：特征值可能为复数，奇异值总是非负实数；奇异值是 A∗AA^*A 特征值的平方根
  • 内积空间 vs 赋范空间：内积空间有角度概念，赋范空间只有长度——内积诱导范数但反之不成立
  • 行空间 vs 列空间：行秩等于列秩——矩阵最基本的不变量，但行空间和列空间是不同的子空间

当代应用

线性代数是现代科技的数学基石。在机器学习中，数据表示为向量和矩阵，主成分分析（PCA）和奇异值分解（SVD）是降维的核心方法，神经网络的本质是矩阵运算。在量子力学中，量子态是希尔伯特空间中的向量，可观测量是 Hermitian 算子。在计算机图形学中，三维变换（旋转、缩放、投影）都用矩阵表示。在信号处理中，傅里叶变换是正交基变换。在经济学中，投入产出模型和线性规划基于线性代数。在密码学中，Hill 密码和格密码学直接使用矩阵运算。

线性代数的计算方法也在不断发展。稀疏矩阵技术利用矩阵中大量零元素的结构来加速计算——有限元法和网络分析中的矩阵通常是稀疏的。迭代法（共轭梯度法、GMRES）用于求解大规模线性方程组——避免了直接法的 O(n3)O(n^3) 复杂度。随机化线性代数利用随机投影加速大规模矩阵的低秩近似——这是大数据时代的新工具。

在张量网络中，高维数据的低秩近似用张量分解（CP 分解、Tucker 分解）表示——这是量子计算和机器学习的前沿。在自动微分中，反向传播算法本质是链式法则的矩阵形式。在线性代数的教学中，从抽象向量空间出发（Axler 的方法）还是从矩阵计算出发（Strang 的方法）至今仍是争论的焦点。

把目光从"会不会算矩阵"移到"会不会选空间与映射"，应用图景会再清楚一层。推荐系统里的隐因子、自然语言里的词向量，本质都是把对象嵌进某个低维线性空间，再用内积读相似性；控制里的能控能观，问的是输入映射的像能否张满状态空间、输出映射是否足以区分状态；计算机视觉里的单应与本质矩阵，则是把投影几何写成线性约束后求解。同一套语言跨领域复用，不是因为大家都爱数表，而是因为局部线性化之后，剩下的结构恰好能被有限维线性映射装下。

核心公式汇编

概念公式
行列式det⁡(A)=∑σsgn(σ)∏ai,σ(i)\det(A) = \sum_\sigma \text{sgn}(\sigma)\prod a_{i,\sigma(i)}
特征多项式pA(λ)=det⁡(A−λI)=λn−tr(A)λn−1+⋯+(−1)ndet⁡(A)p_A(\lambda) = \det(A - \lambda I) = \lambda^n - \text{tr}(A)\lambda^{n-1} + \cdots + (-1)^n\det(A)
Cayley-HamiltonpA(A)=0p_A(A) = 0
SVDA=UΣVTA = U\Sigma V^T，σi=λi(A∗A)\sigma_i = \sqrt{\lambda_i(A^*A)}
秩-零化度dim⁡ker⁡T+dim⁡Im T=dim⁡V\dim\ker T + \dim\text{Im}\,T = \dim V
正交投影P=A(ATA)−1ATP = A(A^TA)^{-1}A^T（列空间上的投影）
Gram-Schmidtuk=vk−∑j=1k−1⟨vk,uj⟩⟨uj,uj⟩uju_k = v_k - \sum_{j=1}^{k-1}\frac{\langle v_k, u_j\rangle}{\langle u_j, u_j\rangle}u_j

经典问题

  1. 线性方程组求解：$Ax = b$ 是否有解？解是否唯一？如何高效求解？——这是线性代数最原始的问题
  2. 矩阵对角化：矩阵 $A$ 能否对角化为 PDP−1PDP^{-1}？——将复杂的矩阵运算化为简单的对角矩阵运算
  3. 最小二乘问题：min⁡x∥Ax−b∥2\min_x \|Ax - b\|^2——当方程组无精确解时求最优近似解，在数据拟合中无处不在
  4. 特征值问题：Av=λvAv = \lambda v——振动频率、主成分、PageRank 都归结为特征值问题
  5. 正定性判定：矩阵 $A$ 是否正定？——优化问题中判断极小值的关键条件

这五类问题反复出现，是因为它们分别对应线性结构最常用的四种"动作"：求解、化简、逼近、分解，以及判定二次型的符号。学会把新问题认出为其中某一类，往往比记住更多公式更能决定你能不能下手。

与其他概念的关系

线性代数是现代数学的"通用语言"： - → 抽象代数：向量空间是域上的模，线性代数是表示论的基础 - → 泛函分析：将有限维的线性代数推广到无穷维的函数空间 - → 微分几何：切空间和余切空间是向量空间，微分形式是多重线性代数 - → 概率统计：协方差矩阵、多元正态分布、主成分分析都基于线性代数 - → 量子力学：量子态空间是 Hilbert 空间，可观测量是 Hermitian 算子 - → 优化理论：线性规划、二次规划、梯度下降都使用线性代数工具 - → 计算机科学：图的邻接矩阵、搜索引擎的 PageRank、深度学习的权重矩阵

跨域连接

  • 统计学：最小二乘就是把观测向量正交投影到自变量张成的子空间上，残差必与该子空间垂直。正规方程和决定系数都只是这一句几何事实的代数写法。推论是：加入一个与已有变量正交的新变量不会改变原有系数的估计，而加入一个相关的变量必然改变——这条判断可以逐例核对。
  • 因子分析：把相关矩阵拆成少数几个共同因子，如果真的只有一个共同因子，任意四个指标之间的相关系数必须满足乘积相等的约束。推论是：这条约束可以被数据否证，因此"存在一般因子"是一个可检验的主张，而不是定义。
  • 群体遗传结构：把每个个体写成基因型向量再取前几个主成分，得到的坐标常与地理位置高度吻合，因为隔离与漂变让差异随距离连续累积。但由此看到的"人群聚类"可能是假象：连续的梯度被离散的采样切成了团块。
  • 计量识别：当自变量高度共线时，设计矩阵接近降秩，参数不是"算不准"而是根本不唯一——整条方向上的系数组合给出同样的拟合。推论是：增加样本量救不了它，只有引入外生变异或先验约束才能把参数识别出来。
  • 气候模态分解：把海温异常场按协方差矩阵的特征向量展开，前几个模态就概括了大部分方差。要留意正交性是方法强加的：两个真实相关的物理过程会被硬拆成互不相关的两块，所以模态与机制不能直接划等号。

参考文献

  1. Gilbert Strang, Linear Algebra and Its Applications (4th ed., 2006).
  2. Sheldon Axler, Linear Algebra Done Right (3rd ed., 2015).
  3. 丘维声, 《高等代数》, 高等教育出版社, 2003.
  4. Sergei Treil, Linear Algebra Done Wrong (2017).
  5. Jean Dieudonné, History of Algebraic and Differential Topology, 1900–1960 (1989).

线性代数研究向量空间与线性变换。求解线性方程组、矩阵分解（LU、QR、SVD）、特征值与特征向量是其核心内容，广泛应用于计算机图形学、数据降维（PCA）、机器学习与数值模拟。

正文中引用本条 · 28 · 其中 25 条来自其他领域

计算机科学大卫·帕特森与约翰·亨尼西电路复杂度浮点数与 IEEE 754计数复杂度计算机图形学李飞飞匹配算法全同态加密：在密文上计算贪心算法线性规划循环神经网络朱迪亚·珀尔主成分分析Floyd-Warshall 算法GPU 与并行计算PyTorch：动态图与自动微分vLLM：把 KV 缓存当成虚拟内存
宇宙物理刚体转动与转动惯量闵可夫斯基时空与四维矢量偏振薛定谔方程振动与简正模式
经济学赫克歇尔-俄林模型一般均衡与阿罗-德布鲁模型
哲学思想笛卡尔