跳转到内容
← 返回概念
代数约 15 分钟阅读

矩阵与行列式

Matrix and Determinant

关键人物

cayleyhamiltonsylvestergauss
代数矩阵行列式线性方程组

一个直觉：一张数表，凭什么能装下整个空间的变形

把一组数排成方阵，这件事本身平平无奇。让矩阵变得有力量的，是它记账的本领：它能把"对整个空间做了一次什么样的变形"这件事，浓缩进一张有限的数表里。要把平面旋转 $30$ 度、要把一张图像横向拉伸两倍、要把三维场景投影到屏幕上——每一种操作，都对应着一个确定的矩阵。而最违反直觉、却又最关键的一条规则是：矩阵乘法不能随便交换顺序。原因毫不神秘——"先旋转再拉伸"和"先拉伸再旋转"，本来就会得到不一样的结果。矩阵乘法的不交换，忠实地记录着"动作有先后"这个事实。

如果说矩阵记录了变形的全部细节，那行列式就是从中提炼出的一个最浓缩的数字：它告诉你，这次变形把面积（在更高维里是体积）放大了几倍。行列式等于 $2$，意味着变形后每块图形的面积都翻倍；行列式是负数，说明空间还被"翻了个面"，像照镜子那样左右颠倒。而当行列式恰好等于 $0$，事情就严重了——它意味着整个空间被压扁进了更低的维度，体积彻底坍缩为零。

这个"坍缩为零"的瞬间，正是行列式最有用的地方。一个矩阵可逆（即这次变形能被原路撤销）当且仅当它的行列式不为零——因为一旦空间被压扁，信息就丢了，再也回不去。于是一个看似只是"解方程组"的工具，背后藏着的是关于空间如何被拉伸、翻转与压扁的深刻几何。

定义

矩阵（Matrix）是按行列排列的数的矩形阵列，是线性代数最基本的计算工具。行列式（Determinant）是方阵的一个标量不变量，刻画了线性变换对体积的缩放。

矩阵：m×nm \times n 矩阵 A=(aij)A = (a_{ij}) 是一个 $m$ 行 $n$ 列的数组。矩阵加法按元素进行，矩阵乘法定义为：

(AB)ij=∑k=1naikbkj(AB)_{ij} = \sum_{k=1}^n a_{ik} b_{kj}

矩阵乘法不满足交换律（AB≠BAAB \neq BA 一般成立），这使得矩阵代数比标量代数丰富得多。

行列式：$n$ 阶方阵 $A$ 的行列式递归定义为：

det⁡(A)=∑j=1n(−1)i+jaijdet⁡(Aij)\det(A) = \sum_{j=1}^n (-1)^{i+j} a_{ij} \det(A_{ij})

其中 AijA_{ij} 是去掉第 $i$ 行第 $j$ 列的子矩阵。等价地，det⁡(A)=∑σ∈Snsgn(σ)∏i=1nai,σ(i)\det(A) = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=1}^n a_{i,\sigma(i)}。

核心内容

矩阵的基本类型

  • 方阵：行数等于列数的矩阵，可以定义行列式和特征值
  • 对角矩阵：D=diag(d1,…,dn)D = \text{diag}(d_1, \ldots, d_n)——只有对角线元素非零
  • 对称矩阵：AT=AA^T = A——实对称矩阵的特征值都是实数
  • 正交矩阵：QTQ=IQ^T Q = I——保持长度和角度不变
  • Hermitian 矩阵：A∗=AA^* = A——复域上的"对称矩阵"

矩阵分解

矩阵分解是将矩阵表示为更简单矩阵之积：

  1. LU 分解：$A = LU$（$L$ 下三角，$U$ 上三角）——求解线性方程组的基础
  2. QR 分解：$A = QR$（$Q$ 正交，$R$ 上三角）——最小二乘问题
  3. 特征值分解：A=PDP−1A = PDP^{-1}（$D$ 对角）——当 $A$ 可对角化时
  4. 奇异值分解（SVD）：A=UΣVTA = U\Sigma V^T——对任意矩阵都成立，是最一般的分解
  5. Cholesky 分解：A=LLTA = LL^T——正定矩阵的高效分解

行列式的性质

行列式的基本性质： - det⁡(AB)=det⁡(A)det⁡(B)\det(AB) = \det(A)\det(B)——乘法性 - det⁡(AT)=det⁡(A)\det(A^T) = \det(A)——转置不变性 - det⁡(cA)=cndet⁡(A)\det(cA) = c^n \det(A)——$n$ 阶齐次性 - $A$ 可逆 ⇔\Leftrightarrow det⁡(A)≠0\det(A) \neq 0

行列式的几何意义：∣det⁡(A)∣|\det(A)| 是线性变换 $A$ 对 $n$ 维体积的缩放因子，det⁡(A)\det(A) 的符号反映变换是否改变定向。

线性方程组

线性方程组 $Ax = b$ 的解的结构： - 克拉默法则：若 $A$ 可逆，则 xi=det⁡(Ai)det⁡(A)x_i = \frac{\det(A_i)}{\det(A)} - 高斯消元法：通过初等行变换将增广矩阵化为行阶梯形 - 解的存在性：$Ax = b$ 有解 ⇔\Leftrightarrow rank(A)=rank([A∣b])\text{rank}(A) = \text{rank}([A|b]) - 解的唯一性：有解时，解唯一 ⇔\Leftrightarrow rank(A)=n\text{rank}(A) = n（列满秩）

历史演变

行列式的概念早于矩阵。莱布尼茨（1693）和关孝和（Seki Takakazu，1683）分别独立发现了行列式。克莱默（1750）给出了用行列式求解线性方程组的法则。范德蒙德（Alexandre-Théophile Vandermonde，1771）首次将行列式作为独立的数学对象研究。

矩阵理论由凯莱（Arthur Cayley）在1858年的论文《矩阵论回忆录》中系统建立。他定义了矩阵的加法、乘法和逆，证明了凯莱-哈密顿定理。西尔维斯特（James Joseph Sylvester）创造了"矩阵"一词（1850），并发展了矩阵的不变量理论。

20世纪，矩阵理论与泛函分析结合，发展为算子理论——无穷维空间上的"矩阵"。

关键人物

凯莱（1821—1895）是矩阵理论之父。他在1858年引入了矩阵的概念和运算，证明了凯莱-哈密顿定理——每个方阵都满足自己的特征多项式。

西尔维斯特（1814—1897）创造了"矩阵"（matrix）、"判别式"（discriminant）等数学术语。他与凯莱合作发展了不变量理论。

高斯（1777—1855）发展了高斯消元法——求解线性方程组最基础的算法。他的最小二乘法在天文学和大地测量中有重要应用。

数学意义

矩阵与行列式的核心定理：

  1. 凯莱-哈密顿定理：pA(A)=0p_A(A) = 0——方阵满足自己的特征多项式
  2. 行列式展开定理：det⁡(A)=∑σsgn(σ)∏ai,σ(i)\det(A) = \sum_{\sigma} \text{sgn}(\sigma) \prod a_{i,\sigma(i)}
  3. Binet-Cauchy 公式：det⁡(AB)=det⁡(A)det⁡(B)\det(AB) = \det(A)\det(B)
  4. 矩阵的秩：行秩等于列秩——矩阵最基本的不变量
  5. 初等矩阵：每个初等行变换对应左乘一个初等矩阵
  6. Perron-Frobenius 定理：正矩阵或不可约非负矩阵有唯一的最大正特征值——Markov 链和 PageRank 的理论基础

核心概念辨析

  • 矩阵 vs 行列式：矩阵是一个数表，行列式是方阵的一个标量值——行列式只对方阵定义
  • 秩 vs 维数：矩阵的秩等于其列空间的维数，也等于行空间的维数
  • 特征值 vs 奇异值：特征值满足 det⁡(A−λI)=0\det(A - \lambda I) = 0，奇异值是 A∗AA^*A 特征值的平方根
  • LU 分解 vs SVD 分解：LU 分解是计算工具（高斯消元的矩阵形式），SVD 揭示矩阵的几何结构
  • 对称矩阵 vs Hermitian 矩阵：实对称 AT=AA^T = A，复 Hermitian A∗=AA^* = A——两者的特征值都是实数
  • 正交矩阵 vs 酉矩阵：实正交 QTQ=IQ^TQ = I，复酉 U∗U=IU^*U = I——都保持长度不变

当代应用

矩阵是现代计算的核心数据结构。在数值线性代数中，大规模矩阵的高效算法（Krylov 子空间方法、稀疏矩阵技术）是科学计算的基础。在机器学习中，权重矩阵是神经网络的核心参数，注意力机制（Transformer）的本质是矩阵乘法。在图像处理中，图像表示为像素矩阵，压缩和滤波都是矩阵运算。在图论中，邻接矩阵和拉普拉斯矩阵描述图的结构。在量子计算中，量子门是酉矩阵，量子算法的核心是矩阵指数运算。

矩阵的存储和计算是高性能计算的核心挑战。稀疏矩阵格式（CSR、CSC、COO）只存储非零元素——大规模有限元模型的矩阵通常 99% 以上是零。GPU 加速利用矩阵乘法的并行性——深度学习训练的核心就是大规模矩阵乘法。分布式矩阵计算将大矩阵分块存储在多台机器上——是大规模机器学习的基础。

核心公式汇编

概念公式
矩阵乘法(AB)ij=∑kaikbkj(AB)_{ij} = \sum_k a_{ik}b_{kj}
行列式展开det⁡(A)=∑j(−1)i+jaijdet⁡(Aij)\det(A) = \sum_j (-1)^{i+j}a_{ij}\det(A_{ij})
逆矩阵A−1=1det⁡Aadj(A)A^{-1} = \frac{1}{\det A}\text{adj}(A)
LU 分解$A = LU$，det⁡(A)=∏uii\det(A) = \prod u_{ii}
SVDA=UΣVTA = U\Sigma V^T
条件数$\kappa(A) = \A\\A^{-1}\= \sigma{\max}/\sigma{\min}$
幂等矩阵P2=PP^2 = P（投影矩阵）

经典问题

  1. 线性方程组的高效求解：Gauss 消元法的计算复杂度为 O(n3)O(n^3)——大规模方程组需要更高效的方法（迭代法、稀疏矩阵技术）
  2. 矩阵的低秩近似：min⁡rank(B)=k∥A−B∥F\min_{\text{rank}(B)=k} \|A - B\|_F——截断 SVD 给出最优低秩近似，是数据压缩和降维的基础
  3. 矩阵补全：从部分观测恢复完整矩阵——Netflix 推荐问题的数学模型
  4. 矩阵指数：eAt=∑k=0∞(At)kk!e^{At} = \sum_{k=0}^\infty \frac{(At)^{k}}{k!}——线性 ODE x˙=Ax\dot{x} = Ax 的解为 x(t)=eAtx(0)x(t) = e^{At}x(0)
  5. 永久与行列式：perm(A)=∑σ∏ai,σ(i)\text{perm}(A) = \sum_\sigma \prod a_{i,\sigma(i)}——没有符号因子的行列式，计算永久是 #P 完全的

与其他概念的关系

矩阵是连接多个数学分支的枢纽： - → 线性变换：矩阵是线性变换在选定基下的表示——不同基下的矩阵相似 - → 特征值：特征多项式 det⁡(A−λI)=0\det(A-\lambda I)=0 的根是特征值——对角化的核心 - → 图论：邻接矩阵和拉普拉斯矩阵描述图的结构 - → 概率论：转移矩阵描述 Markov 链的状态转移 - → 优化理论：Hessian 矩阵决定多元函数的极值性质 - → 数值分析：矩阵条件数衡量数值问题的稳定性——κ(A)=∥A∥∥A−1∥\kappa(A) = \|A\|\|A^{-1}\|

跨域连接

  • 图论：邻接矩阵的 k 次幂在第 i 行第 j 列上的数，恰是从 i 到 j 长度为 k 的路径条数，因为矩阵乘法做的正是"逐段拼接再求和"。推论是：只要能算矩阵幂，就能在不枚举任何一条路径的前提下把路径数出来。
  • 换一套运算：把矩阵乘法里的加法换成取最小、乘法换成相加，同一段代码算出的就不再是路径条数，而是最短路长度。图算法的差别常常只在于底层用的是哪一对运算。推论是：换运算就换算法，代码结构可以完全不动。
  • 投入产出：直接消耗系数矩阵的每一项回答"某行业每单位产出要吃掉多少另一行业的产品"。把总产出解展开成矩阵的幂级数，就是直接需求加一轮间接、再加两轮间接。推论是：级数收敛当且仅当经济能自我维持，否则模型给出发散的产出。
  • 代际流动：把"父辈阶层到子辈阶层"写成转移矩阵，矩阵的幂给出隔若干代之后的分布；只要转移不可约且非周期，长期分布与起点无关。推论是：流动性的高低可以直接读成"收敛到长期分布需要几代人"，从而在不同社会之间可比。
  • 序列比对：氨基酸替换的打分矩阵，每一项是这两种残基在同源序列里共现频率相对随机期望的对数比，因此它是一张由数据估出来的关系表，而不是人为规定的权重。推论是：换一套训练序列就换出一张矩阵，比对结果随之改变——比对并没有唯一正确答案，只有相对某张表的最优解。

参考文献

  1. Arthur Cayley, "A Memoir on the Theory of Matrices" (1858).
  2. Gilbert Strang, Introduction to Linear Algebra (6th ed., 2023).
  3. Roger Horn & Charles Johnson, Matrix Analysis (2nd ed., 2012).
  4. 李尚志, 《线性代数》, 高等教育出版社, 2006.
  5. Nicholas Higham, Accuracy and Stability of Numerical Algorithms (2nd ed., 2002).

矩阵把线性变换表示为数表，使抽象的线性映射可被具体计算。矩阵乘法对应变换复合，行列式判定可逆性，特征值揭示变换的不变方向。从解线性方程组、计算机图形学的坐标变换，到马尔可夫链与神经网络的权重，都建立在矩阵运算之上。