【线性代数】投影矩阵

· · 学习·文化课

Description

已知平面 \alpha \in \mathbb{R}^n，\{v_1, v_2, \cdots, v_k\} 为 \alpha 的基。

求证：\forall v \in \mathbb{R}^n，从 v 到 v 在 \alpha 上的投影是线性变换，并给出对应矩阵。

Solution

Part 1

令 p 为 v 在 \alpha 上的投影向量，则 e = v - p 与 \alpha 垂直，即

\begin{bmatrix} v_1 &v_2 &\cdots &v_k \end{bmatrix}^T e = 0

令 M = \begin{bmatrix} v_1 &v_2 &\cdots &v_k \end{bmatrix}，则 M^Te = 0。

令 p = \sum_{i=1}^k \widehat{x}_i v_i = Mx，则 M^T(v - Mx) = 0，得到 Normal Equation

M^T v = (M^TM) x

根据经典结论，r(M^TM) = r(M) = k，因此 M^TM 可逆，则

x = (M^TM)^{-1}M^Tv

代回 p = Mx 得

p = M(M^TM)^{-1}M^Tv

令 \boldsymbol{P = M(M^TM)^{-1}M^T}，则 p = Pv。P 即为投影对应的线性变换矩阵。

Part 2

Q：为何 M^TM 与 M 的秩相等？

A：

  • 首先，我们有
    • Mx = 0 \longrightarrow M^TMx = 0
    • M^TMx = 0 \longrightarrow x^TM^TMx = 0 \longrightarrow (Mx)^T(Mx) = 0 \longrightarrow ||Mx|| = 0 \longrightarrow Mx = 0
  • 因此 N(M) = N(M^TM)，而 M, M^TM 的列数相等，因此 M, M^TM 的秩也相等。

Q：能将 (M^TM)^{-1} 化简拆开吗？

A:

  • 若 k = n，则 M 为可逆矩阵，可以拆开化简（此时 \alpha = \mathbb{R}^n）。
  • 否则不可拆开化简。

Q：是否存在 v 到 e 的线性变换矩阵？

A: 易得 e = v - p = v - Pv = (I - P)v，其中 I - P 为线性变换矩阵，I 为 n 阶单位阵。

Applications

在线性回归（Linear Regression）里，我们常常需要解决如下问题：

作 t 在 C(A) 上的投影 t_0 = A(A^TA)^{-1}A^Tt，则有 Ax = t_0，显然 x = (A^TA)^{-1}A^Tt。