【笔记】初等线性代数
Starrykiller
·
·
学习·文化课
Lecture 1 方程组的几何解释
\gdef \bs {\boldsymbol}
\gdef \blue {\textcolor{blue}}
考虑方程
\begin{cases}
a_{1,1}x_1+a_{1,2}x_2+\ldots+a_{1,n}x_n=b_1 \\
a_{2,1}x_1+a_{2,2}x_2+\ldots+a_{2,n}x_n=b_2 \\
\vdots \\
a_{n,1}x_1+a_{n,2}x_2+\ldots+a_{n,n}x_n=b_n \\
\end{cases}
可以被写成
\begin{bmatrix}
a_{1,1} & a_{1,2} & \cdots & a_{1,n} \\
a_{2,1} & a_{2,2} & \cdots & a_{2,n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n,1} & a_{n,2} & \cdots & a_{n,n} \\
\end{bmatrix}
\begin{bmatrix}
x_1 \\
x_2 \\
\vdots \\
x_n
\end{bmatrix}
=
\begin{bmatrix}
b_1 \\
b_2 \\
\vdots \\
b_n
\end{bmatrix}
即 \bs{A}\bs{x}=\bs{b}。
从「行图像（row picture）」的角度来讲，每一行就是一个 n 元一次方程组，在 n 维空间中确定一个 (n-1) 维的「平面」；将右侧的向量 \bs b 视为一个点，那么这个点实际上就是 n 个「平面」之交。可以写成 \bs A 的每一行与 \bs{x} 的点积的形式。
从「列图像（column picture）」的角度来讲，这个方程可以被写成
x_1\begin{bmatrix}
a_{1,1} \\
a_{1,2} \\
\vdots \\
a_{1,n}
\end{bmatrix}
+
x_2\begin{bmatrix}
a_{2,1} \\
a_{2,2} \\
\vdots \\
a_{2,n}
\end{bmatrix}
+
\cdots+
x_n\begin{bmatrix}
a_{n,1} \\
a_{n,2} \\
\vdots \\
a_{n,n}
\end{bmatrix}
=
\begin{bmatrix}
b_1 \\
b_2 \\
\vdots \\
b_n
\end{bmatrix}
也就是，将每一列向量线性组合之后得到 \bs{b}。
注记：相应地，我们也有行的表示形式
\begin{bmatrix}
x_1 &
x_2 &
\cdots &
x_n
\end{bmatrix}
\begin{bmatrix}
a_{1,1} & a_{1,2} & \cdots & a_{1,n} \\
a_{2,1} & a_{2,2} & \cdots & a_{2,n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n,1} & a_{n,2} & \cdots & a_{n,n} \\
\end{bmatrix}
=
x_1
\begin{bmatrix}
a_{1,1} & a_{1,2} & \cdots & a_{1,n}
\end{bmatrix}
+
x_2
\begin{bmatrix}
a_{2,1} & a_{2,2} & \cdots & a_{2,n}
\end{bmatrix}
+\cdots
+
x_n
\begin{bmatrix}
a_{n,1} & a_{n,2} & \cdots & a_{n,n}
\end{bmatrix}
对于满秩（即每一列向量都不线性相关）的矩阵而言，无论 \bs{b} 是什么，都能得到解 \bs{x}，这是因为列向量张成的空间覆盖了整个 \mathbb{R}^n。从逆矩阵的角度来讲，两边同乘 \bs{A}^{-1} 得到 \bs{x}=\bs{A}^{-1}\bs{b}，也同样可以说明这一点。
张成（span）的意思是，一组向量线性组合得到的所有向量。
$\text{So the span of the columns of }\bs{A}\text{ (independent or not) is the column space.}
一个矩阵的列空间（column space）就是这个矩阵的所有列张成的线性空间。行空间同理。
- 这个矩阵有多少列是线性无关的？
- 哪 r 列是线性无关的？
- 这线性无关的 r 列是矩阵列空间的一组基（basis）。
Lecture 2 矩阵消元
Gauss 消元：将一个一般的矩阵 \bs A 消成上三角矩阵（记作 \bs U）。
回代（substitution）后即可求得原方程的解。
我们用矩阵来描述消元时做的操作：
\begin{bmatrix}
1 & 2 & 1 \\
3 & 8 & 1 \\
0 & 4 & 1
\end{bmatrix}
\underrightarrow{\text{用行 1 消去行 2}}{}
\begin{bmatrix}
1 & 2 & 1 \\
\blue 0 & \blue 2 & \blue {-2} \\
0 & 4 & 1
\end{bmatrix}
例如上面的变换中，将第二行减去第一行的三倍，消掉第一列的主元。这个操作可以用左乘一个矩阵来描述：
\begin{bmatrix}
1 & 0 & 0 \\
\red{-3} & 1 & 0 \\
0 & 0 & 1
\end{bmatrix}
\begin{bmatrix}
1 & 2 & 1 \\
3 & 8 & 1 \\
0 & 4 & 1
\end{bmatrix}
=
\begin{bmatrix}
1 & 2 & 1 \\
\blue 0 & \blue 2 & \blue {-2} \\
0 & 4 & 1
\end{bmatrix}
左乘的矩阵叫做初等矩阵（elementary matrix），记作 \bs E。这里因为是消去了 (2,1) 的元素，我们将它记作 \bs E_{2,1}。
在上例的矩阵中，我们可以得到 \bs E_{3,2}(\bs E_{2,1} \bs A)=\bs U。
考虑矩阵乘法的结合律，\bs (\bs E_{3,2}\bs E_{2,1}) \bs A=\bs U。记 \bs E=\bs E_{3,2}\bs E_{2,1}，用 \bs E 左乘 \bs A 就完成了消元。
事实上，上例只是其中一种初等矩阵。还有另一种初等矩用于交换两行：
\begin{bmatrix}
0 & 1 \\
1 & 0 \\
\end{bmatrix}
\begin{bmatrix}
a & b \\
c & d \\
\end{bmatrix}
=
\begin{bmatrix}
c & d \\
a & b \\
\end{bmatrix}
左边左乘的矩阵记作 \bs P，即置换（permutation）。事实上，这个矩阵就是单位矩阵 \bs I 交换想要交换的两行得到的。
欲交换列的话，只需要类似地右乘一个 \bs P 就好了。
行变换时左乘矩阵，列变换时右乘矩阵。
逆矩阵（inverse matrix）：「撤销」某种操作的矩阵。
例如，以上文的 \bs E_{2,1} 为例，显然它的逆是
\begin{bmatrix}
1 & 0 & 0 \\
\red{3} & 1 & 0 \\
0 & 0 & 1
\end{bmatrix}
记作 {\bs E_{2,1}}^{-1}。我们得到 {\bs E_{2,1}}^{-1}\bs E_{2,1}=\bs I。
Lecture 3 乘法与逆矩阵
对于矩阵乘法 \bs C=\bs A\bs B 而言，\bs C_{i,j} 就是拿 \bs A 的第 i 行点上 \bs B 的第 j 列得到的。
也就是：\displaystyle \bs C_{i,j}=\sum_{1\le k\le n} \bs A_{i,k}\bs B_{k,j}。这是逐点乘。
拿 \bs A 左乘 \bs B 的第 i 列就可以得到 \bs C 的第 i 列。同理，拿 \bs B 右乘 \bs A 的第 j 行就可以得到 \bs C 的第 j 行。
根据上面可以知道：\bs C 中的每一列都是 \bs A 中各列的线性组合，行同理。
第四种做矩阵乘法的方法是，将 \bs A 的第 i 列（n\times 1）乘以 \bs B 的第 j 行（1\times p）得到 n\times p 的矩阵。将 m^2 个这样的矩阵加起来即得到 \bs C。
当且仅当 \bs A 的列数和 \bs B 的行数相同时能进行矩阵乘法，n\times m 的矩阵乘上 m\times p 的矩阵结果是 n\times p 的矩阵。
矩阵乘法有结合律，没有交换律。
矩阵分块乘法：
\begin{bmatrix}
\bs A_1 & \bs A_2 \\
\bs A_3 & \bs A_4
\end{bmatrix}
\begin{bmatrix}
\bs B_1 & \bs B_2 \\
\bs B_3 & \bs B_4
\end{bmatrix}
右侧分块内的每个元素就等于分块行乘以分块列。
可以证明，如果方阵 \bs A 有逆，那么它的左逆等于右逆，统称矩阵 \bs A 的逆矩阵，记作 \bs A^{-1}。
可以证明，如果存在向量 \bs x\neq \bs 0，使得 \bs A\bs x=\bs 0，那么矩阵 \bs A 不可逆。
证明
假设 \bs A 存在逆，两边左乘得 \bs A^{-1}\bs A\bs x=\bs A^{-1}\bs 0=\bs 0。
但是用结合律可以得到 \bs I\bs x=\bs 0，这和 \bs x\neq \bs 0 矛盾。\square
其实 \bs A\bs x=\bs 0 也说明 \bs A 的各列线性相关，从而 \bs A 不是满秩的，从而不可逆。
求逆矩阵可以将原矩阵右边加入一个单位矩阵后消元，将左边消成单位阵后右半边的矩阵即为结果。即 Gauss-Jordan 消元法。
考虑原理：我们通过左乘若干个初等矩阵将 \bs A 消成了 \bs I，不妨记初等矩阵之积为 \bs E，则 \bs E\bs A=\bs I；两边同时右乘 \bs A^{-1} 得到 \bs E=\bs A^{-1}。