线性代数-MIT 18.06-6(b)_顺序主式子怎样算

本文在学习《麻省理工公开课 线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MITB站视频

笔记部分：总结参考子实

28.正定矩阵和最小值

正定性的判断

我们仍然从二阶说起，有矩阵 A = [ a b b d ] A=

$$\begin{bmatrix}a&b\\b&d\end{bmatrix}$$ A=[ab​bd​]，判断其正定性有以下方法：

1. 矩阵的所有特征值大于零则矩阵正定：${\lambda }_1>0,{\lambda }_2>0$；
2. 矩阵的所有顺序主子阵（leading principal submatrix）的行列式（即顺序主子式，leading principal minor）大于零则矩阵正定：$a>0,ac-b^2>0$；
3. 矩阵消元后主元均大于零：$a>0,\frac{ac-b^2}{a}>0$；
4. $x^{T}Ax>0$；

大多数情况下使用性质4来定义正定性，而用前三条来验证正定性。

来计算一个例子： A = [ 2 6 6 ? ] A=

$$\begin{bmatrix}2&6\\6&?\end{bmatrix}$$ A=[26​6?​]，在$?$处填入多少才能使矩阵正定？

半正定

1. 来试试$18$，此时矩阵为 A = [ 2 6 6 18 ] A=

   $$\begin{bmatrix}2&6\\6&18\end{bmatrix}$$ A=[26​618​]，$\det A=0$，此时的矩阵成为半正定矩阵（positive semi-definite）。矩阵奇异，其中一个特征值必为$0$，从迹得知另一个特征值为$20$。矩阵的主元只有一个，为$2$。

2. 计算$x^{T}Ax$，得 [ x 1 x 2 ] [ 2 6 6 18 ] [ x 1 x 2 ] = 2 x 1 2 + 12 x 1 x 2 + 18 x 2 2

   $$\begin{bmatrix}x_1&x_2\end{bmatrix}$$ $$\begin{bmatrix}2&6\\6&18\end{bmatrix}$$ $$\begin{bmatrix}x_1\\x_2\end{bmatrix}$$ =2x_1^2+12x_1x_2+18x_2^2 [x1​​x2​​][26​618​][x1​x2​​]=2x12​+12x1​x2​+18x22​这样我们得到了一个关于$x_1,x_2$的函数$f(x_1,x_2)=2x_1^2+12x_1{x}_2+18x_2^2$，这个函数不再是线性的，在本例中这是一个纯二次型（quadratic）函数，它没有线性部分、一次部分或更高次部分（$Ax$是线性的，但引入$x^T$后就成为了二次型）。

3. 当$?$取$18$时，判定1、2、3都是“刚好不及格”。

非正定

1. 我们可以先看“一定不及格”的样子，令$?=7$，矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 7\end{array}\right]$，二阶顺序主子式变为$-22$，显然矩阵不是正定的，此时的函数为$f(x_1,x_2)=2x_1^2+12x_1{x}_2+7x_2^2$，如果取$x_1=1,x_2=-1$则有$f(1,-1)=2-12+7<0$。
2. 如果我们把$z=2x^2+12xy+7y^2$放在直角坐标系中，图像过原点$z(0,0)=0$，当$y=0$或$x=0$或$x=y$时函数为开口向上的抛物线，所以函数图像在某些方向上是正值；而在某些方向上是负值，比如$x=-y$，所以函数图像是一个马鞍面（saddle）。
3. $(0,0,0)$点称为鞍点（saddle point），它在某些方向上是极大值点，而在另一些方向上是极小值点。（实际上函数图像的最佳观测方向是沿着特征向量的方向。）

正定

1. 再来看一下“一定及格”的情形，令$?=20$，矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 20\end{array}\right]$，行列式为$\det A=4$，迹为$trace(A)=22$，特征向量均大于零，矩阵可以通过测试。此时的函数为$f(x_1,x_2)=2x_1^2+12x_1{x}_2+20x_2^2$，函数在除$(0,0)$外处处为正。
2. 我们来看看$z=2x^2+12xy+20y^2$的图像，式子的平方项均非负，所以需要两个平方项之和大于中间项即可，该函数的图像为抛物面（paraboloid）。在$(0,0)$点函数的一阶偏导数均为零，二阶偏导数均为正（马鞍面的一阶偏导数也为零，但二阶偏导数并不均为正，所以），函数在该点取极小值。

正定和极小值关系

在微积分中，一元函数取极小值需要一阶导数为零且二阶导数为正$\frac{\mathrm{d}u}{\mathrm{d}x}=0,\frac{{\mathrm{d}}^{2}u}{\mathrm{d}{x}^2}>0$。在线性代数中我们遇到了了多元函数$f(x_1,x_2,\cdots ,x_n)$，要取极小值需要二阶偏导数矩阵为正定矩阵。

在本例中（即二阶情形），如果能用平方和的形式来表示函数，则很容易看出函数是否恒为正，

• 如果是上面的$?=18$的情形，则有$f(x,y)=2x^2+12xy+20y^2=2{\left(x+3y\right)}^2+2y^2$。
• 如果是上面的$?=7$的情形，则有$f(x,y)=2(x+3y{)}^2-11y^2$
• 如果是$?=18$的情形，则有$f(x,y)=2(x+3y{)}^2$。

提到二阶导数矩阵，这个矩阵型为 [ f x x f x y f y x f y y ]

$$\begin{bmatrix}f_{xx}&f_{xy}\\f_{yx}&f_{yy}\end{bmatrix}$$ [fxx​fyx​​fxy​fyy​​]，显然，矩阵中的主对角线元素（纯二阶导数）必须为正，并且主对角线元素必须足够大来抵消混合导数的影响。

同时还可以看出，因为二阶导数的求导次序并不影响结果，所以矩阵必须是对称的。现在我们就可以计算$n\times n$阶矩阵了。

正定的几何意义

如果令$z=1$，相当于使用$z=1$平面截取该函数图像，

• 如果在$?=20$的”碗“上截取曲线将得到一个椭圆曲线。
• 如果在$?=7$的马鞍面上截取曲线将得到一对双曲线。

正定配平方和LU消元关系

再来看这个矩阵的消元， [ 2 6 6 20 ] = [ 1 0 − 3 1 ] [ 2 6 0 2 ]

$$\begin{bmatrix}2&6\\6&20\end{bmatrix}$$ = $$\begin{bmatrix}1&0\\-3&1\end{bmatrix}$$ $$\begin{bmatrix}2&6\\0&2\end{bmatrix}$$ [26​620​]=[1−3​01​][20​62​]

这就是$A=LU$，可以发现矩阵$L$中的项与配平方中未知数的系数有关，而主元则与两个平方项外的系数有关，这也就是为什么正数主元得到正定矩阵。

正定例题

计算一个三阶矩阵， A = [ 2 − 1 0 − 1 2 − 1 0 − 1 2 ] A=

$$\begin{bmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{bmatrix}$$ A=⎣⎡​2−10​−12−1​0−12​⎦⎤​，它是正定的吗？函数$x^{T}Ax$是多少？函数在原点去最小值吗？图像是什么样的？

• 先来计算矩阵的顺序主子式，分别为$2,3,4$；再来计算主元，分别为$2,\frac{3}{2},\frac{4}{3}$；计算特征值，${\lambda }_1=2-\sqrt{2},{\lambda }_2=2,{\lambda }_3=2+\sqrt{2}$。
• 计算$x^{T}Ax=2x_1^2+2x_2^2+2x_3^2-2x_1{x}_2-2x_2{x}_3$。
• 图像是四维的抛物面，当我们在$f(x_1,x_2,x_3)=1$处截取该面，将得到一个椭圆体。一般椭圆体有三条轴，特征值的大小决定了三条轴的长度，而特征向量的方向与三条轴的方向相同。

现在我们将矩阵$A$分解为$A=Q\Lambda Q^T$，可以发现上面说到的各种元素都可以表示在这个分解的矩阵中，我们称之为主轴定理（principal axis theorem），即特征向量说明主轴的方向、特征值说明主轴的长度。

29.相似矩阵和若尔当形

正定矩阵复习

• 正定矩阵的逆矩阵有什么性质？我们将正定矩阵分解为$A=S\Lambda S^{-1}$，引入其逆矩阵$A^{-1}=S{\Lambda }^{-1}{S}^{-1}$，我们知道正定矩阵的特征值均为正值，所以其逆矩阵的特征值也必为正值（即原矩阵特征值的倒数）所以，正定矩阵的逆矩阵也是正定的。

• 如果$A,B$均为正定矩阵，那么$A+B$呢？我们可以从判定$x^T(A+B)x$入手，根据条件有$x^{T}Ax>0,x^{T}Bx>0$，将两式相加即得到$x^T(A+B)x>0$。所以正定矩阵之和也是正定矩阵。

• 再来看有$m\times n$矩阵$A$，则$A^{T}A$具有什么性质？我们在投影部分经常使用$A^{T}A$，这个运算会得到一个对称矩阵，这个形式的运算用数字打比方就像是一个平方，用向量打比方就像是向量的长度平方，而对于矩阵，有$A^{T}A$正定：在式子两边分别乘向量及其转置得到$x^T{A}^{T}Ax$，分组得到$(Ax{)}^T(Ax)$，相当于得到了向量$Ax$的长度平方，则$|Ax{|}^2\ge 0$。

  要保证模不为零，则需要$Ax$的零空间中仅有零向量，即$A$的各列线性无关（$rank(A)=n$）即可保证$|Ax{|}^2>0$，$A^{T}A$正定。

• 在矩阵数值计算中，正定矩阵消元不需要进行“行交换”操作，也不必担心主元过小或为零，正定矩阵具有良好的计算性质。

相似矩阵

定义

矩阵$A,B$对于某矩阵$M$满足$B=M^{-1}AM$时，成$A,B$互为相似矩阵。

**例：**相似矩阵举例（对角化）

对于在对角化一讲（第二十二讲）中学过的式子$S^{-1}AS=\Lambda$，则有$A$相似于$\Lambda$。

• ， A = [ 2 1 1 2 ] A=

  $$\begin{bmatrix}2&1\\1&2\end{bmatrix}$$ A=[21​12​]，容易通过其特征值得到相应的对角矩阵$\Lambda =\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$，取$M=\left[\begin{array}{cc}1& 4\\ 0& 1\end{array}\right]$，则$B=M^{-1}AM=\left[\begin{array}{cc}1& -4\\ 0& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\left[\begin{array}{cc}1& 4\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}-2& -15\\ 1& 6\end{array}\right]$。

  我们来计算这几个矩阵的的特征值（利用迹与行列式的性质），${\lambda }_{\Lambda }=3,1$、${\lambda }_A=3,1$、${\lambda }_B=3,1$。

所以，相似矩阵有相同的特征值。

• 继续上面的例子，特征值为$3,1$的这一族矩阵都是相似矩阵，如$\left[\begin{array}{cc}3& 7\\ 0& 1\end{array}\right]$、$\left[\begin{array}{cc}1& 7\\ 0& 3\end{array}\right]$，其中最特殊的就是$\Lambda$。

证明：相似矩阵特征值相等

有$Ax=\lambda x,B=M^{-1}AM$，

第一个式子化为$AM{M}^{-1}x=\lambda x$，

接着两边同时左乘$M^{-1}$得$M^{-1}AM{M}^{-1}x=\lambda M^{-1}x$，

进行适当的分组得$\left(M^{-1}AM\right)M^{-1}x=\lambda M^{-1}x$即$B{M}^{-1}x=\lambda M^{-1}x$。

$B{M}^{-1}=\lambda M^{-1}x$可以解读成矩阵$B$与向量$M^{-1}x$之积等于$\lambda$与向量$M^{-1}x$之积，也就是$B$的仍为$\lambda$，而特征向量变为$M^{-1}x$。

特征值重复情形

以上就是我们得到的一族特征值为$3,1$的矩阵，它们具有相同的特征值。接下来看特征值重复时的情形。

• 特征值重复可能会导致特征向量短缺

  来看一个例子，设${\lambda }_1={\lambda }_2=4$，写出具有这种特征值的矩阵中的两个 [ 4 0 0 4 ]

  $$\begin{bmatrix}4&0\\0&4\end{bmatrix}$$ [40​04​]，$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$。

  具有这种特征值的矩阵可以分为两族，

  1. 第一族仅有一个矩阵 [ 4 0 0 4 ]

     $$\begin{bmatrix}4&0\\0&4\end{bmatrix}$$ [40​04​]，它只与自己相似（因为$M^{-1}\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]M=4M^{-1}IM=4I=\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]$，所以无论$M$如何取值该对角矩阵都只与自己相似）；

  2. 另一族就是剩下的诸如 [ 4 1 0 4 ]

     $$\begin{bmatrix}4&1\\0&4\end{bmatrix}$$ [40​14​]的矩阵，它们都是相似的。在这个“大家族”中，$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$是“最好”的一个矩阵，称为若尔当形。

若尔当形在过去是线性代数的核心知识，但现在不是（现在是奇异值分解），因为它并不容易计算。

• 继续上面的例子，我们再举出几个这一族的矩阵$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right],\left[\begin{array}{cc}5& 1\\ -1& 3\end{array}\right],\left[\begin{array}{cc}4& 0\\ 17& 4\end{array}\right]$，我们总是可以构造出一个满足$trace(A)=8,\det A=16$的矩阵，这个矩阵总是在这一个“家族”中。

若尔当形

若尔当理解

再来看一个更加“糟糕”的矩阵：

• 矩阵 [ 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 ]

  $$\begin{bmatrix}0&1&0&0\\0&0&1&0\\0&0&0&0\\0&0&0&0\end{bmatrix}$$ ⎣⎢⎢⎡​0000​1000​0100​0000​⎦⎥⎥⎤​，其特征值为四个零。很明显矩阵的秩为$2$，所以其零空间的维数为$4-2=2$，即该矩阵有两个特征向量。可以发现该矩阵在主对角线的上方有两个$1$，在对角线上每增加一个$1$，特征向量个个数就减少一个。

• 另一个例子， [ 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 ]

  $$\begin{bmatrix}0&1&0&0\\0&0&0&0\\0&0&0&1\\0&0&0&0\end{bmatrix}$$ ⎣⎢⎢⎡​0000​1000​0000​0010​⎦⎥⎥⎤​，从特征向量的数目看来这两个矩阵是相似的，其实不然。

  若尔当认为第一个矩阵是由一个$3\times 3$的块与一个$1\times 1$的块组成的
  [ 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 ] \left[

  $$\begin{array}{ccc|c}0&1&0&0\\0&0&0&0\\0&0&0&1\\\hline0&0&0&0\end{array}$$ \right] ⎣⎢⎢⎡​0000​1000​0000​0010​​⎦⎥⎥⎤​
  而第二个矩阵是由两个$2\times 2$矩阵组成的，这些分块被称为若尔当块。
  $$\left[\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}\right]$$

若尔当形式

若尔当块的定义型为 J i = [ λ i 1 ⋯ λ i 1 ⋯ λ i ⋯ ⋮ ⋮ ⋮ ⋱ λ i ] J_i=

$$\begin{bmatrix}\lambda_i&1&&\cdots&\\&\lambda_i&1&\cdots&\\&&\lambda_i&\cdots&\\\vdots&\vdots&\vdots&\ddots&\\&&&&\lambda_i\end{bmatrix}$$ Ji​=⎣⎢⎢⎢⎢⎢⎡​λi​⋮​1λi​⋮​1λi​⋮​⋯⋯⋯⋱​λi​​⎦⎥⎥⎥⎥⎥⎤​

它的对角线上只为同一个数，仅有一个特征向量。

所以有，每一个矩阵$A$都相似于一个若尔当矩阵，型为 J = [ J 1 J 2 ⋱ J d ] J=\left[

$$\begin{array}{c|c|c|c}J_1&&&\\\hline&J_2&&\\\hline&&\ddots&\\\hline&&&J_d\end{array}$$ \right] J=⎣⎢⎢⎡​J1​​J2​​⋱​Jd​​​⎦⎥⎥⎤​。

注意，对角线上方还有$1$。若尔当块的个数即为矩阵特征值的个数。

在矩阵为“好矩阵”的情况下，$n$阶矩阵将有$n$个不同的特征值，那么它可以对角化，所以它的若尔当矩阵就是$\Lambda$，共$n$个特征向量，有$n$个若尔当块。

30.奇异值分解

本讲我们介绍将一个矩阵写为$A=U\Sigma V^T$，分解的因子分别为正交矩阵、对角矩阵、正交矩阵，与前面几讲的分解不同的是，这两个正交矩阵通常是不同的，而且这个式子可以对任意矩阵使用，不仅限于方阵、可对角化的方阵等。

分解归纳

• 在正定一讲中（第二十八讲）我们知道一个正定矩阵可以分解为$A=Q\Lambda Q^T$的形式，由于$A$对称性其特征向量是正交的，且其$\Lambda$矩阵中的元素皆为正，这就是正定矩阵的奇异值分解。在这种特殊的分解中，我们只需要一个正交矩阵$Q$就可以使等式成立。
• 在对角化一讲中（第二十二讲），我们知道可对角化的矩阵能够分解为$A=S\Lambda S^T$的形式，其中$S$的列向量由$A$的特征向量组成，但$S$并不是正交矩阵，所以这不是我们希望得到的奇异值分解。

SVD分解目的

目标：我们现在要做的是，在$A$的列空间中找到一组特殊的正交基$v_1,v_2,\cdots ,v_r$，这组基在$A$的作用下可以转换为$A$的行空间中的一组正交基$u_1,u_2,\cdots ,u_r$。

用矩阵语言描述为
A [ v 1   v 2   ⋯   v r ] = [ σ 1 u 1   σ 2 u 2   ⋯   σ r u r ] = [ u 1   u 2   ⋯   u r ] [ σ 1 σ 2 ⋱ σ n ] A\Bigg[v_1\ v_2\ \cdots\ v_r\Bigg]=\Bigg[\sigma_1u_1\ \sigma_2u_2\ \cdots\ \sigma_ru_r\Bigg]=\Bigg[u_1\ u_2\ \cdots\ u_r\Bigg]

$$\begin{bmatrix}\sigma_1&&&\\&\sigma_2&&\\&&\ddots&\\&&&\sigma_n\end{bmatrix}$$ A[v1​ v2​ ⋯ vr​]=[σ1​u1​ σ2​u2​ ⋯ σr​ur​]=[u1​ u2​ ⋯ ur​]⎣⎢⎢⎡​σ1​​σ2​​⋱​σn​​⎦⎥⎥⎤​

即$A{v}_1={\sigma }_1{u}_1,A{v}_2={\sigma }_2{u}_2,\cdots ,A{v}_r={\sigma }_r{u}_r$，这些$\sigma$是缩放因子，表示在转换过程中有拉伸或压缩。

而$A$的左零空间和零空间将体现在$\sigma$的零值中。

另外，如果算上左零、零空间，我们同样可以对左零、零空间取标准正交基，然后写为
A [ v 1   v 2   ⋯   v r   v r + 1   ⋯   v m ] = [ u 1   u 2   ⋯   u r   u r + 1   ⋯   u n ] [ σ 1 ⋱ σ r [ 0 ] ] A\Bigg[v_1\ v_2\ \cdots\ v_r\ v_{r+1}\ \cdots\ v_m\Bigg]=\Bigg[u_1\ u_2\ \cdots\ u_r\ u_{r+1}\ \cdots \ u_n\Bigg]\left[

$$\begin{array}{c c c|c}\sigma_1&&&\\&\ddots&&\\&&\sigma_r&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}$$ \right] A[v1​ v2​ ⋯ vr​ vr+1​ ⋯ vm​]=[u1​ u2​ ⋯ ur​ ur+1​ ⋯ un​]⎣⎢⎢⎡​σ1​​⋱​σr​​[0​]​​⎦⎥⎥⎤​
此时$U$是$m\times m$正交矩阵，$\Sigma$是$m\times n$对角矩阵，$V^T$是$n\times n$正交矩阵。

最终可以写为
$$AV=U\Sigma$$

可以看出这十分类似对角化的公式，矩阵$A$被转化为对角矩阵$\Sigma$，我们也注意到$U,V$是两组不同的正交基。

（在正定的情况下，$U,V$都变成了$Q$。）。进一步可以写作$A=U\Sigma V^{-1}$，因为$V$是标准正交矩阵所以可以写为$A=U\Sigma V^T$

SVD分解计算实例

计算一个案例， A = [ 4 4 − 3 3 ] A=

$$\begin{bmatrix}4&4\\-3&3\end{bmatrix}$$ A=[4−3​43​]，我们需要找到：

• 行空间${\mathbb{R}}^2$的标准正交基$v_1,v_2$；
• 列空间${\mathbb{R}}^2$的标准正交基$u_1,u_2$；
• ${\sigma }_1>0,{\sigma }_2>0$。

在$A=U\Sigma V^T$中有两个标准正交矩阵需要求解，我们希望一次只解一个，如何先将$U$消去来求$V$？

求解技巧$A^{T}A$和$A{A}^T$

技巧原理

• 这个技巧会经常出现在长方形矩阵中：求$A^{T}A$消掉$U$

$A^{T}A$是一个对称正定矩阵（至少是半正定矩阵），于是有$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T$，由于$U$是标准正交矩阵，所以$U^{T}U=I$，而${\Sigma }^T\Sigma$是对角线元素为${\sigma }^2$的对角矩阵。

现在有（通过$A^{T}A$求解$V$）
A T A = V [ σ 1 σ 2 ⋱ σ n ] V T A^TA=V

$$\begin{bmatrix}\sigma_1&&&\\&\sigma_2&&\\&&\ddots&\\&&&\sigma_n\end{bmatrix}$$ V^T ATA=V⎣⎢⎢⎡​σ1​​σ2​​⋱​σn​​⎦⎥⎥⎤​VT
这个式子中$V$即是$A^{T}A$的特征向量矩阵而${\Sigma }^2$是其特征值矩阵。

• 同理，我们只想求$U$时，用$A{A}^T$消掉$V$即可。

计算步骤

例1：

1. 我们来计算$A^{T}A=\left[\begin{array}{cc}4& -3\\ 4& 3\end{array}\right]\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}25& 7\\ 7& 25\end{array}\right]$，对于简单的矩阵可以直接观察得到特征向量$A^{T}A\left[\begin{array}{c}1\\ 1\end{array}\right]=32\left[\begin{array}{c}1\\ 1\end{array}\right],A^{T}A\left[\begin{array}{c}1\\ -1\end{array}\right]=18\left[\begin{array}{c}1\\ -1\end{array}\right]$，化为单位向量有${\sigma }_1=32,v_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right],{\sigma }_2=18,v_2=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right]$。

到目前为止，我们得到 [ 4 4 − 3 3 ] = [ u ? u ? u ? u ? ] [ 32 0 0 18 ] [ 1 2 1 2 1 2 − 1 2 ]

$$\begin{bmatrix}4&4\\-3&3\end{bmatrix}$$ = $$\begin{bmatrix}u_?&u_?\\u_?&u_?\end{bmatrix}$$ $$\begin{bmatrix}\sqrt{32}&0\\0&\sqrt{18}\end{bmatrix}$$ $$\begin{bmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}\end{bmatrix}$$ [4−3​43​]=[u?​u?​​u?​u?​​][32 ​0​018 ​​][2 ​1​2 ​1​​2 ​1​−2 ​1​​]，接下来继续求解$U$。

2. $A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U{\Sigma }^2{U}^T$，求出$A{A}^T$的特征向量即可得到$U$， [ 4 4 − 3 3 ] [ 4 − 3 4 3 ] = [ 32 0 0 18 ]

   $$\begin{bmatrix}4&4\\-3&3\end{bmatrix}$$ $$\begin{bmatrix}4&-3\\4&3\end{bmatrix}$$ = $$\begin{bmatrix}32&0\\0&18\end{bmatrix}$$ [4−3​43​][44​−33​]=[320​018​]，观察得$A{A}^T\left[\begin{array}{c}1\\ 0\end{array}\right]=32\left[\begin{array}{c}1\\ 0\end{array}\right],A{A}^T\left[\begin{array}{c}0\\ 1\end{array}\right]=18\left[\begin{array}{c}0\\ 1\end{array}\right]$。

   但是我们不能直接使用这一组特征向量，因为式子$AV=U\Sigma$明确告诉我们，一旦$V$确定下来，$U$也必须取能够满足该式的向量，

   所以此处 A v 2 = [ 0 − 18 ] = u 2 σ 2 = [ 0 − 1 ] 18 Av_2=

   $$\begin{bmatrix}0\\-\sqrt{18}\end{bmatrix}$$ =u_2\sigma_2= $$\begin{bmatrix}0\\-1\end{bmatrix}$$ \sqrt{18} Av2​=[0−18 ​​]=u2​σ2​=[0−1​]18 ​，则$u_1=\left[\begin{array}{c}1\\ 0\end{array}\right],u_2=\left[\begin{array}{c}0\\ -1\end{array}\right]$。

该问题在本讲的官方笔记中有详细说明。

3. 最终，我们得到$\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$。

例2：

A = [ 4 3 8 6 ] A=

$$\begin{bmatrix}4&3\\8&6\end{bmatrix}$$ A=[48​36​]，这是个秩一矩阵，有零空间。$A$的行空间为$\left[\begin{array}{c}4\\ 3\end{array}\right]$的倍数，$A$的列空间为$\left[\begin{array}{c}4\\ 8\end{array}\right]$的倍数。

• 标准化向量得$v_1=\left[\begin{array}{c}0.8\\ 0.6\end{array}\right],u_1=\frac{1}{\sqrt{5}}\left[\begin{array}{c}1\\ 2\end{array}\right]$。
• $A^{T}A=\left[\begin{array}{cc}4& 8\\ 3& 6\end{array}\right]\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]=\left[\begin{array}{cc}80& 60\\ 60& 45\end{array}\right]$，由于$A$是秩一矩阵，则$A^{T}A$也不满秩，所以必有特征值$0$，则另特征值一个由迹可知为$125$。
• 继续求零空间的特征向量，有$v_2=\left[\begin{array}{c}0.6\\ -0,8\end{array}\right],u_1=\frac{1}{\sqrt{5}}\left[\begin{array}{c}2\\ -1\end{array}\right]$

最终得到 [ 4 3 8 6 ] = [ 1 2 ‾ 2 − 1 ‾ ] [ 125 0 0 0 ‾ ] [ 0.8 0.6 0.6 ‾ − 0.8 ‾ ]

$$\begin{bmatrix}4&3\\8&6\end{bmatrix}$$ = $$\begin{bmatrix}1&\underline {2}\\2&\underline{-1}\end{bmatrix}$$ $$\begin{bmatrix}\sqrt{125}&0\\0&\underline{0}\end{bmatrix}$$ $$\begin{bmatrix}0.8&0.6\\\underline{0.6}&\underline{-0.8}\end{bmatrix}$$ [48​36​]=[12​2​−1​​][125 ​0​00​​][0.80.6​​0.6−0.8​​]，其中下划线部分都是与零空间相关的部分。

补充结论

补充：$AB$的特征值与$BA$的特征值相同

证明来自Are the eigenvalues of AB equal to the eigenvalues of BA? (Citation needed!)

取$\lambda \ne 0$，$v$是$AB$在特征值取$\lambda$时的的特征向量，则有$Bv\ne 0$，并有$\lambda Bv=B(\lambda v)=B(ABv)=(BA)Bv$，所以$Bv$是$BA$在特征值取同一个$\lambda$时的特征向量。

再取$AB$的特征值$\lambda =0$，则$0=\det AB=\det A\det B=\det BA$，所以$\lambda =0$也是$BA$的特征值，得证。

SVD分解总结

$$A=U\Sigma V^T$$

• $v_1,\cdots ,v_r$是行空间的标准正交基；
• $u_1,\cdots ,u_r$是列空间的标准正交基；
• $v_{r+1},\cdots ,v_n$是零空间的标准正交基；
• $u_{r+1},\cdots ,u_m$是左零空间的标准正交基。

ab-equal-to-the-eigenvalues-of-ba-citation-needed)

取$\lambda \ne 0$，$v$是$AB$在特征值取$\lambda$时的的特征向量，则有$Bv\ne 0$，并有$\lambda Bv=B(\lambda v)=B(ABv)=(BA)Bv$，所以$Bv$是$BA$在特征值取同一个$\lambda$时的特征向量。

再取$AB$的特征值$\lambda =0$，则$0=\det AB=\det A\det B=\det BA$，所以$\lambda =0$也是$BA$的特征值，得证。

SVD分解总结

$$A=U\Sigma V^T$$

• $v_1,\cdots ,v_r$是行空间的标准正交基；
• $u_1,\cdots ,u_r$是列空间的标准正交基；
• $v_{r+1},\cdots ,v_n$是零空间的标准正交基；
• $u_{r+1},\cdots ,u_m$是左零空间的标准正交基。

通过将矩阵写为$A{v}_i={\sigma }_i{u}_i$形式，将矩阵对角化，向量$u,v$之间没有耦合，$A$乘以每个$v$都能得到一个相应的$u$。