在Statlect上搜索概率和统计术语
统计列克特
指数 > 矩阵代数

奇异值分解

通过 博士

矩阵的奇异值分解(SVD)允许分解任何 (不一定是正方形)矩阵转化为三个项的乘积:

  1. ary矩阵

  2. 一个矩阵,在其主对角线上有正项,零项 别处;

  3. 另一个unit矩阵

两个unit矩阵的列的易于识别的子集 参与分解具有显着的特性 原始列空间和null空间的正交基 矩阵。

奇异值分解是通过使用关于 正定矩阵的对角化。因此,我们建议 修改关于 正定 矩阵 在阅读这一本书之前。

目录

分解

这是分解。

主张A 成为 $ Kimes L $ 矩阵。然后,存在一个 $ Kimes K $ ary矩阵 美元$石灰L $ ary矩阵 V 这样 那[eq1]哪里 $ V ^ {st} $ 表示 共轭 转置V, 西格玛 是一个 $ Kimes L $ 这样的矩阵 $ 西格玛 _ {ij} geq 0 $ 如果 $ i = j $$ 西格玛 _ {ij} = 0 $ 如果 $i
eq j$.

证明

我们首先观察到 矩阵[eq2]是 厄米(等于其共轭转置) 正常 并统一 可对角线化 (即 整体相似 到对角线 矩阵)。而且,对于任何 $酸橙1 $ 向量 x, 我们有 [eq3]如 结果 $ A ^ {st} A $ 是正半定号,这意味着它的 特征值 是 实数非负数。因此,我们可以对角化 $ A ^ {st} A $[eq4]哪里 V 是一个ary矩阵 $ D $ 是对角矩阵,因此其对角线项为实数非负数 数字。当我们对角矩阵时,我们可以任意选择顺序 特征值出现在对角线的 $ D $. 因此,我们可以以这种方式执行对角化 那[eq5]哪里 的 $ D_ {1} $ 是对角矩阵,具有所有严格的正特征值 $ A ^ {st} A $ 在其主要对角线上。假设有 $ r $ 严格为正的特征值,即 $ D_ {1} $$ rimes r $. 划分 V 一分为二 块:[eq6]哪里 $ V_ {1} $$石灰r $. 通过使用 规则 块矩阵的乘法,我们 获得[eq7]注意 那[eq8]和 最后一个方程 暗示[eq9]如 结果,列的平方范数 $ AV_ {2} $ (它们位于矩阵左侧的主对角线上 等式)全为零。因此, [eq10]通过 的正定性 规范。定义 $ Kimes r $ 矩阵[eq11]哪里 $ D_ {1} ^ {1/2} $ 是一个对角矩阵,其对角线项等于的平方根 的对角线项 $ D_ {1} $. 注意 [eq12]所以 那列 $ U_ {1} $ 是正常的。找到任何 [eq13] 矩阵 $ U_ {2} $ 具有正交柱等 那[eq14]在 换句话说, $ U_ {2} $ 选择以“完成正交基础”,即形成 正交基础以及 $ U_ {1} $. 换句话说, $ U_ {2} $ 跨度 正交补码 的 列的跨度 $ U_ {1} $. 定义[eq15]从而, 美元 是一个ary矩阵 然后,[eq16]通过 将双方预先相乘 美元 然后将双方乘以 $ V ^ {st} $, 我们 获得[eq17]

的对角线项 西格玛 (即,条目 $ 西格玛 _ {ii} $ 对于 [eq18]) 被称为 奇异值A.

如果[eq19]然后 奇异值是 $2$, $5$1.

[eq20]然后, 奇异值是 1, 10.

如果[eq21]然后 奇异值是 $4$, $4$$3$.

独特性

如上面的证明所示,奇异值分解 A 从对角线获得 $ A ^ {st} A $. 但是对角化不是唯一的(如关于 对角化)。 因此,SVD也不是唯一的。

紧凑型SVD

可以通过以下方式获得更紧凑形式的SVD,即紧凑型SVD: 如下。

主张A 成为 $ Kimes L $ 矩阵。让 $ r $ 成为 A. 然后,存在一个 $ Kimes r $ 矩阵 $ U_ {1} $$石灰r $ 矩阵 $ V_ {1} $, 都具有正交列,例如 那[eq22]哪里 $ V_ {1} ^ {st} $ 表示的共轭转置 $ V_ {1} $$ 西格玛 _ {1} $ 是一个 $ rimes r $ 对角矩阵,在其主对角线上具有严格的正项。

证明

在这个证明中,我们使用了所有矩阵 在非紧凑型SVD的上述证明中定义。注意 $ r $ (即非零的奇异值的数量)是 $ D $ 结果是, A (因为 乘以 完整矩阵 美元$ V ^ {st} $ 不会改变等级 西格玛)。 我们有 [eq23]哪里 我们已经定义 [eq24].

真实情况

如果矩阵 A 是实数(即其所有条目都是实数),则SVD 是[eq25]哪里 美元V 是实正交矩阵(我们只需要替换共轭换位 在SVD的证明中进行简单的换位)。

列空间

A 成为 $ Kimes L $ 矩阵并让 $ S $ 成为所有人的空间 $酸橙1 $ 列向量。

请记住 柱 空间 [eq26]A:[eq27]

主张A 成为 $ Kimes L $ 矩阵。让 $ r $ 成为 A. 让[eq28]是 的SVD A 这样 $ r $ 的非负奇异值 A 是第一个 $ r $ 在主对角线上的条目 西格玛. 让 $ U_ {1} $ 是第一个形成的块 $ r $ 的列 美元. 然后,[eq29]哪里 [eq30]A[eq31]$ U_ {1} $.

证明

该命题的证明已解决 练习1。

注意 $ U_ {1} $ 是出现在上方紧凑型SVD中的矩阵。

由于列 $ U_ {1} $ 是正交的,它们也线性独立。因此,矩阵 $ U_ {1} $ 在紧凑型SVD中, 正交基础 为了 的列空间 A.

空空间

请记住 空值 空间 [eq32] 是个 线性核 转型 被定义为 A:[eq33]

主张A 成为 $ Kimes L $ 矩阵。让 $ r $ 成为 A. 让[eq28]是 的SVD A 这样 $ r $ 的非负奇异值 A 是第一个 $ r $ 在主对角线上的条目 西格玛. 让 $ V_ {2} $ 是最后一个形成的块 $ L-r $ 的列 V. 然后,[eq35]哪里 [eq36] 是的空空间 A[eq37]$ V_ {2} $.

证明

该命题的证明已解决 下面的练习2。

解决的练习

您可以在下面找到一些练习,其中包含已说明的解决方案。

练习1

证明上述关于列空间的命题 A.

假设 [eq38]. 然后,存在一个 $酸橙1 $ 向量 $ s $ 这样 那[eq39]哪里 我们使用了紧凑的SVD A. 从而, [eq40][eq41]哪里 [eq42]$ U_ {1} $ (即, $ U_ {1} $)。 现在,假设 [eq43]. 然后,存在一个 $ rimes 1 $ 向量 $ s_ {r} $ 这样 那[eq44]哪里 再次,我们使用了紧凑的SVD A. 因此, [eq45][eq46]但 (1)和(2) 意味着[eq47]

练习2

证明上述关于零空间的命题 A.

假设 [eq48]. 的列 $ V_ {1} $ 和那些 $ V_ {2} $ 共同构成空间的基础 $酸橙1 $ 向量。结果,存在一个 $ rimes 1 $ 向量 $ s_ {1} $[eq49] 向量 $ s_ {2} $ 这样 那[eq50]我们 可以写方程式 如 [eq51]通过 将方程式的两边都乘以 A, 我们 获得[eq52]因为 [eq53]$ AV_ {2} = 0 $, 如前所述。但 [eq54]从而, 我们 有[eq55]以来 $ U_ {1} $$ 西格玛 _ {1} $ 都是全排名,最后一个等式 暗示[eq56]哪一个 反过来 暗示[eq57]从而, [eq58]. 我们刚刚展示了 那[eq59]现在, 假设 [eq58]. 因此,存在一个 [eq61] 向量 $ s_ {2} $ 这样 [eq57]通过 将方程式的两边都乘以 A, 我们 得到[eq63]哪一个 暗示 [eq53]. 从而,[eq65]但 (1)和(2) 意味着[eq66]

如何引用

请引用为:

Taboga, Marco (2017). "奇异值分解", 列克特ures on 矩阵 algebra. //www.junruiqiche.com/matrix-algebra/singular-value-decomposition.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。