在Statlect上搜索概率和统计术语
统计 列克特
指数 > 矩阵代数

正交投影

通过 博士

向量的正交投影  $ s $ 到给定的子空间  $ R $ 是向量  $ rin R $ 最接近  $ s $ .

目录

基本概念

在解释正交投影之前,我们将修改一些 重要概念。

 $ S $ 成为 向量空间。请记住 两个向量  $ s $  $ r $ 属于  $ S $ 是正交的 内 产品 是 零: [eq1]

 $ R $ 是...的子空间  $ S $ . 的 正交补码 $ R $ , 表示为 $ R ^ {ot} $, 是唯一满足的子空间 [eq2]

两个子空间  $ R $ $ R ^ {ot} $ 补充 子空间 , 意思是 那 [eq3] 哪里  $ oplus $ 表示一个 直接和 。 由 s的性质,任何向量  $罪S $ 可以被独特地写 如 [eq4] 哪里  $ rin R $ $ tin R ^ {ot} $.

定义

现在我们可以定义正交投影。

定义  $ S $ 是一个线性空间。让  $ R $ 是...的子空间  $ S $ $ R ^ {ot} $ 它的正交补码。让  $罪S $ 以其独特的 分解[eq5] 在 哪一个  $ rin R $ $ tin R ^ {ot} $. 然后,向量  $ r $ 称为的正交投影  $ s $  $ R $ 它由表示 [eq6].

因此,正交投影是所谓的特殊情况 斜投影,这是 如上定义,但不要求互补子空间 的  $ R $ 是正交补码。

 $ S $ 成为 $ 3imes 1 $ 列向量。 定义 [eq7] 它的 正交补码 是 [eq8] 如 我们可以通过检查矢量跨度来轻松验证 $ R ^ {ot} $ 与两个向量正交  $ R $ . 现在,考虑 向量 [eq9] 然后, [eq10]

正交投影使距离最小化

两个向量之间的距离由 规范 他们的区别。

事实证明 [eq11] 是的向量  $ R $ 最接近  $ s $ .

主张 $ S $ 成为 有限维的 向量空间。让  $ R $ 是...的子空间  $ S $ . 然后, [eq12] 对于 任何  $ rin R $ .

证明

以来 [eq13] 哪里 $ tin R ^ {ot} $, 向量 [eq14] 属于 $ R ^ {ot} $ 因此,它正交于属于  $ R $ , 包括向量 [eq15]. 因此, [eq16] 哪里 在步  $ rame {A} $ 我们已经使用 毕达哥拉斯定理. 通过取双方的平方根,我们得到陈述的结果。

投影矩阵

假设  $ S $ 是的空间 Kx1 复数向量 $ R $ 是的子空间  $ S $ .

通过在演讲中展示的结果 投影矩阵 (那是 对倾斜的投影有效,因此,对于正交的特殊情况有效 投影),存在一个投影矩阵  $ P_ {R} $ 这样 那 [eq17] 对于 任何  $罪S $ .

投影矩阵 是 [eq18] 哪里:

在正交投影的情况下,上述公式变得更简单。

主张 $ S $ 是复杂的空间 Kx1 向量。让  $ R $ 是...的子空间  $ S $ . 让  $ B_ {R} $ 是一个矩阵,其列构成了  $ R $ . 表示为 $ B_ {R} ^ {st} $ 共轭转置 $ B_ {R} $ . 然后,矩阵 [eq19] 是投影矩阵使得 [eq20] 对于 任何  $罪S $ .

证明

我们选择的列 $ B_ {R ^ {ot}} $ 以这样的方式,他们形成一个 正交基础 对于 $ R ^ {ot} $. 结果,如关于unit矩阵的讲座中所述(请参见 关于 具有以下项的非平方矩阵 正交列 ),我们 有 [eq21] 哪里 [eq22] 表示的共轭转置 $ B_ {R ^ {ot}} $. 而且,由于  $ B_ {R} $ 与的列正交 $ B_ {R ^ {ot}} $, 我们 有 [eq23][eq24] 的 的列  $ B_ {R} $ 是线性独立的,因为它们构成了基础。因此, $B_{R}x
eq 0$ 对于任何 $x
eq 0$, 这意味着 [eq25] 对于任何 $x
eq 0$. 从而, $ B_ {R} ^ {st} B_ {R} $ 是全等级(因此可逆)。我们使用这些结果得出以下结论 平等: [eq26] 哪一个 根据定义 逆矩阵, 那 [eq27] 从而, [eq28]

当我们将注意力集中在实向量上时,共轭转置变为 简单换位和投影矩阵的公式 变成 [eq29] 哪一个 对我们之前处理过的人可能很熟悉 线性的 回归 最小二乘 估计量 .

正交投影

当矩阵的列  $ B_ {R} $ 是正交的,我们可以进一步简化: [eq30][eq31]

表示为 [eq32] 的列  $ B_ {R} $ .

然后,对于任何  $罪S $ , 我们 有 [eq33] 哪一个 是我们已经在正交集上投影的公式 在关于 克-施密特过程 和 在 QR分解.

如何引用

请引用为:

Taboga, Marco (2017). "正交投影", 列克特 ures on matrix algebra. //www.junruiqiche.com/matrix-algebra/orthogonal-projection.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。