正交投影

通过马可·塔波加（Marco Taboga）博士

向量的正交投影到给定的子空间是向量最接近 .

基本概念
定义
正交投影使距离最小化
投影矩阵
正交投影

基本概念

在解释正交投影之前，我们将修改一些重要概念。

让成为向量空间。请记住两个向量和属于是正交的内产品是零：

让是...的子空间 . 的正交补码的 , 表示为 $R ^ {ot}$ , 是唯一满足的子空间

两个子空间和 $R ^ {ot}$ 是补充子空间，意思是那哪里表示一个直接和。由 s的性质，任何向量可以被独特地写如哪里和 $tin R ^ {ot}$ .

定义

现在我们可以定义正交投影。

定义让是一个线性空间。让是...的子空间和 $R ^ {ot}$ 它的正交补码。让以其独特的分解在哪一个和 $tin R ^ {ot}$ . 然后，向量称为的正交投影到它由表示 .

因此，正交投影是所谓的特殊情况斜投影，这是如上定义，但不要求互补子空间的是正交补码。

例让成为列向量。定义 [eq7] 它的正交补码是 [eq8] 如我们可以通过检查矢量跨度来轻松验证 $R ^ {ot}$ 与两个向量正交 . 现在，考虑向量 [eq9] 然后， [eq10]

正交投影使距离最小化

两个向量之间的距离由规范他们的区别。

事实证明是的向量最接近 .

主张让成为有限维的向量空间。让是...的子空间 . 然后，对于任何 .

证明

以来哪里 $tin R ^ {ot}$ , 向量属于 $R ^ {ot}$ 因此，它正交于属于 , 包括向量 . 因此， [eq16] 哪里在步我们已经使用毕达哥拉斯定理. 通过取双方的平方根，我们得到陈述的结果。

投影矩阵

假设是的空间复数向量和是的子空间 .

通过在演讲中展示的结果投影矩阵（那是对倾斜的投影有效，因此，对于正交的特殊情况有效投影），存在一个投影矩阵 $P_ {R}$ 这样那对于任何 .

投影矩阵是 [eq18] 哪里：

$B_ {R}$ 是其列构成基础的任何矩阵 ;
$B_ {R ^ {ot}}$ 是其列构成基础的任何矩阵 $R ^ {ot}$ .

在正交投影的情况下，上述公式变得更简单。

主张让是复杂的空间向量。让是...的子空间 . 让 $B_ {R}$ 是一个矩阵，其列构成了 . 表示为 $B_ {R} ^ {st}$ 的共轭转置的 $B_ {R}$ . 然后，矩阵是投影矩阵使得对于任何 .

证明

我们选择的列 $B_ {R ^ {ot}}$ 以这样的方式，他们形成一个正交基础对于 $R ^ {ot}$ . 结果，如关于unit矩阵的讲座中所述（请参见关于具有以下项的非平方矩阵正交列），我们有哪里表示的共轭转置 $B_ {R ^ {ot}}$ . 而且，由于 $B_ {R}$ 与的列正交 $B_ {R ^ {ot}}$ , 我们有和的的列 $B_ {R}$ 是线性独立的，因为它们构成了基础。因此， $B_{R}x eq 0$ 对于任何 , 这意味着对于任何 . 从而， $B_ {R} ^ {st} B_ {R}$ 是全等级（因此可逆）。我们使用这些结果得出以下结论平等： [eq26] 哪一个根据定义逆矩阵, 那 [eq27] 从而， [eq28]

当我们将注意力集中在实向量上时，共轭转置变为简单换位和投影矩阵的公式变成哪一个对我们之前处理过的人可能很熟悉线性的回归和最小二乘估计量 .

正交投影

当矩阵的列 $B_ {R}$ 是正交的，我们可以进一步简化：和

表示为的列 $B_ {R}$ .

然后，对于任何 , 我们有 [eq33] 哪一个是我们已经在正交集上投影的公式在关于克-施密特过程和在 QR分解.

如何引用

请引用为：

Taboga, Marco (2017). "正交投影", 列克特 ures on matrix algebra. //www.junruiqiche.com/matrix-algebra/orthogonal-projection.