在Statlect上搜索概率和统计术语
统计列克特
指数 > 矩阵代数

克-施密特过程

通过 博士

Gram-Schmidt流程(或过程)是允许以下操作的一系列操作: 将一组线性独立的向量转换为一组正交的 跨原始集的相同空间的向量。

目录

初赛

让我们回顾一些对于理解Gram-Schmidt必不可少的概念 处理。

记住两个向量 $ r $$ s $ 当且仅当它们的 内部产品 等于零, 那 是的[eq1]

给定一个内积,我们可以定义 规范 向量的(长度) $ s $ 如 如下:[eq2]

当且仅当向量的元素具有单位时,它们才称为正交向量 规范和彼此正交。换句话说,一组 K 向量 [eq3] 当且仅当是正交的 如果[eq4]

我们证明了正交集的向量是 线性独立.

当一个 基础 为一个 向量空间也是一个正交集,它称为 正交基础.

正交集上的投影

在Gram-Schmidt过程中,我们反复使用下一个命题 表明每个向量都可以分解为两部分:1)在向量上的投影 正交集和2)与给定正交的残差 正交集。

主张$ S $ 是配备有内积的向量空间 [eq5]. 让 [eq6] 是一个正交集。对于任何 $罪S $, 我们 有[eq7]哪里 $ arepsilon _ {S} $ 正交于 $ u_ {k} $ 对于任何 $ k = 1,ldots,K。$

证明

定义[eq8]然后, 每个 $ j = 1,ldots,K $, 我们有 那[eq9]哪里: 逐步 $ rame {A} $$ rame {B} $ 我们在第一个参数中使用了内积是线性的事实; 在步 $ rame {C} $ 我们使用了这样一个事实 [eq10] 如果 $k
eq j$ 因为我们正在处理一个正交集合;在步 $ rame {D} $ 我们使用了以下事实: $ u_ {j} $ 等于1。因此, $ arepsilon _ {S} $, 如上定义,与正交集合的所有元素正交, 证明了这一命题。

的 术语[eq11]是 称为的线性投影 $ s $ 在正交集上 [eq12], 而这个词 $ arepsilon _ {S} $ 称为线性投影的残差。

正常化

另一个可能显而易见的事实是,我们将在 Gram-Schmidt过程是,如果我们采用任何非零向量并将其除以 根据其范数,则除法的结果是一个新的向量,其单位为 规范。

换句话说,如果 [eq13] 然后, 的确定性 规范,我们有 [eq14]

结果,我们可以 定义[eq15]和, 通过规范的积极性和绝对同质性,我们 有[eq16]

程序概述

现在,我们知道了如何对向量进行归一化以及如何将其分解为 正交集和残差的投影,我们准备解释 克-施密特程序。

我们将提供该过程的概述,之后我们将 正式表达它为命题,我们将讨论所有技术 命题证明中的细节。

这是概述。

我们得到了一组线性独立的向量 [eq17].

首先,我们将第一个向量归一化,即 定义[eq18]

在第二步中,我们预测 $ s_ {2} $$ u_ {1} $:[eq19]哪里 $ arepsilon _ {2} $ 是投影的残差。

然后,我们将 剩余的:[eq20]

我们稍后将证明 [eq21] (以便可以执行归一化),因为起始向量是 线性独立。

两个向量 $ u_ {1} $$ u_ {2} $ 这样获得的是正交的。

第三步,我们预测 $ s_ {3} $$ u_ {1} $$ u_ {2} $:[eq22]和 我们计算投影的残差 $ arepsilon _ {3} $.

然后我们归一化 它:[eq23]

我们以这种方式进行,直到获得最后的归一化残差 $ u_ {K} $.

在过程结束时,向量 [eq24] 形成正交集,因为:

  1. 它们是归一化的结果,因此它们具有单位 规范;

  2. $ u_ {k} $ 从具有与...正交的性质的残差获得 [eq25].

为了完成本概述,让我们记住 线性跨度[eq17] 是可以写成的所有向量的集合 线性组合[eq27]; 它表示为 通过[eq28]和 它是一个 线性空间.

由于向量 [eq29] 是线性独立的组合 [eq17], 可以写为以下形式的线性组合的任何向量 [eq17] 也可以写成 [eq29]. 因此,两组向量的跨度 重合:[eq33]

正式声明

我们在这里将Gram-Schmidt过程形式化为一个命题,其证明 包含该过程的所有技术细节。

主张$ S $ 是配备有内积的向量空间 [eq5]. 让 [eq35] 是线性独立的向量。然后,存在一组正交 向量 [eq36] 这样 那[eq37]对于 任何 $ kleq K $.

证明

证明是归纳法:首先我们证明 这个命题对 $k=1$, 然后我们证明对于通用 k 如果适合 $k-1$. 什么时候 $k=1$, 的 向量[eq18]具有 单位范数,它本身构成一个正交集:没有其他 向量,因此正交条件很容易满足。的 组[eq39]是 的所有标量倍数的集合 $ s_ {1} $, 也是的标量倍数 $ u_ {1} $ (反之亦然)。因此, [eq40]现在, 假设这个命题对 $k-1$. 然后,我们可以投影 $ s_ {k} $[eq41]:[eq42]哪里 残余 $ arepsilon _ {k} $ 正交于 [eq43]. 假设 $ arepsilon _ {k} = 0 $. 然后,[eq44]以来, 根据假设, [eq45]对于 任何 $ jleq k-1 $, 我们有 [eq46]对于 任何 $ jleq k-1 $, 哪里 $ lpha _ {jl} $ 是标量。 因此,[eq47]在 换句话说,假设 $ arepsilon _ {k} = 0 $ 得出的结论是 $ s_ {k} $ 是...的线性组合 [eq48]. 但这是不可能的,因为该命题的假设之一是 那 [eq17] 是线性独立的。结果,一定是 [eq50]. 因此,我们可以归一化残差并定义 向量[eq51]哪一个 有单位规范。我们已经知道 $ arepsilon _ {k} $ 正交于 [eq52]. 这意味着 $ u_ {k} $ 正交于 [eq53]. 从而, [eq54] 是一个正交集。现在,取任何向量 $罪S $ 可以写 如 [eq55]哪里 [eq56] 是标量。由于假设 [eq57]我们 等式(2)也可以写成 如 [eq58]哪里 [eq59] 是标量,并且: $ rame {A} $ 我们使用等式(1);在步 $ rame {B} $ 我们已经使用了 $ u_ {k} $. 因此,我们证明了每个可以写成线性的向量 的组合 [eq27] 也可以写成 [eq54]. 假设(3)可以完全相反地证明相反 方式:[eq62]在 换句话说,每个线性组合 [eq54] 也是 [eq27]. 这证明 [eq65]和 得出结论。

每个内部乘积空间都具有正交基础

以下命题提出了 克-施密特过程。

主张$ S $ 是配备有内积的向量空间 [eq5]. 如果 $ S $ 具有有限 尺寸 [eq67], 然后存在一个正交的基础 [eq68] 对于 $ S $.

证明

以来 $ S $ 是有限维的,至少存在一个基础 $ S $, 包含由...组成 K 向量 [eq69]. 我们可以将Gram-Schmidt程序应用于基础并获得正交 组 [eq68]. 以来 [eq71] 是基础 跨度 $ S $. 因此, [eq72]从而, [eq29] 是...的正交基础 $ S $.

解决的练习

您可以在下面找到一些练习,其中包含已说明的解决方案。

练习1

考虑空间 $ S $ 在所有 $ 3imes 1 $ 具有实数项和内部的向量 产品[eq74]哪里 $ r,sinS $$ s ^ {op} $ 是的转置 $ s $. 定义 向量[eq75]

归一化 $ s $.

的规范 $ s $[eq76]因此, 归一化 $ s $[eq77]

练习2

考虑空间 $ S $ 在所有 $ 2imes 1 $ 具有实数项和内部的向量 产品[eq78]哪里 $ r,sinS $ 。考虑两个线性独立 向量[eq79]

使用Gram-Schmidt过程将它们转换为正交集。

的规范 $ s_ {1} $[eq80]因此, 第一个正交向量 是[eq81]的 的内积 $ s_ {2} $$ u_ {1} $[eq82]的 的投影 $ s_ {2} $$ u_ {1} $[eq83]的 投影的残差 是[eq84]的 残差范数 是[eq85]和 归一化残差 是[eq86]从而, 我们正在寻找的正交集 是[eq87]

如何引用

请引用为:

Taboga, Marco (2017). "克-施密特过程", 列克特ures 上 matrix algebra. //www.junruiqiche.com/matrix-algebra/Gram-Schmidt-process.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。