在Statlect上搜索概率和统计术语
统计 列克特
指数 > 矩阵代数

QR分解

通过 博士

QR分解(或QR因式分解)允许表达 矩阵 线性地 独立列是1)具有正交列的矩阵Q的乘积 2)上三角矩阵R。

为了充分了解如何获得QR分解,我们应该 熟悉 克-施密特过程.

目录

分解概述

请记住,Gram-Schmidt过程是用于变换集合的过程 的 线性独立 向量成一组 正交的 向量 (即一组具有单位范数且与 彼此)。

如果是 $ Kimes L $ 矩阵 A, 用其表示列 [eq1]. 如果这些列线性独立,则可以将它们转换为一组 正交列向量 [eq2] 通过使用Gram-Schmidt过程,该过程交替了归一化步骤和 投影步骤:

  1. 我们从 正常化[eq3] 哪里 [eq4] 表示 规范 $ A_ {ullet 1} $;

  2. 我们预测 $ A_ {ullet 2} $$ Q_ {ullet 1} $:[eq5] 哪里 [eq6] 是个 内部产品 之间 $ A_ {ullet 2} $$ Q_ {ullet 1} $$  是 psilon _ {2} $ 是投影的残差,与 $ Q_ {ullet 1} $;

  3. 我们将 剩余的:[eq7]

  4. 我们预测 $ A_ {ullet 3} $$ Q_ {ullet 1} $$ Q_ {ullet 2} $:[eq8] 哪里 残余 $  是 psilon _ {3} $ 正交于 $ Q_ {ullet 1} $$ Q_ {ullet 2} $;

  5. 我们继续进行交替的归一化步骤(其中投影残差为 除以其规范)和投影步骤(其中 $ A_ {ullet l} $ 预计 [eq9]) 直到我们产生了一组正交向量 [eq10].

注意残差可以用归一化向量表示 如 [eq11] 对于 $ l = 1,ldots,L $, 我们在哪里 定义的[eq12]

因此,可以写出投影 如 [eq13]

正交向量可以邻接形成一个 $ Kimes L $ 矩阵[eq14] 谁的 列是正交的。

投影的系数可以收集在一个 上三角 $石灰L $ 矩阵 [eq15]

通过计算 矩阵 产品 之间  $ Q $  $ R $ , 我们恢复方程(1)中的预测。实际上,每一列 产品的  $ QR $ 是一个 线性组合 的 的列  $ Q $ 取自相应列的系数  $ R $ (请参阅有关 矩阵 产品和线性组合 )。

因此,我们有 那 [eq16]

正式声明

现在,我们提供QR分解的正式声明。

主张A 成为 $ Kimes L $ 矩阵。如果列 A 是线性独立的,那么 A 可以分解 如 [eq17] 哪里  $ Q $ 是一个 $ Kimes L $ 其列构成正交集的矩阵,以及  $ R $ 是一个 $石灰L $ 对角线入口严格为正的上三角矩阵。

证明

在上一节中,我们已经 显示了如何获得QR分解的建设性证据。唯一的 我们没有提到的重要细节是 的列 A 确保在Gram-Schmidt中执行的投影残差 过程不同于零。结果,归一化 向量[eq18] 是 定义明确,因为规范 [eq19] 是严格肯定的。而且,在  $ R $ 是严格肯定的。

注意  $ R $ 是可逆的,因为如果对角矩阵是对角的,则三角矩阵是可逆的 参赛作品严格是积极的。

现在是榜样的时候了。

定义 3美金2美金 矩阵[eq20] 的 第一栏的规范 是 [eq21] 所以 第一个归一化向量 是 [eq22] 的 内部产品之间 $ A_ {ullet 2} $$ Q_ {ullet 1} $[eq23] 的 第二列的投影 $ Q_ {ullet 1} $[eq24] 和 投影的残差 是 [eq25] 的 残差范数 是 [eq26] 从而, [eq27] 让 我们验证 $ Q_ {ullet 1} $$ Q_ {ullet 2} $ 是 正交:[eq28] 我们 现在已经执行了所有导致QR的计算 因式分解[eq29] 的 具有正交列的矩阵 是 [eq30] 和 上三角矩阵 是 [eq31] 让 我们检查确实是  $ Q $  $ R $ 等于 A:[eq32]

分解的唯一性

QR分解是唯一的。

主张 在先前命题的假设下,QR分解为 唯一的,就是矩阵  $ Q $  $ R $ 满足规定的特性是唯一的。

证明

假设 [eq33] 哪里  $ PS $ 是第二次分解成矩阵  $ P $ 具有正交列和上三角矩阵  $ S $ 具有严格正对角线元素。由于列  $ Q $ 是正常的,我们有 那 [eq34] 哪里 $ Q ^ {st} $ 是个 共轭转置 $ Q $ , 和 I 是个 $石灰L $ 单位矩阵(请参阅 非正方形 正交列的矩阵)。同样 令牌,[eq35] 如果 我们将两边都预乘 平等[eq36] 通过 $ P ^ {st} $ 我们 得到 [eq37] 要么 [eq38] 如果 相反,我们将等式乘以 $ Q ^ {st} $ 我们 获得[eq39] 要么 [eq40] 通过 将方程式(3)插入方程式(2),我们 获得[eq41] 的 后一个方程式暗示,对于 $ l = 1,ldots,L $, 的  $ l $ -th 排  $ S $ 可以写  $ S $ 取自  $ l $ -th 矩阵行 [eq42] (看到 矩阵 乘法和线性组合)。但  $ S $ 是带有严格正对角线入口的三角形,因此其行是 线性独立,它们构成了空间的基础 $ 1imes L $ 向量。结果,代表  $ l $ -th 排  $ S $ 作为所有行的线性组合  $ S $ 是在  $ l $ -th 行本身,其他所有行的系数为零(通过 的独特性 以基础表示)。换句话说,  $ l $ -th 排 [eq43] 是个  $ l $ -th 的向量 规范基础. 因为这是正确的 $ l = 1,ldots,L $, 我们有 那 [eq44] 要么 [eq45] 从而, $ P ^ {st} Q $ 是一个ary矩阵(其共轭转置等于其逆数)。 而且,我们有 那 [eq46] 以来 上三角矩阵(UT)的逆是UT与两个UT的乘积 矩阵是UT, $ SR ^ {-1} $ 是UT。它也是可逆的,这意味着其对角线项是 严格肯定。总结一下, $ P ^ {st} Q $ 是unit和UT都具有严格正对角线入口。因此, a unit和三角形的结果 矩阵,我们有 [eq47] 和, 作为一个 后果,[eq48][eq49] 从而, QR分解涉及的两个矩阵是唯一的。

通过Q因子预乘

我们在先前的证明中已经讨论过的重要事实,但我们尚未 到现在为止单独指出的是  $ Q $ 分解中的矩阵是这样的 那 [eq50] 哪里 $ Q ^ {st} $ 是个 共轭转置 $ Q $ . 作为一个 后果,[eq51]

如果  $ Q $ 只有实数项,则共轭转置与 转置和上面的两个方程 成为[eq52][eq53]

方阵

当矩阵 A 被分解的是一个正方形 $ Kimes K $ 矩阵, 然后 [eq29]
哪里  $ Q $  $ R $ 都是正方形 $ Kimes K $ 矩阵。

但是方阵  $ Q $ 具有正交列的是a矩阵。

因此,具有线性独立的方阵的QR分解 列是a矩阵和上三角矩阵的乘积,其中 严格肯定的条目。

应用于线性回归

QR方法通常用于估算 线性的 回归.

在线性回归中,我们有一个 $尼姆1 $ 向量  $ y $ 输出和 $尼姆K $ 假定其列是线性独立的输入矩阵。我们需要 找到 Kx1 系数向量 $ eta $ 通过使用拟合将最小均方误差 价值观[eq55] 至 预测实际值  $ y $ .

这个问题的众所周知的解决方案是所谓的 普通最少 方格 (OLS) 估计量[eq56]

我们可以简化OLS估计器的公式,避免将矩阵求逆 从而减轻了计算负担(以及可能的数值 不稳定性),通过计算 X:[eq57] 哪里  $ Q $ $尼姆K $ $ R $ $ Kimes K $.

然后,OLS估算器 变成[eq58] 要么 [eq59]

编写解决方案的后一种方法更方便:  $ R $ 是上三角形,我们不需要将其反转,但是我们可以使用 反替代算法 至 找到解决方案 $ eta $.

解决的练习

您可以在下面找到一些练习,其中包含已说明的解决方案。

练习1

计算QR分解 的 [eq60]

第一栏的规范 A[eq61] 从而, 第一个正交向量 是 [eq62] 的 第二列之间的内部乘积 A$ Q_ {ullet 1} $[eq63] 的 的投影 $ A_ {ullet 2} $$ Q_ {ullet 1} $[eq64] 和 投影的残差 是 [eq65] 的 残差范数 是 [eq66] 的 第二正交向量 是 [eq67] 从而, QR分解 $ A = QR $ 给出 通过 [eq68][eq69]

如何引用

请引用为:

Taboga, Marco (2017). "QR分解", 列克特 ures 上 矩阵 algebra. //www.junruiqiche.com/matrix-algebra/QR-decomposition.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。