在Statlect上搜索概率和统计术语
统计列克特
指数 > 概率分布 > 正态分布

正态分布-二次形式

通过 博士

本讲座介绍有关二次形式的一些重要结果,包括 正常随机向量,即关于那种形式 [eq1]哪里 X 是一个 Kx1 多元正态随机向量, A 是一个 $ Kimes K $ 矩阵和 $ op $ 表示换位。

目录

复习矩阵代数的相关结果

在讨论涉及正常随机向量的二次形式之前,我们先回顾一下 矩阵代数的一些结果将在整个讲座中使用。

正交矩阵

A $ Kimes K $ 实矩阵 A 是正交的 如果[eq2]哪一个 也 暗示[eq3]哪里 I 是单位矩阵。当然,如果 A 也正交 $ A ^ {op} $ 是正交的。

正交矩阵的重要属性如下。

主张X 成为 Kx1 标准多元正态随机向量,即 [eq4]. 让 A 正交 $ Kimes K $ 实矩阵。定义 [eq5]然后 也 Y 具有标准的多元正态分布,即 [eq6].

证明

随机向量 Y 具有多元正态分布,因为它是线性变换 另一个多元正态随机向量的概念(请参见标题为“ 的线性组合 正常随机变量)。 Y 是标准常态,因为其预期值 是[eq7]和 它的协方差矩阵 是[eq8]哪里 最后的等式是正交定义的直接结果 矩阵。

对称矩阵

A $ Kimes K $ 实矩阵 A 是对称的 如果[eq9]A 等于其转置。

实对称矩阵具有可以分解的特性 如 [eq10]哪里 $ P $ 是一个正交矩阵, $ D $ 是对角矩阵(即非对角线项为零的矩阵)。的 的对角线元素 $ D $, 都是真实的,是...的特征值 A 和的列 $ P $ 是...的特征向量 A.

幂等矩阵

A $ Kimes K $ 实矩阵 A 是幂等的 如果[eq11]哪一个 暗示[eq12]对于 任何 $ nin U {2115} $.

对称幂等矩阵

如果矩阵 A 如果是对称和幂等的,则其特征值可以为零或一。 换句话说,对角矩阵的对角项 $ D $ 在里面 分解[eq13] 是零或一。

证明

可以很容易地将其视为 如下:[eq14]哪一个 暗示[eq15]但 仅当 $ D $ 是零或一。

矩阵的痕迹

A 成为 $ Kimes K $ 实矩阵并用 $ A_ {ij} $$ left(i,j
权)$-th 进入 A (即, i-th 行和 $ j $-th 柱)。的痕迹 A, 表示为 [eq16], 是[eq17]

换句话说,迹线等于的所有对角线项的和 A.

的痕迹 A 享有以下重要财产: [eq18]哪里 [eq19]K 的特征值 A.

标准多元正态的二次形式 random 向量s

以下命题表明标准中的某些二次形式 正常随机向量具有 卡方 分配.

主张X 成为 Kx1 标准多元正态随机向量,即 [eq20]. 让 A 是对称和幂等的矩阵。让 [eq21] 成为 A. 定义[eq22]然后 $ Q $ 具有卡方分布 [eq23] 自由程度。

证明

以来 A 是对称的,可以分解 如 [eq24]哪里 $ P $ 是正交的 $ D $ 是对角线的。可以写出二次形式 如 [eq25]哪里 我们有 定义的[eq26]通过 上面关于标准多元正交变换的定理 正常随机向量,正交性 $ P ^ {op} $ 暗示 [eq27]. 以来 $ D $ 是对角线,我们可以写二次形 如 [eq28]哪里 $ Y_ {j} $ 是个 $ j $-th 的组成部分 Y$ D_ {jj} $ 是个 $ j $-th 的对角线入口 $ D $. 以来 A 是对称且幂等的 $ D $ 是零或一。表示为 $ J $ 的 组[eq29]和 通过 $ r $ 其基数,即 $ D $ 等于 1. 以来 [eq30], 我们可以 写[eq31]但 标准法向随机向量的分量是 相互独立 标准正常随机 变量。因此, $ Q $ 是的平方和 $ r $ 独立标准正态随机变量。因此,它有一个卡方 与分布 $ r $ 自由度(请参阅标题为“ 卡方分布 有关详细信息)。 最后,通过幂等矩阵的性质和矩阵的迹线 (看上面), $ r $ 不仅是 $ D $ 等于 1, 但这也是...的特征值之和 A. 由于矩阵的迹线等于其特征值之和,因此 [eq32].

上面的命题可以用来得出以下极其有用的 主张。

主张X 成为 Kx1 均值的多元正态随机向量 亩 和可逆协方差矩阵 V. 定义[eq33]然后 $ Q $ 具有卡方分布 K 自由程度。

证明

以来 V 是可逆的,存在一个可逆矩阵 西格玛 这样 那[eq34]因此, 我们 有[eq35]哪里 我们有 定义的[eq36]存在 多元正态随机向量的线性变换,该向量 Z 具有多元正态分布。它的意思 是[eq37]和 它的协方差矩阵 是[eq38]从而, Z 具有标准的多元正态分布(均值 0 和方差 I) 和[eq39]是 标准法向随机向量中的二次形式。结果,它具有 卡方分布 [eq40] 自由程度。

标准中的二次形式的独立性 多元正态随机向量

我们从关于线性之间的独立性的命题开始 转变。

主张X 成为 Kx1 标准多元正态随机向量,即 [eq41]. 让 A 成为 $ L_ {A} ime K $ 矩阵和 $ B $ 成为 $ L_ {B} ime K $ 矩阵。 定义[eq42]然后 $ T_ {1} $$ T_ {2} $ 是两个独立的随机向量,当且仅当 $ AB ^ {intercal} = 0 $.

证明

首先,请注意 $ T_ {1} $$ T_ {2} $ 是同一多元法线随机向量的线性变换 X. 因此,它们共同正常(请参阅标题为“ 的线性组合 正常随机变量)。其 互协方差[eq43]但, 正如我们在题为“ 多变量 正态分布-分割向量,两个共同正常随机 向量是独立的,当且仅当它们的互协方差等于 0. 在我们的情况下,当且仅当以下条件时,互协方差等于零 $ AB ^ {intercal} = 0 $, 证明了这一命题。

以下命题为 同一标准多元正态中两个二次形式的独立性 随机向量。

主张X 成为 Kx1 标准多元正态随机向量,即 [eq44]. 让 A$ B $ 是两个 $ Kimes K $ 对称和幂等矩阵。 定义[eq45]然后 $ Q_ {1} $$ Q_ {2} $ 是两个独立的随机变量,当且仅当 $AB=0$.

证明

以来 A$ B $ 是对称和幂等的,我们可以 写[eq46]从 显然 $ Q_ {1} $$ Q_ {2} $ 可以独立,只要 $ AX $$ BX $ 是独立的。但是,通过以上关于 联合法向随机向量的线性变换, $ AX $$ BX $ 是独立的,当且仅当 $ AB ^ {intercal} = 0 $. 以来 $ B $ 是对称的,这与 $AB=0$.

以下命题为 二次形式和涉及的线性变换之间的独立性 相同的标准多元正态随机向量。

主张X 成为 Kx1 标准多元正态随机向量,即 [eq47]. 让 A 成为 $石灰K $ 向量和 $ B $ a $ Kimes K $ 对称和幂等矩阵。 定义[eq48]然后 $ T $$ Q $ 是独立的,当且仅当 $AB=0$.

证明

以来 $ B $ 是对称和幂等的,我们可以 写[eq49]从 显然 $ T $$ Q $ 可以独立,只要 $ AX $$ BX $ 是独立的。但是,通过以上关于 联合法向随机向量的线性变换, $ AX $$ AB $ 是独立的,当且仅当 $ AB ^ {intercal} = 0 $. 以来 $ B $ 是对称的,这与 $AB=0$.

例子

我们在这里讨论统计中常见的一些二次形式。

样本方差为 quadratic 对于m

X_1, ..., X_nn 独立随机变量,一切正常 均值分布 亩 和方差 $ sigma ^ {2} $. 让他们 样本平均值 Xbar_n 被定义 如 [eq50]

和他们的 调整样本 方差 被定义 如 [eq51]

定义以下内容 矩阵:[eq52]哪里 I 是个 n尺寸 单位矩阵和 $ imath $ 是一个 $尼姆1 $ 向量的。换一种说法, $ M $ 具有以下 结构体:[eq53]

$ M $ 是一个对称矩阵。通过计算产品 $ Mcdot M $, 也可以很容易地验证 $ M $ 是幂等的。

表示为 X$尼姆1 $ 随机向量 i-th 项等于 X_i 并注意 X 具有多元正态分布,均值 $ 亩 imath $ 和协方差矩阵 $ sigma ^ {2} I $ (请参阅标题为“ 多元正态 分配)。

矩阵 $ M $ 可以用来写样本方差 如 [eq54]

现在定义一个新的随机 向量[eq55]和 注意 Z 有一个标准(平均零和协方差 I) 多元正态分布(请参阅标题为“ 的线性组合 正常随机变量)。

样本方差可以写成 如 [eq56]

总和的最后三项等于零 因为[eq57]哪一个 可以通过直接执行乘法来验证 $ M $$ imath $.

因此,样本 方差[eq58]是 与标准法向随机向量中的二次形式成比例 ($ Z ^ {op} MZ $) 从对称和幂等矩阵获得二次形式 ($ M $)。 由于上述命题,我们知道二次形式 $ Z ^ {op} MZ $ 具有卡方分布 [eq59] 自由度,在哪里 [eq60] 是的痕迹 $ M $. 但是痕迹 $ M $[eq61]

所以,二次形式 $ Z ^ {op} MZ $ 具有卡方分布 $n-1$ 自由程度。卡方随机变量乘以 $n-1$ 自由度 [eq62] 一个获得带有参数的Gamma随机变量 $n-1$sigma ^ 2 (请参阅标题为“ 伽玛分布 更多细节)。

因此,总结一下,调整后的样本方差 $ s ^ {2} $ 具有带有参数的Gamma分布 $n-1$sigma ^ 2.

此外,调整后的样本方差 $ s ^ {2} $ 独立于样本均值 Xbar_n, 证明如下。样本均值可以写成 如 [eq63]和 样本方差可以写成 如 [eq64]如果 我们使用上面的命题(线性变换和 二次形式),验证 Xbar_n$ s ^ {2} $ 归结为验证 [eq65]哪一个 通过直接执行乘法可以很容易地检查 $ imath ^ {op} $$ M $.

如何引用

请引用为:

Taboga, Marco (2017). "正态分布-二次形式", 列克特ures on probability 的ory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/probability-distributions/normal-distribution-quadratic-forms.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。