在Statlect上搜索概率和统计术语
统计列克特
指数 > 概率分布 > 正态分布

正态分布-二次形式

通过 博士

本讲座介绍有关二次形式的一些重要结果，包括 正常随机向量，即关于那种形式 [eq1]哪里 X 是一个 Kx1 多元正态随机向量, A 是一个 $ Kimes K $ 矩阵和 $ op $ 表示换位。

目录

目录

  1. 复习矩阵代数的相关结果

    1. 正交矩阵

    2. 对称矩阵

    3. 幂等矩阵

    4. 对称幂等矩阵

    5. 矩阵的痕迹

  2. 标准多元正态随机向量中的二次形式

  3. 标准多元正态随机向量中二次型的独立性

  4. 例子

    1. 样本方差为二次形式

复习矩阵代数的相关结果

在讨论涉及正常随机向量的二次形式之前，我们先回顾一下 矩阵代数的一些结果将在整个讲座中使用。

正交矩阵

A $ Kimes K $ 实矩阵 A 是正交的 如果[eq2]哪一个 也 暗示[eq3]哪里 I 是单位矩阵。当然，如果 A 也正交 $ A ^ {op} $ 是正交的。

正交矩阵的重要属性如下。

主张 让 X 成为 Kx1 标准多元正态随机向量，即 [eq4]. 让 A 正交 $ Kimes K $ 实矩阵。定义 [eq5]然后 也 Y 具有标准的多元正态分布，即 [eq6].

证明

随机向量 Y 具有多元正态分布，因为它是线性变换 另一个多元正态随机向量的概念（请参见标题为“ 的线性组合 正常随机变量）。 Y 是标准常态，因为其预期值 是[eq7]和 它的协方差矩阵 是[eq8]哪里 最后的等式是正交定义的直接结果 矩阵。

对称矩阵

A $ Kimes K $ 实矩阵 A 是对称的 如果[eq9]即 A 等于其转置。

实对称矩阵具有可以分解的特性 如 [eq10]哪里 $ P $ 是一个正交矩阵， $ D $ 是对角矩阵（即非对角线项为零的矩阵）。的 的对角线元素 $ D $, 都是真实的，是...的特征值 A 和的列 $ P $ 是...的特征向量 A.

幂等矩阵

A $ Kimes K $ 实矩阵 A 是幂等的 如果[eq11]哪一个 暗示[eq12]对于 任何 $ nin U {2115} $.

对称幂等矩阵

如果矩阵 A 如果是对称和幂等的，则其特征值可以为零或一。 换句话说，对角矩阵的对角项 $ D $ 在里面 分解[eq13] 是零或一。

证明

可以很容易地将其视为 如下：[eq14]哪一个 暗示[eq15]但 仅当 $ D $ 是零或一。

矩阵的痕迹

让 A 成为 $ Kimes K $ 实矩阵并用 $ A_ {ij} $ 的 $ left（i，j 权）$-th 进入 A （即， i-th 行和 $ j $-th 柱）。的痕迹 A, 表示为 [eq16], 是[eq17]

换句话说，迹线等于的所有对角线项的和 A.

的痕迹 A 享有以下重要财产： [eq18]哪里 [eq19] 是 K 的特征值 A.

标准多元正态的二次形式 random 向量s

以下命题表明标准中的某些二次形式 正常随机向量具有 卡方 分配.

主张 让 X 成为 Kx1 标准多元正态随机向量，即 [eq20]. 让 A 是对称和幂等的矩阵。让 [eq21] 成为 A. 定义[eq22]然后 $ Q $ 具有卡方分布 [eq23] 自由程度。

证明

以来 A 是对称的，可以分解 如 [eq24]哪里 $ P $ 是正交的 $ D $ 是对角线的。可以写出二次形式 如 [eq25]哪里 我们有 定义的[eq26]通过 上面关于标准多元正交变换的定理 正常随机向量，正交性 $ P ^ {op} $ 暗示 [eq27]. 以来 $ D $ 是对角线，我们可以写二次形 如 [eq28]哪里 $ Y_ {j} $ 是个 $ j $-th 的组成部分 Y 和 $ D_ {jj} $ 是个 $ j $-th 的对角线入口 $ D $. 以来 A 是对称且幂等的 $ D $ 是零或一。表示为 $ J $ 的 组[eq29]和 通过 $ r $ 其基数，即 $ D $ 等于 1. 以来 [eq30], 我们可以 写[eq31]但 标准法向随机向量的分量是 相互独立 标准正常随机 变量。因此， $ Q $ 是的平方和 $ r $ 独立标准正态随机变量。因此，它有一个卡方 与分布 $ r $ 自由度（请参阅标题为“ 卡方分布 有关详细信息）。 最后，通过幂等矩阵的性质和矩阵的迹线 （看上面）， $ r $ 不仅是 $ D $ 等于 1, 但这也是...的特征值之和 A. 由于矩阵的迹线等于其特征值之和，因此 [eq32].

上面的命题可以用来得出以下极其有用的 主张。

主张 让 X 成为 Kx1 均值的多元正态随机向量 亩 和可逆协方差矩阵 V. 定义[eq33]然后 $ Q $ 具有卡方分布 K 自由程度。

证明

以来 V 是可逆的，存在一个可逆矩阵 西格玛 这样 那[eq34]因此， 我们 有[eq35]哪里 我们有 定义的[eq36]存在 多元正态随机向量的线性变换，该向量 Z 具有多元正态分布。它的意思 是[eq37]和 它的协方差矩阵 是[eq38]从而， Z 具有标准的多元正态分布（均值 0 和方差 I) 和[eq39]是 标准法向随机向量中的二次形式。结果，它具有 卡方分布 [eq40] 自由程度。

标准中的二次形式的独立性 多元正态随机向量

我们从关于线性之间的独立性的命题开始 转变。

主张 让 X 成为 Kx1 标准多元正态随机向量，即 [eq41]. 让 A 成为 $ L_ {A} ime K $ 矩阵和 $ B $ 成为 $ L_ {B} ime K $ 矩阵。 定义[eq42]然后 $ T_ {1} $ 和 $ T_ {2} $ 是两个独立的随机向量，当且仅当 $ AB ^ {intercal} = 0 $.

证明

首先，请注意 $ T_ {1} $ 和 $ T_ {2} $ 是同一多元法线随机向量的线性变换 X. 因此，它们共同正常（请参阅标题为“ 的线性组合 正常随机变量）。其 互协方差 是[eq43]但， 正如我们在题为“ 多变量 正态分布-分割向量，两个共同正常随机 向量是独立的，当且仅当它们的互协方差等于 0. 在我们的情况下，当且仅当以下条件时，互协方差等于零 $ AB ^ {intercal} = 0 $, 证明了这一命题。

以下命题为 同一标准多元正态中两个二次形式的独立性 随机向量。

主张 让 X 成为 Kx1 标准多元正态随机向量，即 [eq44]. 让 A 和 $ B $ 是两个 $ Kimes K $ 对称和幂等矩阵。 定义[eq45]然后 $ Q_ {1} $ 和 $ Q_ {2} $ 是两个独立的随机变量，当且仅当 $AB=0$.

证明

以来 A 和 $ B $ 是对称和幂等的，我们可以 写[eq46]从 显然 $ Q_ {1} $ 和 $ Q_ {2} $ 可以独立，只要 $ AX $ 和 $ BX $ 是独立的。但是，通过以上关于 联合法向随机向量的线性变换， $ AX $ 和 $ BX $ 是独立的，当且仅当 $ AB ^ {intercal} = 0 $. 以来 $ B $ 是对称的，这与 $AB=0$.

以下命题为 二次形式和涉及的线性变换之间的独立性 相同的标准多元正态随机向量。

主张 让 X 成为 Kx1 标准多元正态随机向量，即 [eq47]. 让 A 成为 $石灰K $ 向量和 $ B $ a $ Kimes K $ 对称和幂等矩阵。 定义[eq48]然后 $ T $ 和 $ Q $ 是独立的，当且仅当 $AB=0$.

证明

以来 $ B $ 是对称和幂等的，我们可以 写[eq49]从 显然 $ T $ 和 $ Q $ 可以独立，只要 $ AX $ 和 $ BX $ 是独立的。但是，通过以上关于 联合法向随机向量的线性变换， $ AX $ 和 $ AB $ 是独立的，当且仅当 $ AB ^ {intercal} = 0 $. 以来 $ B $ 是对称的，这与 $AB=0$.

例子

我们在这里讨论统计中常见的一些二次形式。

样本方差为 quadratic 对于m

让 X_1, ...， X_n 是 n 独立随机变量，一切正常 均值分布 亩 和方差 $ sigma ^ {2} $. 让他们 样本平均值 Xbar_n 被定义 如 [eq50]

和他们的 调整样本 方差 被定义 如 [eq51]

定义以下内容 矩阵：[eq52]哪里 I 是个 n尺寸 单位矩阵和 $ imath $ 是一个 $尼姆1 $ 向量的。换一种说法， $ M $ 具有以下 结构体：[eq53]

$ M $ 是一个对称矩阵。通过计算产品 $ Mcdot M $, 也可以很容易地验证 $ M $ 是幂等的。

表示为 X 的 $尼姆1 $ 随机向量 i-th 项等于 X_i 并注意 X 具有多元正态分布，均值 $ 亩 imath $ 和协方差矩阵 $ sigma ^ {2} I $ （请参阅标题为“ 多元正态 分配）。

矩阵 $ M $ 可以用来写样本方差 如 [eq54]

现在定义一个新的随机 向量[eq55]和 注意 Z 有一个标准（平均零和协方差 I) 多元正态分布（请参阅标题为“ 的线性组合 正常随机变量）。

样本方差可以写成 如 [eq56]

总和的最后三项等于零 因为[eq57]哪一个 可以通过直接执行乘法来验证 $ M $ 和 $ imath $.

因此，样本 方差[eq58]是 与标准法向随机向量中的二次形式成比例 ($ Z ^ {op} MZ $) 从对称和幂等矩阵获得二次形式 ($ M $）。 由于上述命题，我们知道二次形式 $ Z ^ {op} MZ $ 具有卡方分布 [eq59] 自由度，在哪里 [eq60] 是的痕迹 $ M $. 但是痕迹 $ M $ 是[eq61]

所以，二次形式 $ Z ^ {op} MZ $ 具有卡方分布 $n-1$ 自由程度。卡方随机变量乘以 $n-1$ 自由度 [eq62] 一个获得带有参数的Gamma随机变量 $n-1$ 和 sigma ^ 2 （请参阅标题为“ 伽玛分布 更多细节）。

因此，总结一下，调整后的样本方差 $ s ^ {2} $ 具有带有参数的Gamma分布 $n-1$ 和 sigma ^ 2.

此外，调整后的样本方差 $ s ^ {2} $ 独立于样本均值 Xbar_n, 证明如下。样本均值可以写成 如 [eq63]和 样本方差可以写成 如 [eq64]如果 我们使用上面的命题（线性变换和 二次形式），验证 Xbar_n 和 $ s ^ {2} $ 归结为验证 [eq65]哪一个 通过直接执行乘法可以很容易地检查 $ imath ^ {op} $ 和 $ M $.

如何引用

请引用为：

Taboga, Marco (2017). "正态分布-二次形式", 列克特ures on probability 的ory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/probability-distributions/normal-distribution-quadratic-forms.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享