在Statlect上搜索概率和统计术语
统计 列克特
指数 > 概率基础

协方差矩阵

通过 博士

X 成为 Kx1 随机向量 。 的 协方差 矩阵 X, 或的方差-协方差矩阵 X, 用表示 [eq1]. 定义为 如下: [eq2] 提供 以上 期望值 存在并且是 定义明确的。

它是的定义的多元概括 方差 标量随机变量 Y:[eq3]

目录

结构体

X_1, ...,  $ X_ {K} $ 表示 K 向量的组成部分 X. 从定义 [eq4], 可以很容易地看出 [eq5] 是一个 $ Kimes K $ 矩阵与以下 结构体:[eq6]

因此, X 是一个正方形 $ Kimes K $ 通用矩阵 $ left(i,j
权)$ -th 项等于 协方差 之间  X_i  $ X_ {j} $ .

以来 [eq7] 什么时候  $ i = j $ , 协方差矩阵的对角项等于 的各个组成部分 X.

假设 X 是一个  $ 2imes 1 $ 具有分量的随机向量 X_1 $ X_ {2} $ . 让 [eq8] 通过 协方差的对称性 [eq9]因此, 的协方差矩阵 X[eq10]

计算公式 covariance 矩阵

a的协方差矩阵 Kx1 随机向量 X 可以计算为 如下: [eq11]

证明

上式可推导为 如下: [eq12]

该公式还清楚表明协方差矩阵存在且为 仅在期望值向量的基础上定义良好 [eq13] 和第二矩阵 交叉时刻 [eq14] 存在并且定义明确。

更多细节

以下小节包含有关协方差矩阵的更多详细信息。

除常数向量

a 保持不变 Kx1 向量并让 X 成为 Kx1 随机向量。 然后, [eq15]

证明

这是由于以下事实: [eq16] (根据预期的线性 值): [eq17]

乘以常数矩阵

 $ b $ 保持不变 $ Mimes K $ 矩阵并让 X 成为 Kx1 随机向量。 然后, [eq18]

证明

使用以下事实很容易证明这一点: [eq19] (根据预期的线性 值): [eq20]

线性变换

a 保持不变 $ Mimes 1 $ 向量,  $ b $ 保持不变 $ Mimes K $ 矩阵和 X a Kx1 随机向量。然后,结合以上两个属性,一个 获得 [eq21]

对称

协方差矩阵 [eq5] 是一个对称矩阵,即等于 转置: [eq23]

半正定性

协方差矩阵 [eq5] 是一个正半定矩阵,即对于任何 $ 1imes K $ 向量 a:[eq25] 这个 很容易用 乘以常数 矩阵 属性 以上: [eq26] 哪里 最后的不平等源于方差总是正的事实。

线性变换之间的协方差

a $ b $ 是两个常数 $ 1imes K $ 向量和 X a Kx1 随机向量。然后,两个线性变换之间的协方差  $ aX $  $ bX $ 可以表示为协方差的函数 矩阵: [eq27]

证明

这可以证明为 如下: [eq28]

互协方差

术语协方差矩阵有时也用于指代 两个向量的元素之间的协方差。

X 成为 Kx1 随机向量和 Y 成为 $酸橙1 $ 随机向量。的 协方差矩阵 之间 XY, 或之间的互协方差 XY 用表示 [eq29]. 定义为 如下: [eq30] 提供 以上期望值存在且定义明确。

它是协方差定义之间的多元概括 两个标量随机变量。

X_1, ...,  $ X_ {K} $ 表示 K 向量的组成部分 X $ Y_ {1} $ , ...,  $ Y_ {L} $ 表示  $ L $ 向量的组成部分 Y 。从定义 [eq31], 可以很容易地看出 [eq32] 是一个  $ Kimes L $ 矩阵与以下 结构体:[eq33] 注意 那 [eq32] 与...不同 [eq35]. 事实上, [eq36] 是一个  $石灰K $ 等于转置的矩阵 [eq32]:[eq38]

解决的练习

您可以在下面找到一些练习,其中包含已说明的解决方案。

练习1

X 成为  $ 2imes 1 $ 随机向量,并通过 X_1X_2. 的协方差矩阵 X[eq39] 计算 随机变量的方差 Y 定义的 如 [eq40]

通过使用矩阵符号 Y 可以写 如 [eq41] 哪里 我们有 定义的 [eq42]因此, 的方差 Y 可以使用线性协方差矩阵的公式来计算 转型:[eq43]

练习2

X 成为 $ 3imes 1 $ 随机向量,并通过 X_1, X_2 $ X_ {3} $ . 的协方差矩阵 X[eq44] 计算 以下 协方差:[eq45]

使用协方差的双线性 运营商,我们 获得 [eq46] 的 使用两个之间的协方差公式可以得到相同的结果 线性变换。 定义 [eq47] 我们 有 [eq48]

练习3

X 成为 Kx1 协方差矩阵等于恒等式的随机向量 矩阵: [eq49] 定义 一个新的随机向量 Y 如 如下: [eq50] 哪里 A 是一个 $ Kimes K $ 这样的常数矩阵 那 [eq51] 派生 的协方差矩阵 Y.

通过协方差矩阵的公式 线性变换,我们 有 [eq52]

如何引用

请引用为:

Taboga, Marco (2017). "协方差矩阵", 列克特 ures on probability theory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-probability/covariance-matrix.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。