在Statlect上搜索概率和统计术语
统计列克
指数 > 渐近理论

中心极限定理

通过 博士

足以保证的中心极限定理(CLT)状态条件 的 收敛 样本平均值 随样本数量的增加而分布。

目录

样本平均值

由于中心极限定理涉及样本均值,我们首先对其进行定义 恰恰。

[eq1] 成为 随机变量序列.

我们将用 Xbar_n 第一个样本均值 n 条款 顺序:[eq2]

当样本量 n 增加,我们添加更多观察值 X_i 样本均值

请注意,样本均值是随机变量的总和,本身就是随机变量 变量。

收敛到正态分布

中心极限定理告诉我们分布的变化 当我们增加样本量时的样本均值。

请记住,如果条件 大法则 号码 适用,样本均值 汇合 可能性 到观察值的期望值, 是的[eq3]

在中心极限定理中,我们首先将样本均值标准化,即 从中减去期望值,然后除以标准 偏差。然后,我们分析其分布的行为作为样本 尺寸变大。发生的是标准化样本的平均值 分布趋同 正常 分配:[eq4] 哪里 Z 是一个 标准正态随机变量.

在重要的情况下,变量 X_i 是独立且均匀分布的(IID),上面的公式 变成[eq5]因为[eq6][eq7]

直觉

样本均值收敛到 在大数定律中保持不变,而收敛于法线 中心极限定理中的分布。这似乎是一个矛盾: 正态分布不是常数!

IID案件的公式可能有助于消除这种疑问: 大数定律,样本均值的方差收敛到零,而 在中心极限定理中,样本均值乘以 $ sqrt {n} $ 因此其方差保持恒定。

实际中如何使用中心极限定理

实际上,CLT的用法如下:

  1. 我们观察到的样本包括 n 观察 X_1, X_2, $ ldots $, X_n;

  2. 如果 n 足够大,则标准正态分布是一个很好的近似值 标准化样本均值的分布;

  3. 因此,我们假装 那[eq8]哪里 [eq9] 表示均值的正态分布 0 和方差 1;

  4. 结果,样本均值的分布 $ overline {X} _ {n} $[eq10]

例子

有几个中心极限定理。我们在下面报告一些示例。

林德伯格évy Central Limit 的orem

最著名的中央极限定理可能是Lindeberg-Lévy CLT:

命题(林德伯格évy CLT)[eq1] 豆角,扁豆 IID序列 随机 这样的变量 那:[eq12]哪里 $ sigma ^ {2}>0$. 然后,将中心极限定理应用于样本均值 Xbar_n:[eq13]哪里 Z 是标准的正常随机变量,并且 [eq14] 表示分布趋同。

证明

我们将草绘一个证明。有关详细 严格的证明,例如: 雷斯尼克(1999) 威廉姆斯(1991)。首先,用 [eq15] 其通用术语的序列 是[eq16] 特征函数$ Z_ {n} $[eq17]现在 接受泰勒级数的二阶展开 [eq18] 围绕这一点 $s=0$:[eq19]哪里 [eq20] 是一个比...高的无穷小数 $ s ^ {2} $, 也就是收敛到 0 比...快 $ s ^ {2} $ 做。 因此,[eq21]所以, 我们有 那[eq22]哪里 [eq23]是 标准正态随机变量的特征函数 Z (请参阅标题为“ 正态分布)。一种 定理,称为Lévy连续性定理,我们在这些中不涉及 讲座指出,如果一系列随机变量 [eq24] 就是他们的特色功能 [eq25] 收敛到特征函数 [eq26] 随机变量 Z, 然后顺序 [eq27] 收敛到 Z. 因此,在我们的情况下 [eq15] 分布收敛到标准正态分布。

因此,大致而言,在陈述的假设下, 样本平均值 Xbar_n 可以用均值的正态分布来近似 亩 和方差 [eq29] (提供 n 足够大)。

另请注意,Lindeberg-L的有效性条件évy Central 极限定理类似于条件的有效性 柯尔莫哥洛夫的强大定律 号码。唯一的区别是附加要求 那[eq30]

中心极限定理 用于相关序列

在里面 林德伯格évy CLT (see above), 序列 [eq31] 必须是IID序列。独立性的假设可以是 减弱如下。

命题(相关的CLT 序列)[eq1] 成为 平稳的 混合 随机变量序列 满足CLT技术条件(在下面的证明中定义)等 那[eq33]哪里 $V>0$. 然后,将中心极限定理应用于样本均值 Xbar_n:[eq34]哪里 Z 是标准的正常随机变量,并且 [eq14] 表示分布趋同。

证明

几种不同的技术条件 (除了上述建议中明确指出的内容外) 为了导出相关序列的中心极限定理,文献。 这些条件通常非常温和,并且因作者而异。我们的确是 在此不提及这些技术条件,仅将其称为 CLT技术条件.

有关证明,请参见例如 杜勒特(2010) 白(2001).

因此,大致而言,在陈述的假设下, 样本平均值 Xbar_n 可以用均值的正态分布来近似 亩 和方差 $ frac {V} {n} $ (提供 n 足够大)。

还要注意中心极限定理的有效性条件 相关序列的条件类似于 遍历定理。主要区别 (除了以上未明确说明的某些技术条件 命题)是附加要求 那:[eq36]和 事实 遍历性 被替换为 混合条件更强。

最后,让我们提一下 V 在上述命题中定义 如 [eq37]是 叫做 长期差异Xbar_n.

多元概括

上面说明的随机变量序列的结果在 随机向量序列的直接方式。例如, 林德伯格的多元版本évy CLT如下。

命题(多元 林德伯格évy CLT)[eq1] 是的IID序列 Kx1 随机向量 那[eq39]哪里 [eq40] 对于可逆矩阵 西格玛. 让 [eq41] 是样本均值的向量。 然后,[eq42]哪里 Z 是一个 标准多元正态随机向量[eq43] 表示分布趋同。

证明

以类似的方式,相关序列的CLT概括为随机 向量 (V 变成一个矩阵,称为长期协方差矩阵)。

解决的练习

您可以在下面找到一些练习,其中包含已说明的解决方案。

练习1

[eq1] 成为独立的序列 贝努利 随机变量 带参数 $ frac {1} {2} $, 即通用术语 X_n 的顺序有 支持[eq45] 概率质量 功能[eq46]

使用中心极限定理得出均值的近似分布 第一个 $100$ 顺序条款。

序列 [eq1] 是和IID序列。序列通用术语的平均值 是[eq48]的 序列的一般术语的方差可以归因于通常 计算方差的公式 ([eq49]):[eq50]因此, 序列 [eq1] 满足Lindeberg-L的条件évy中心极限定理(IID, 有限均值,有限方差)。第一的均值 $100$ 序列项 是[eq52]使用 中心极限定理来近似其分布,我们 获得[eq53]要么[eq54]

练习2

[eq1] 是具有参数的独立伯努利随机变量的序列 $ frac {1} {2} $, 和上一个练习一样。让 [eq56] 是另一个随机变量序列,例如 那[eq57]

假设 [eq58] 满足相关序列中心极限定理的条件。 推导第一个平均值的近似分布 n 序列项 [eq58].

序列 [eq1] 是和IID序列。序列通用术语的平均值 是[eq61]的 序列通用术语的方差 是[eq62]的 序列的两个连续项之间的协方差 是[eq63]的 不相邻的两个项之间的协方差 ($ Y_ {n} $$ Y_ {n + j} $, 与 $j>1$) 是[eq64]的 长期差异 是[eq65]的 第一的均值 n 序列项 [eq58][eq67]使用 相关序列的中心极限定理近似 分布,我们 获得:[eq68]要么[eq69]

练习3

Y 是具有参数的二项式随机变量 $ n = 100 $$ frac {1} {2} $ (您需要阅读标题为“ 二项式 分配 为了能够解决此练习)。通过使用 中心极限定理,表明一个正常的随机变量 X 刻薄 $亩= 50 $ 和方差 $ sigma ^ {2} = 25 $ 可以用作 Y.

二项式随机变量 Y 带参数 $ n = 100 $$ frac {1} {2} $ 可以写 如 [eq70]哪里 X_1, ..., $ X_ {100} $ 是具有参数的相互独立的伯努利随机变量 $ frac {1} {2} $. 从而,[eq71]在 在第一个练习中,我们已经表明 $ overline {X} _ {100} $ 可以用法线近似 分配:[eq54]因此, 的分布 Y 可以近似 通过[eq73]从而, Y 可以用均值的正态分布来近似 $亩= 50 $ 和方差 $ sigma ^ {2} = 25 $.

参考文献

Basu,A.K.(2004年) 测量理论与 可能性,PHI学习PVT。

达斯古普塔,A.(2008年) 渐近理论 统计和概率,施普林格。

杜雷特河(2010) 可能性: 理论与实例,剑桥大学出版社。

McCabe,B.和A.Tremayne(1993) 现代元素 渐近理论及其统计应用曼彻斯特大学 按。

雷斯尼克(美国) (1999) A 概率路径,Birkhauser。

白H (2001) 渐近的 计量经济学理论,学术出版社。

威廉姆斯D. (1991) 可能性 与mar,剑桥大学出版社。

如何引用

请引用为:

Taboga, Marco (2017). "中心极限定理", 列克ures on 可能性 的ory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/central-limit-theorem.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。