足以保证的中心极限定理(CLT)状态条件 的 收敛 样本平均值 随样本数量的增加而分布。
由于中心极限定理涉及样本均值,我们首先对其进行定义 恰恰。
让
成为 随机变量序列.
我们将用
第一个样本均值
条款
顺序:
当样本量
增加,我们添加更多观察值
样本均值
请注意,样本均值是随机变量的总和,本身就是随机变量 变量。
中心极限定理告诉我们分布的变化 当我们增加样本量时的样本均值。
请记住,如果条件 大法则
号码 适用,样本均值
汇合
可能性 到观察值的期望值,
是的
在中心极限定理中,我们首先将样本均值标准化,即
从中减去期望值,然后除以标准
偏差。然后,我们分析其分布的行为作为样本
尺寸变大。发生的是标准化样本的平均值
分布趋同 正常
分配:
哪里
是一个 标准正态随机变量.
在重要的情况下,变量
是独立且均匀分布的(IID),上面的公式
变成
因为
和
样本均值收敛到 在大数定律中保持不变,而收敛于法线 中心极限定理中的分布。这似乎是一个矛盾: 正态分布不是常数!
IID案件的公式可能有助于消除这种疑问:
大数定律,样本均值的方差收敛到零,而
在中心极限定理中,样本均值乘以
因此其方差保持恒定。
实际上,CLT的用法如下:
我们观察到的样本包括
观察
,
,
,
;
如果
足够大,则标准正态分布是一个很好的近似值
标准化样本均值的分布;
因此,我们假装
那哪里
表示均值的正态分布
和方差
;
结果,样本均值的分布
是
有几个中心极限定理。我们在下面报告一些示例。
最著名的中央极限定理可能是Lindeberg-Lévy CLT:
命题(林德伯格évy
CLT)
让
豆角,扁豆 IID序列 随机
这样的变量
那:
哪里
.
然后,将中心极限定理应用于样本均值
:
哪里
是标准的正常随机变量,并且
表示分布趋同。
我们将草绘一个证明。有关详细
严格的证明,例如: 雷斯尼克(1999)
和 威廉姆斯(1991)。首先,用
其通用术语的序列
是
的
特征函数 的
是
现在
接受泰勒级数的二阶展开
围绕这一点
:
哪里
是一个比...高的无穷小数
,
也就是收敛到
比...快
做。
因此,
所以,
我们有
那
哪里
是
标准正态随机变量的特征函数
(请参阅标题为“ 正态分布)。一种
定理,称为Lévy连续性定理,我们在这些中不涉及
讲座指出,如果一系列随机变量
就是他们的特色功能
收敛到特征函数
随机变量
,
然后顺序
收敛到
.
因此,在我们的情况下
分布收敛到标准正态分布。
因此,大致而言,在陈述的假设下,
样本平均值
可以用均值的正态分布来近似
和方差
(提供
足够大)。
另请注意,Lindeberg-L的有效性条件évy Central
极限定理类似于条件的有效性
柯尔莫哥洛夫的强大定律
号码。唯一的区别是附加要求
那
在里面 林德伯格évy CLT (see above),
序列
必须是IID序列。独立性的假设可以是
减弱如下。
命题(相关的CLT
序列)
让
成为 平稳的 和
混合 随机变量序列
满足CLT技术条件(在下面的证明中定义)等
那
哪里
.
然后,将中心极限定理应用于样本均值
:
哪里
是标准的正常随机变量,并且
表示分布趋同。
因此,大致而言,在陈述的假设下,
样本平均值
可以用均值的正态分布来近似
和方差
(提供
足够大)。
还要注意中心极限定理的有效性条件
相关序列的条件类似于
遍历定理。主要区别
(除了以上未明确说明的某些技术条件
命题)是附加要求
那:和
事实 遍历性 被替换为
混合条件更强。
最后,让我们提一下
在上述命题中定义
如
是
叫做 长期差异 的
.
上面说明的随机变量序列的结果在 随机向量序列的直接方式。例如, 林德伯格的多元版本évy CLT如下。
命题(多元
林德伯格évy
CLT)
让
是的IID序列
随机向量
那
哪里
对于可逆矩阵
.
让
是样本均值的向量。
然后,
哪里
是一个 标准多元正态随机向量
和
表示分布趋同。
作为证明,例如, 巴苏(2004), 达斯古普塔 (2008) 和 McCabe和Tremayne(1993).
以类似的方式,相关序列的CLT概括为随机
向量
(
变成一个矩阵,称为长期协方差矩阵)。
您可以在下面找到一些练习,其中包含已说明的解决方案。
让
成为独立的序列 贝努利
随机变量 带参数
,
即通用术语
的顺序有
支持
和
概率质量
功能
使用中心极限定理得出均值的近似分布
第一个
顺序条款。
序列
是和IID序列。序列通用术语的平均值
是
的
序列的一般术语的方差可以归因于通常
计算方差的公式
(
):
因此,
序列
满足Lindeberg-L的条件évy中心极限定理(IID,
有限均值,有限方差)。第一的均值
序列项
是
使用
中心极限定理来近似其分布,我们
获得
要么
让
是具有参数的独立伯努利随机变量的序列
,
和上一个练习一样。让
是另一个随机变量序列,例如
那
假设
满足相关序列中心极限定理的条件。
推导第一个平均值的近似分布
序列项
.
序列
是和IID序列。序列通用术语的平均值
是
的
序列通用术语的方差
是
的
序列的两个连续项之间的协方差
是
的
不相邻的两个项之间的协方差
(
和
,
与
)
是
的
长期差异
是
的
第一的均值
序列项
是
使用
相关序列的中心极限定理近似
分布,我们
获得:
要么
让
是具有参数的二项式随机变量
和
(您需要阅读标题为“ 二项式
分配 为了能够解决此练习)。通过使用
中心极限定理,表明一个正常的随机变量
刻薄
和方差
可以用作
.
二项式随机变量
带参数
和
可以写
如
哪里
,
...,
是具有参数的相互独立的伯努利随机变量
.
从而,
在
在第一个练习中,我们已经表明
可以用法线近似
分配:
因此,
的分布
可以近似
通过
从而,
可以用均值的正态分布来近似
和方差
.
Basu,A.K.(2004年) 测量理论与 可能性,PHI学习PVT。
达斯古普塔,A.(2008年) 渐近理论 统计和概率,施普林格。
杜雷特河(2010) 可能性: 理论与实例,剑桥大学出版社。
McCabe,B.和A.Tremayne(1993) 现代元素 渐近理论及其统计应用曼彻斯特大学 按。
雷斯尼克(美国) (1999) A 概率路径,Birkhauser。
白H (2001) 渐近的 计量经济学理论,学术出版社。
威廉姆斯D. (1991) 可能性 与mar,剑桥大学出版社。
请引用为:
Taboga, Marco (2017). "中心极限定理", 列克ures on 可能性 的ory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/central-limit-theorem.