大数定律(LLN)是一个命题,它提供了一组 样本收敛的充分条件意味着一个常数。 通常,常数是从中得到的分布的期望值 样本已抽取。
让
成为 随机变量序列 。 让
是第一个的样本均值
条款
顺序:
A 大数定律 (LLN)指出了
足以保证...的收敛
取一个常数,作为样本量
增加。
通常,序列中的所有随机变量
具有相同的期望值
.
在这种情况下,样本均值收敛的常数为
(称为总体均值)。但也有大数定律
哪些条款
不需要具有相同的期望值。在这些情况下,
在本讲座中未处理的样本均值收敛于的常数
是序列中各个术语的期望值的平均值
.
实际上有数十个LLN。我们在下面报告一些重要的例子。
LLN称为 弱 大数定律(WLLN)如果 样本平均值 收敛概率。形容词 使用弱是因为概率收敛通常被称为弱 收敛,它被用来区别于 强大 大数定律,其中样本均值为 需要几乎肯定地收敛。
最有名的WLLN可能是切比雪夫(Chebyshev)。
请注意,习惯上陈述切比雪夫的弱点
大数定律是由于概率的收敛
样品
意思: 然而,
上述定理的条件保证了 意思
平方收敛 样本均值
:
在以上证明中
切比雪夫(Chebyshev)的WLLN,事实证明
那 和
那
这个
暗示
那
如
a
后果,
但
这只是...的均方收敛的定义
至
.
因此,在切比雪夫(Chebyshev)的WLLN中, 概率只是以下事实的结果: 均方收敛表示 可能性.
切比雪夫的WLLN 阐述
要求序列中的条款
彼此具有零协方差。通过放松
此要求,并允许
顺序
,
切比雪夫弱数定律的更一般版本可以是
获得。
命题(切比雪夫WLLN
对于相关序列)
让
是随机的协方差平稳序列
变量:
如果
协方差平均为零, 那是,
如果
然后
样本的弱大数定律适用
意思:
有关完整的证据,请参见
卡琳和泰勒(1975)。我们在这里提供证明
基于协方差是绝对的假设
可总结的: 哪一个
比命题中的假设更强大的假设是
协方差平均为零。样本均值的期望值
是
的
样本均值方差
是
注意
那
但
协方差是绝对可加的
那
哪里
是一个有限常数。
因此,
现在
我们可以将切比雪夫不等式应用于样本均值
:
对于
任何
(即,对于任何严格的正实数
)。
插入期望值和上面得出的方差的值,
我们
获得
以来
和
然后
那
也
注意
这对于任何小的东西都适用
.
根据概率收敛的定义,这意味着
收敛到
(如果您想知道这里和那里的严格和弱小的不平等,
概率收敛的定义,请注意
暗示
对于任何严格肯定的
)。
切比雪夫(Chebyshev)的弱大数定律
相关序列已被陈述为收敛的结果
样本概率
意思: 然而,
上述定理的条件也保证了均方收敛
样本均值
:
在以上证明中
切比雪夫相关数的弱大数定律
序列,我们证明了
那 和
那
这个
暗示
从而,
双方都采取限制措施
获得
但
所以
肯定是
那
这个
只是的均方收敛的定义
至
.
因此,同样在切比雪夫的弱大数定律中 对于相关序列,概率的收敛性来自于 均方收敛表示概率收敛。
LLN称为 强大 大数法则(SLLN)如果 样本平均值 几乎肯定会收敛。形容词 强大 是用来与弱数定律区分开来的, 样本均值需要收敛概率。
在SLLN中,Kolmogorov可能是最好的 众所周知。
例如,请参见 雷斯尼克(1999) 和 威廉姆斯 (1991).
在Kolmogorov的SLLN中,序列
必须是一个iid序列。可以通过以下方法削弱此要求:
要求
平稳而遍历。
例如,请参见 卡琳和泰勒(1975) 和 怀特(2001).
我们刚刚介绍的LLN涉及随机变量序列。 但是,它们可以直接方式扩展为 随机向量。
主张
让
是一个序列
随机向量
是他们共同的期望值
和
其
样本平均值。表示
-th
的组成部分
通过
和
-th
的组成部分
通过
.
然后:
大数定律适用于样本均值
当且仅当弱数定律适用于每个组件
向量的
,
也就是说,当且仅当
如果
大数定律适用于样本均值
当且仅当强数定律适用于每个组件
向量的
,
也就是说,当且仅当
如果
您可以在下面找到一些练习,其中包含已说明的解决方案。
让
是一个IID序列。序列的通用术语具有均值
和方差
.
让
是协方差平稳序列,使得该序列的通用术语
满足
哪里
.
表示为
的
序列的样本均值。验证序列是否正确
满足切比雪夫弱大法则要求的条件
数字。在肯定的情况下,找到其概率极限。
通过假设顺序
是协方差平稳的。所以序列的所有项都相同
期望值。取双方的期望值
方程
我们
获得
解决
对于
,
我们
获得
通过
相同的令牌,可以得出方差
从
哪一个,
解决
,
产量
现在,
我们需要推导
.
注意
那
的
序列的两个项之间的协方差
是
的
协方差之和
是
从而,
协方差趋于零
平均:
和
满足切比雪夫弱大数定律的条件。
因此,样本均值收敛到总体的概率
意思:
Karlin,S. 和 H. E. Taylor(1975) 第一门课程 随机过程,学术出版社。
雷斯尼克(美国) (1999) A 概率路径,Birkhauser。
白H (2001) 渐近的 计量经济学理论,学术出版社。
威廉姆斯D. (1991) 可能性 与mar,剑桥大学出版社。
请引用为:
Taboga, Marco (2017). "大数定律", 列克特 ures on 可能性 的 ory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/law-of-large-numbers.