在Statlect上搜索概率和统计术语
统计 列克特
指数 > 渐近理论

大数定律

通过 博士

大数定律(LLN)是一个命题,它提供了一组 样本收敛的充分条件意味着一个常数。 通常,常数是从中得到的分布的期望值 样本已抽取。

目录

样本均值

[eq1] 成为 随机变量序列 。 让  Xbar_n 是第一个的样本均值 n 条款 顺序: [eq2]

A 大数定律 (LLN)指出了 足以保证...的收敛  Xbar_n 取一个常数,作为样本量 n 增加。

通常,序列中的所有随机变量 [eq1] 具有相同的期望值 [eq4]. 在这种情况下,样本均值收敛的常数为  亩 (称为总体均值)。但也有大数定律 哪些条款 [eq1] 不需要具有相同的期望值。在这些情况下, 在本讲座中未处理的样本均值收敛于的常数 是序列中各个术语的期望值的平均值 [eq6].

实际上有数十个LLN。我们在下面报告一些重要的例子。

弱律

LLN称为 大数定律(WLLN)如果 样本平均值 收敛概率。形容词 使用弱是因为概率收敛通常被称为弱 收敛,它被用来区别于 强大 大数定律,其中样本均值为 需要几乎肯定地收敛。

切比雪夫的弱大数定律

最有名的WLLN可能是切比雪夫(Chebyshev)。

命题(切比雪夫 WLLN) [eq1] 不相关 协方差平稳 顺序: [eq8] 然后, 样本的弱大数定律适用 意思: [eq9] 哪里 $ QTR {rm} {plim} $ 表示一个 概率极限。

证明

样本均值的期望值  Xbar_n [eq10] 的 样本均值方差  Xbar_n [eq11] 现在 我们可以申请 切比雪夫的 不等式 样本均值  Xbar_n :[eq12] 对于 任何 [eq13] (即,对于任何严格的正实数 k )。 插入期望值和上面得出的方差的值, 我们 获得 [eq14] 以来 [eq15][eq16] 然后 那 也 [eq17] 注意 这对于任何小的东西都适用 k. 由非常 收敛的定义 可能性, 这意味着  Xbar_n 收敛到  亩 (如果您想知道这里和那里的严格和弱小的不平等, 概率收敛的定义,请注意 [eq18] 暗示 [eq19] 对于任何严格肯定的 $ arepsilon<k$ )。

请注意,习惯上陈述切比雪夫的弱点 大数定律是由于概率的收敛 样品 意思: [eq9] 然而, 上述定理的条件保证了 意思 平方收敛 样本均值  亩 :[eq21]

证明

在以上证明中 切比雪夫(Chebyshev)的WLLN,事实证明 那 [eq22] 和 那 [eq23] 这个 暗示 那 [eq24] 如 a 后果,[eq25] 但 这只是...的均方收敛的定义  Xbar_n  亩 .

因此,在切比雪夫(Chebyshev)的WLLN中, 概率只是以下事实的结果: 均方收敛表示 可能性.

切比雪夫的弱大定律 相关序列号

切比雪夫的WLLN 阐述 要求序列中的条款 [eq6] 彼此具有零协方差。通过放松 此要求,并允许 顺序 [eq1], 切比雪夫弱数定律的更一般版本可以是 获得。

命题(切比雪夫WLLN 对于相关序列)[eq1] 是随机的协方差平稳序列 变量:[eq29] 如果 协方差平均为零, 那是, 如果 [eq30] 然后 样本的弱大数定律适用 意思: [eq9]

证明

有关完整的证据,请参见 卡琳和泰勒(1975)。我们在这里提供证明 基于协方差是绝对的假设 可总结的: [eq32] 哪一个 比命题中的假设更强大的假设是 协方差平均为零。样本均值的期望值  Xbar_n [eq33] 的 样本均值方差  Xbar_n [eq34] 注意 那 [eq35] 但 协方差是绝对可加的 那 [eq36] 哪里 $ overline {gamma} $ 是一个有限常数。 因此, [eq37] 现在 我们可以将切比雪夫不等式应用于样本均值  Xbar_n :[eq12] 对于 任何 [eq13] (即,对于任何严格的正实数 k )。 插入期望值和上面得出的方差的值, 我们 获得 [eq40] 以来 [eq41][eq16] 然后 那 也 [eq17] 注意 这对于任何小的东西都适用 k. 根据概率收敛的定义,这意味着  Xbar_n 收敛到  亩 (如果您想知道这里和那里的严格和弱小的不平等, 概率收敛的定义,请注意 [eq44] 暗示 [eq45] 对于任何严格肯定的 $ arepsilon<k$ )。

切比雪夫(Chebyshev)的弱大数定律 相关序列已被陈述为收敛的结果 样本概率 意思: [eq9] 然而, 上述定理的条件也保证了均方收敛 样本均值  亩 : [eq21]

证明

在以上证明中 切比雪夫相关数的弱大数定律 序列,我们证明了 那 [eq48] 和 那 [eq23] 这个 暗示 [eq50] 从而, 双方都采取限制措施 获得 [eq51][eq52] 所以 肯定是 那 [eq53] 这个 只是的均方收敛的定义  Xbar_n  亩 .

因此,同样在切比雪夫的弱大数定律中 对于相关序列,概率的收敛性来自于 均方收敛表示概率收敛。

强大的法律

LLN称为 强大 大数法则(SLLN)如果 样本平均值 几乎肯定会收敛。形容词 强大 是用来与弱数定律区分开来的, 样本均值需要收敛概率。

柯尔莫哥洛夫的强力定律 Large Numbers

在SLLN中,Kolmogorov可能是最好的 众所周知。

命题(Kolmogorov的 SLLN) [eq1] 豆角,扁豆 序列 随机 具有有限变量 意思: [eq55] 然后, 强大的大数定律适用于样本 意思: [eq56] 哪里 [eq57] 表示 几乎可以肯定的收敛.

证明

遍历定理

在Kolmogorov的SLLN中,序列 [eq1] 必须是一个iid序列。可以通过以下方法削弱此要求: 要求 [eq6] 平稳而遍历。

命题(遍历 定理) [eq1] 成为 平稳的 遍历 具有的随机变量序列 有限 意思: [eq55] 然后, 强大的大数定律适用于样本 意思: [eq56]

证明

随机向量的大数定律

我们刚刚介绍的LLN涉及随机变量序列。 但是,它们可以直接方式扩展为 随机向量。

主张[eq1] 是一个序列 Kx1 随机向量 [eq4] 是他们共同的期望值 和 [eq65] 其 样本平均值。表示  $ j $ -th 的组成部分  X_n 通过  $ X_ {n,j} $  $ j $ -th 的组成部分  Xbar_n 通过 $ overline {X} _ {n,j} $. 然后:

证明

这是由于以下事实造成的: 当且仅当其所有向量都以概率收敛(几乎肯定) 分量收敛的概率(几乎可以肯定)。参见讲座 概率收敛 几乎可以肯定的收敛.

解决的练习

您可以在下面找到一些练习,其中包含已说明的解决方案。

练习1

[eq68] 是一个IID序列。序列的通用术语具有均值  亩 和方差  sigma ^ 2 . 让 [eq6] 是协方差平稳序列,使得该序列的通用术语 满足 [eq70] 哪里 $-1<
ho <1$. 表示为 [eq71] 的 序列的样本均值。验证序列是否正确 [eq72] 满足切比雪夫弱大法则要求的条件 数字。在肯定的情况下,找到其概率极限。

通过假设顺序 [eq1] 是协方差平稳的。所以序列的所有项都相同 期望值。取双方的期望值 方程 [eq70] 我们 获得 [eq75] 解决 对于 [eq76], 我们 获得 [eq77] 通过 相同的令牌,可以得出方差 从 [eq78] 哪一个, 解决 [eq79], 产量 [eq80] 现在, 我们需要推导 [eq81]. 注意 那 [eq82] 的 序列的两个项之间的协方差 是 [eq83] 的 协方差之和 是 [eq84] 从而, 协方差趋于零 平均: [eq85] 和 满足切比雪夫弱大数定律的条件。 因此,样本均值收敛到总体的概率 意思: [eq86]

参考文献

Karlin,S. 和 H. E. Taylor(1975) 第一门课程 随机过程,学术出版社。

雷斯尼克(美国) (1999) A 概率路径,Birkhauser。

白H (2001) 渐近的 计量经济学理论,学术出版社。

威廉姆斯D. (1991) 可能性 与mar,剑桥大学出版社。

如何引用

请引用为:

Taboga, Marco (2017). "大数定律", 列克特 ures on 可能性 的 ory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/law-of-large-numbers.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。