在Statlect上搜索概率和统计术语
统计 列克特
指数 > 渐近理论

大数定律

通过 博士

大数定律（LLN）是一个命题，它提供了一组 样本收敛的充分条件意味着一个常数。 通常，常数是从中得到的分布的期望值 样本已抽取。

目录

目录

  1. 样本均值

  2. 弱律

    1. 切比雪夫的弱大数定律

    2. 相关序列的切比雪夫弱大数定律

  3. 强大的法律

    1. 柯尔莫哥洛夫的强数定律

    2. 遍历定理

  4. 随机向量的大数定律

  5. 解决的练习

    1. 练习1

  6. 参考文献

样本均值

让 [eq1] 成为 随机变量序列 。 让 Xbar_n 是第一个的样本均值 n 条款 顺序： [eq2]

A 大数定律 （LLN）指出了 足以保证...的收敛 Xbar_n 取一个常数，作为样本量 n 增加。

通常，序列中的所有随机变量 [eq1] 具有相同的期望值 [eq4]. 在这种情况下，样本均值收敛的常数为 亩 （称为总体均值）。但也有大数定律 哪些条款 [eq1] 不需要具有相同的期望值。在这些情况下， 在本讲座中未处理的样本均值收敛于的常数 是序列中各个术语的期望值的平均值 [eq6].

实际上有数十个LLN。我们在下面报告一些重要的例子。

弱律

LLN称为 弱 大数定律（WLLN）如果 样本平均值 收敛概率。形容词 使用弱是因为概率收敛通常被称为弱 收敛，它被用来区别于 强大 大数定律，其中样本均值为 需要几乎肯定地收敛。

切比雪夫的弱大数定律

最有名的WLLN可能是切比雪夫（Chebyshev）。

命题（切比雪夫 WLLN） 让 [eq1] 不相关 协方差平稳 顺序： [eq8] 然后， 样本的弱大数定律适用 意思： [eq9] 哪里 $ QTR {rm} {plim} $ 表示一个 概率极限。

证明

样本均值的期望值 Xbar_n 是 [eq10] 的 样本均值方差 Xbar_n 是 [eq11] 现在 我们可以申请 切比雪夫的 不等式 样本均值 Xbar_n :[eq12] 对于 任何 [eq13] （即，对于任何严格的正实数 k ）。 插入期望值和上面得出的方差的值， 我们 获得 [eq14] 以来 [eq15] 和 [eq16] 然后 那 也 [eq17] 注意 这对于任何小的东西都适用 k. 由非常 收敛的定义 可能性， 这意味着 Xbar_n 收敛到 亩 （如果您想知道这里和那里的严格和弱小的不平等， 概率收敛的定义，请注意 [eq18] 暗示 [eq19] 对于任何严格肯定的 $ arepsilon<k$ ）。

请注意，习惯上陈述切比雪夫的弱点 大数定律是由于概率的收敛 样品 意思： [eq9] 然而， 上述定理的条件保证了 意思 平方收敛 样本均值 亩 :[eq21]

证明

在以上证明中 切比雪夫（Chebyshev）的WLLN，事实证明 那 [eq22] 和 那 [eq23] 这个 暗示 那 [eq24] 如 a 后果，[eq25] 但 这只是...的均方收敛的定义 Xbar_n 至 亩 .

因此，在切比雪夫（Chebyshev）的WLLN中， 概率只是以下事实的结果： 均方收敛表示 可能性.

切比雪夫的弱大定律 相关序列号

切比雪夫的WLLN 阐述 要求序列中的条款 [eq6] 彼此具有零协方差。通过放松 此要求，并允许 顺序 [eq1], 切比雪夫弱数定律的更一般版本可以是 获得。

命题（切比雪夫WLLN 对于相关序列） 让 [eq1] 是随机的协方差平稳序列 变量：[eq29] 如果 协方差平均为零， 那是， 如果 [eq30] 然后 样本的弱大数定律适用 意思： [eq9]

证明

有关完整的证据，请参见 卡琳和泰勒（1975）。我们在这里提供证明 基于协方差是绝对的假设 可总结的： [eq32] 哪一个 比命题中的假设更强大的假设是 协方差平均为零。样本均值的期望值 Xbar_n 是 [eq33] 的 样本均值方差 Xbar_n 是 [eq34] 注意 那 [eq35] 但 协方差是绝对可加的 那 [eq36] 哪里 $ overline {gamma} $ 是一个有限常数。 因此， [eq37] 现在 我们可以将切比雪夫不等式应用于样本均值 Xbar_n :[eq12] 对于 任何 [eq13] （即，对于任何严格的正实数 k ）。 插入期望值和上面得出的方差的值， 我们 获得 [eq40] 以来 [eq41] 和 [eq16] 然后 那 也 [eq17] 注意 这对于任何小的东西都适用 k. 根据概率收敛的定义，这意味着 Xbar_n 收敛到 亩 （如果您想知道这里和那里的严格和弱小的不平等， 概率收敛的定义，请注意 [eq44] 暗示 [eq45] 对于任何严格肯定的 $ arepsilon<k$ ）。

切比雪夫（Chebyshev）的弱大数定律 相关序列已被陈述为收敛的结果 样本概率 意思： [eq9] 然而， 上述定理的条件也保证了均方收敛 样本均值 亩 : [eq21]

证明

在以上证明中 切比雪夫相关数的弱大数定律 序列，我们证明了 那 [eq48] 和 那 [eq23] 这个 暗示 [eq50] 从而， 双方都采取限制措施 获得 [eq51] 但 [eq52] 所以 肯定是 那 [eq53] 这个 只是的均方收敛的定义 Xbar_n 至 亩 .

因此，同样在切比雪夫的弱大数定律中 对于相关序列，概率的收敛性来自于 均方收敛表示概率收敛。

强大的法律

LLN称为 强大 大数法则（SLLN）如果 样本平均值 几乎肯定会收敛。形容词 强大 是用来与弱数定律区分开来的， 样本均值需要收敛概率。

柯尔莫哥洛夫的强力定律 Large Numbers

在SLLN中，Kolmogorov可能是最好的 众所周知。

命题（Kolmogorov的 SLLN） 让 [eq1] 豆角，扁豆 序列 随机 具有有限变量 意思： [eq55] 然后， 强大的大数定律适用于样本 意思： [eq56] 哪里 [eq57] 表示 几乎可以肯定的收敛.

证明

例如，请参见 雷斯尼克（1999） 和 威廉姆斯 (1991).

遍历定理

在Kolmogorov的SLLN中，序列 [eq1] 必须是一个iid序列。可以通过以下方法削弱此要求： 要求 [eq6] 平稳而遍历。

命题（遍历 定理） 让 [eq1] 成为 平稳的 和 遍历 具有的随机变量序列 有限 意思： [eq55] 然后， 强大的大数定律适用于样本 意思： [eq56]

证明

例如，请参见 卡琳和泰勒（1975） 和 怀特（2001）.

随机向量的大数定律

我们刚刚介绍的LLN涉及随机变量序列。 但是，它们可以直接方式扩展为 随机向量。

主张 让 [eq1] 是一个序列 Kx1 随机向量 [eq4] 是他们共同的期望值 和 [eq65] 其 样本平均值。表示 $ j $ -th 的组成部分 X_n 通过 $ X_ {n，j} $ 和 $ j $ -th 的组成部分 Xbar_n 通过 $ overline {X} _ {n，j} $. 然后：

证明

这是由于以下事实造成的： 当且仅当其所有向量都以概率收敛（几乎肯定） 分量收敛的概率（几乎可以肯定）。参见讲座 概率收敛 和 几乎可以肯定的收敛.

解决的练习

您可以在下面找到一些练习，其中包含已说明的解决方案。

练习1

让 [eq68] 是一个IID序列。序列的通用术语具有均值 亩 和方差 sigma ^ 2 . 让 [eq6] 是协方差平稳序列，使得该序列的通用术语 满足 [eq70] 哪里 $-1< ho <1$. 表示为 [eq71] 的 序列的样本均值。验证序列是否正确 [eq72] 满足切比雪夫弱大法则要求的条件 数字。在肯定的情况下，找到其概率极限。

解

通过假设顺序 [eq1] 是协方差平稳的。所以序列的所有项都相同 期望值。取双方的期望值 方程 [eq70] 我们 获得 [eq75] 解决 对于 [eq76], 我们 获得 [eq77] 通过 相同的令牌，可以得出方差 从 [eq78] 哪一个， 解决 [eq79], 产量 [eq80] 现在， 我们需要推导 [eq81]. 注意 那 [eq82] 的 序列的两个项之间的协方差 是 [eq83] 的 协方差之和 是 [eq84] 从而， 协方差趋于零 平均： [eq85] 和 满足切比雪夫弱大数定律的条件。 因此，样本均值收敛到总体的概率 意思： [eq86]

参考文献

Karlin，S. 和 H. E. Taylor（1975） 第一门课程 随机过程，学术出版社。

雷斯尼克（美国） (1999) A 概率路径，Birkhauser。

白H (2001) 渐近的 计量经济学理论，学术出版社。

威廉姆斯D. (1991) 可能性 与mar，剑桥大学出版社。

如何引用

请引用为：

Taboga, Marco (2017). "大数定律", 列克特 ures on 可能性 的 ory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/law-of-large-numbers.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

学到更多
精选页面
探索
主要部分
关于
词汇表条目
分享