搜索Statlect上的概率和统计信息
统计 章程
指数 > 渐近 theory

大量法

经过 ,博士学位

大量法则(LLN)是一个提供一组的命题 样本的收敛条件是恒定的。 通常,常数是分布的预期值 样本已经绘制。

目录

样本意味着

Let [eq1] be a 随机变量序列 。 让  xbar_n. 是第一个的样本意味着 n terms of the sequence:[eq2]

A 大量法 (lln)说明一些条件 足以保证融合  xbar_n. 常数,作为样本大小 n increases.

通常,序列中的所有随机变量 [eq1] 具有相同的预期价值 [eq4]. 在这种情况下,样本平均会聚的常数是  亩 (称为人口意思)。但还有大量的法律 哪个序列的条款 [eq1] 不需要具有相同的预期值。在这些情况下,这是 在本讲座中未治疗,样本意味着融合的常数 是序列中各个条款的预期值的平均值 [eq6].

有几十个LLN。我们在下面举报一些重要的例子。

弱法律

A LLN is called a 虚弱的 大量法律(Wlln)如果 sample mean 汇聚概率。形容词 使用弱弱,因为概率的融合通常被称为弱 收敛性,并且它被用来分化 强的 大量的法律,其中样本意味着 需要几乎肯定地融合。

Chebyshev的大量法则

可能,最着名的Wlln是Chebyshev的。

命题(Chebyshev's WLLN) Let [eq1] 是一个不相关的和 协方差静止 sequence:[eq8] 然后, 大量的薄弱法适用于样本 mean:[eq9] 在哪里 $ qtr {rm} {plim} $ denotes a 可能性 limit.

证明

样本的预期值是指  xbar_n. is[eq10] 这 样本的差异是指  xbar_n. is[eq11] 现在 we can apply Chebyshev's inequality 至 the sample mean  xbar_n. :[eq12] 为了 any [eq13] (即,任何严格的实际数量 k )。 插入预期值的值和上面导出的方差, we obtain[eq14] 自从 [eq15][eq16] 然后 it must be that also[eq17] 笔记 这适用于任何任意小的 k. By the very 收敛的定义 probability, 这意味着  xbar_n. 收敛于概率  亩 (如果你想知道这里和弱势不平等 概率融合的定义,请注意 [eq18] implies [eq19] 对于任何严格的积极态度 $ arepsilon.<k$ )。

请注意,它习惯于陈述Chebyshev的弱点 大量的法律导致概率的收敛性 sample mean:[eq9] 然而, 上述定理的条件保证了 mean square convergence 样本意味着  亩 :[eq21]

证明

在上述证明 Chebyshev的Wlln,它被证明 that[eq22] 和 that [eq23] 这 implies that[eq24] 作为 a consequence,[eq25] 但 这只是均线融合的定义  xbar_n. to  亩 .

因此,在Chebyshev的Wlln,收敛 概率只是事实的结果 平均方形的融合意味着收敛 probability.

Chebyshev的大量弱势 相关序列的数字

Chebyshev的 WLLN sets forth the 要求序列的条款 [eq6] 彼此有零协方差。通过放松 这一要求并允许术语之间的一些相关性 sequence [eq1], Chebyshev的大量弱法则的更普通版本可以 obtained.

命题(Chebyshev的Wlln 相关序列) Let [eq1] 是随机的协方差序列 variables:[eq29] 如果 协方差人士平均趋于为零, 那是, if[eq30] 然后 大量的薄弱法适用于样本 mean:[eq9]

证明

有一个完整的证明,例如, 卡林和泰勒(1975年)。我们在这里给出一个证据 基于考码人绝对的假设 summable:[eq32] 哪一个 比在命题中所做的假设是更强的假设 协方差人士平均趋于为零。样本的预期值是指  xbar_n. is[eq33] 这 样本的差异是指  xbar_n. is[eq34] 笔记 that [eq35] 但 协方差是绝对可取的,所以 that[eq36] 在哪里 $ overline {gamma} $ 是一个有限的常数。 Therefore,[eq37] 现在 我们可以将Chebyshev的不等式应用于样本意味着  xbar_n. :[eq12] 为了 any [eq13] (即,任何严格的实际数量 k )。 插入预期值的值和上面导出的方差, we obtain[eq40] 自从 [eq41][eq16] 然后 it must be that also[eq17] 笔记 这适用于任何任意小的 k. 通过概率的收敛定义,这意味着  xbar_n. 收敛于概率  亩 (如果你想知道这里和弱势不平等 概率融合的定义,请注意 [eq44] implies [eq45] 对于任何严格的积极态度 $ arepsilon.<k$ )。

也是Chebyshev的大量规律 结果已阐述相关序列对收敛的结果 样本的概率 mean:[eq9] 然而, 上述定理的条件也保证了均匀的平方收敛 样本意味着  亩 : [eq21]

证明

在上述证明 Chebyshev对相关的大数弱法 sequences, we proved that[eq48] 和 that [eq23] 这 implies[eq50] 因此, 我们对两侧进行限制 obtain[eq51][eq52] 所以 it must be that[eq53] 这 只是均线融合的定义  xbar_n. to  亩 .

因此,也是在Chebyshev的大量弱势法则中 对于相关序列,概率的收敛性来自 事实上,均方的收敛意味着概率的收敛性。

强烈的法律

A LLN is called a 强的 大量规律(SLLN)如果 sample mean 几乎肯定会融合。形容词 强大的是从大量的弱法律中区分,在哪里 样品意味着需要偶像。

Kolmogorov的强烈法则 Large Numbers

在Sllns中,Kolmogorov可能是最好的 known.

命题(Kolmogorov的 SLLN) Let [eq1] be an iid sequence of random 有限的变量 mean:[eq55] 然后, 大量的强烈规律适用于样本 mean:[eq56] 在哪里 [eq57] denotes 几乎肯定的融合.

证明

例如,参见 Resnick (1999) Williams (1991).

ergodic. 定理

在Kolmogorov的SLLN中,序列 [eq1] 需要是IID序列。这种要求可以削弱,通过 requiring [eq6] 静止和遍历。

命题(ergodic. Theorem) Let [eq1] be a stationary and ergodic 随机变量的序列具有 finite mean:[eq55] 然后, 大量的强烈规律适用于样本 mean:[eq56]

证明

随机载体的大数法则

我们刚刚介绍了随机变量的关注序列。 但是,它们可以以直接的方式扩展到序列 random vectors.

主张 Let [eq1] be a sequence of Kx1 random vectors, let [eq4] 是他们的常见预期价值 and[eq65] 他们的 样本平均值。表示  $ j $ - component of  X_N. by  $ x_ {n,j} $ and the  $ j $ - component of  xbar_n. by $ hypline {x} _ {n,j} $. Then:

证明

这是一个事实的结果 矢量概率(几乎肯定地)收敛,如果只有其所有 组件在概率(几乎肯定)中收敛。看到题为题为的讲座 概率融合 and 几乎肯定的融合.

解决练习

下面可以找到一些练习解释的解决方案。

练习1

Let [eq68] 是一个iid序列。序列的通用项具有平均值  亩 and variance  西格玛^ 2. . Let [eq6] 是一个协方差静止序列,使得序列的通用术语 satisfies[eq70] 在哪里 $-1<
ho <1$. Denote by [eq71] 这 样本序列的平均值。验证是否序列 [eq72] 满足Chebyshev弱大法则所需的条件 数字。在肯定的情况下,找到其概率限制。

解决方案

通过假设序列 [eq1] 是协方差静止。所以序列的所有条款都具有相同的 期望值。采取两侧的预期价值 equation[eq70] 我们 obtain[eq75] 解决 for [eq76], we obtain[eq77] 经过 同样的令牌,可以派生方差 from[eq78] 哪一个, solving for [eq79], yields[eq80] 现在, we need to derive [eq81]. Note that[eq82] 这 两个序列的两个条款之间的协方差 is[eq83] 这 共协调会的总和 is[eq84] 因此, 考德里亚人往往是零 average:[eq85] 和 Chebyshev大量弱法则的条件满意。 因此,样本意味着概率会聚到人口 mean:[eq86]

参考

Karlin,S.和H. E. Taylor(1975) A first course in stochastic processes,学术出版社。

Resnick,S. I. (1999) A probability path,Birkhauser。

白色,H. (2001) Asymptotic 经济学家理论,学术出版社。

威廉姆斯,D。 (1991) Probability with martingales,剑桥大学出版社。

如何引用

请引用:

Taboga, Marco (2017). "大量法", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/law-of-large-numbers.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。