在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计 > 点估计

方差的点估计

通过 博士

本讲座介绍了一些示例 点 估算 问题，专注于 方差估计, 也就是说，使用样本产生对点的估计 方差 未知真人在线斗地主。

目录

目录

  1. 正常的IID样本-已知平均值

    1. 例子

    2. 估计量

    3. 估计量的期望值

    4. 估计量的方差

    5. 估计量的真人在线斗地主

    6. 估计量的风险

    7. 估计量的一致性

  2. 正常的IID样本-未知平均值

    1. 例子

    2. 估计量

    3. 估计量的期望值

    4. 估计量的方差

    5. 估计量的真人在线斗地主

    6. 估计量的风险

    7. 估计量的一致性

  3. 解决的练习

    1. 练习1

    2. 练习2

正常的IID样本-已知平均值

在此示例中，我们做出的假设与我们在 均值估计的示例 意思 估计-普通IID样本。强烈建议读者阅读 在阅读此示例之前的那个示例。

例子

例子 $ xi _ {n} $ 由..制作 n 从一个独立抽签 正态真人在线斗地主 有 已知均值 亩 和未知方差 sigma ^ 2. 具体来说，我们观察 n 实现 $ x_ {1} $, ...， $ x_ {n} $ 的 n 独立随机变量 X_1, ...， X_n, 全部具有已知均值的正态真人在线斗地主 亩 和未知方差 sigma ^ 2. 样本是 n尺寸 向量 [eq1] 这是实现 随机向量 [eq2]

估计量

我们使用以下估算器 方差：[eq3]

估计量的期望值

估计量的期望值 [eq4] 等于真实方差 sigma ^ 2:[eq5]

证明

这可以用线性度证明 预期 值：[eq6]

因此，估算器 [eq4] 是 无偏见的.

估计量的方差

估计量的方差 [eq4] 是[eq9]

证明

可以使用以下事实证明这一点： 正态真人在线斗地主 [eq10] 和独立方差的公式 和：[eq11]

因此，随着样本数量的增加，估计量的方差趋于零 n 趋于无穷大。

估计量的真人在线斗地主

估计量 [eq4] 有一个 伽玛真人在线斗地主 带参数 n 和 sigma ^ 2.

证明

估计量 [eq4] 可以写 如 [eq14]哪里 变量 $ Z_ {i} $ 是独立的 标准正态随机变量 和 $ W $, 是...的平方和 n 独立标准正态随机变量，具有卡方真人在线斗地主 与 n 自由度（请参阅标题为“ 卡方真人在线斗地主 更多细节）。 卡方随机变量乘以 n 自由度 $ sigma ^ {2} / n $ 一个获得带有参数的Gamma随机变量 n 和 sigma ^ 2 （请参阅标题为“ 伽玛真人在线斗地主 更多细节）。

估计量的风险

的 均方误差 的 估计量 是[eq15]

估计量的一致性

的 估计量[eq3]能够 被视为序列的样本均值 [eq17] 序列的通用术语 是[eq18]的 顺序 [eq17] 满足条件 柯尔莫哥洛夫的 强数定律 ([eq20] 是具有有限均值的IID序列）。因此，样本均值 $ Y_ {n} $ 几乎肯定会收敛 真实地 [eq21]:[eq22]因此 估计量 [eq23] 是 高度一致。它是 也 弱一致性, 因为 几乎可以肯定，收敛意味着收敛 可能性:[eq24]

正常的IID样本-未知平均值

此示例与上一个示例相似。唯一的区别是我们 放宽真人在线斗地主均值已知的假设。

例子

例子 $ xi _ {n} $ 由..制作 n 从均值未知的正态真人在线斗地主中独立提取 亩 和未知方差 sigma ^ 2. 具体来说，我们观察 n 实现 $ x_ {1} $, ...， $ x_ {n} $ 的 n 独立随机变量 X_1, ...， X_n, 全部具有正态真人在线斗地主，均值未知 亩 和未知方差 sigma ^ 2. 样本是 n尺寸 向量 [eq25] 这是随机向量的实现 [eq2]

估计量

在此示例中，还需要确定真人在线斗地主的均值（未知） 估计。据估计 样本平均值 Xbar_n:[eq27]

我们使用以下方差估计量：

  1. 未经调整的样本 方差：[eq28]

  2. 调整后的样本 方差：[eq29]

估计量的期望值

未调整样本方差的期望值 是[eq30]

证明

这可以证明为 如下：[eq31]但 [eq32] 什么时候 $i eq j$ （因为 X_i 和 $ X_ {j} $ 在什么时候是独立的 $i eq j$ -看 通过相互独立 期望）。 因此，[eq33]

因此，未经调整的样本方差 $ S_ {n} ^ {2} $ 是一个 有偏见的 真实的估计 方差 sigma ^ 2. 调整后的样本方差 $ s_ {n} ^ {2} $, 相反，是的无偏估计量 方差：[eq34]

证明

这可以证明为 如下：[eq35]

因此，当 亩 被估计，我们需要除以 $n-1 $ 而不是 n 以获得无偏估计。直观地考虑平方 与样本均值的偏差，而不是与真实值的平方偏差 意思是，我们低估了数据的真实可变性。实际上， 与真实均值的平方偏差之和始终大于 与样本均值的平方偏差。除以 $n-1$ 而不是 n 完全纠正了这种偏见。号码 $n-1$ 我们除以的方式称为 自由度数 等于采样点数 (n) 减去要估计的其他参数的数量（在本例中为 1, 真实的意思 亩）。

我们需要乘以有偏估计的因素 $ S_ {n} ^ {2} $ 获得无偏估计量 $ s_ {n} ^ {2} $ 是，属于 课程，[eq36]

这个因素称为 自由度调整， 哪一个 解释为什么 $ S_ {n} ^ {2} $ 称为未调整样本方差， $ s_ {n} ^ {2} $ 称为调整样本方差。

估计量的方差

未调整样本方差的方差 是[eq37]

证明

以下小节对此进行了证明 （估算器的真人在线斗地主）。

调整后的样本方差的方差 是[eq38]

证明

在下面也证明了这一点 小节（估算器的真人在线斗地主）。

因此，两者的方差 $ S_ {n} ^ {2} $ 和的方差 $ s_ {n} ^ {2} $ 样本数量收敛为零 n 趋于无穷大。另请注意，未经调整的样本方差 $ S_ {n} ^ {2} $, 尽管有偏差，但方差比调整后的样本方差小 $ s_ {n} ^ {2} $, 相反，这是公正的。

估计量的真人在线斗地主

未经调整的样本方差 $ S_ {n} ^ {2} $ 具有带有参数的Gamma真人在线斗地主 $n-1$ 和 [eq39].

证明

为了证明这一结果，我们需要使用一些 关于涉及正常随机变量的二次形式的事实， 在演讲中介绍 正态真人在线斗地主- 二次形式。要了解此证明，您需要先阅读 讲座，特别是标题为 样本方差 作为二次形式。定义 矩阵[eq40]哪里 I 是一个 $尼姆n $ 单位矩阵和 $ imath $ 是一个 $尼姆1 $ 向量的。 $ M $ 是对称和幂等的。表示为 X 的 尼姆1美元 随机向量 i-th 项等于 X_i. 随机向量 X 具有多元正态真人在线斗地主，均值 $ 亩 imath $ 和 协方差矩阵 $ sigma ^ {2} I $.

利用矩阵的事实 $ M $ 是对称且幂等的，可以写未经调整的样本方差 如 [eq41]

通过使用随机的事实 向量[eq42]具有 a 标准多元正态真人在线斗地主 和 事实上 $ Mimath = 0 $, 我们可以重写 [eq43]在 也就是说， $ S_ {n} ^ {2} $ 与标准法向随机向量中的二次形式成比例 ($ Z ^ {op} MZ $) 二次形式涉及一个对称且等幂的矩阵，其轨迹 等于 $n-1$. 因此，二次形式 $ Z ^ {op} MZ $ 具有卡方真人在线斗地主 $n-1$ 自由程度。最后，我们可以 写[eq44]那 是的 $ S_ {n} ^ {2} $ 是卡方随机变量除以其自由度数 并乘以 [eq45]. 从而， $ S_ {n} ^ {2} $ 是具有参数的Gamma随机变量 $n-1$ 和 [eq46] （请参阅标题为“ 伽玛真人在线斗地主 进行解释）。而且，根据Gamma随机变量的属性， 期望值 是[eq47]和 其方差 是[eq48]

调整后的样本方差 $ s_ {n} ^ {2} $ 具有带有参数的Gamma真人在线斗地主 $n-1$ 和 sigma ^ 2.

证明

这个结果的证明类似于 上面未调整的样本方差的证明。也可以在 演讲题目 正常 真人在线斗地主-二次形式。在这里，我们只是注意到 $ s_ {n} ^ {2} $, 是具有参数的Gamma随机变量 $n-1$ 和 sigma ^ 2, 预期 值[eq49]和 方差[eq38]

估计量的风险

的 均方误差 的 未经调整的样本方差 是[eq51]

证明

它 可以证明为 如下：[eq52]

调整后样本方差的均方误差 是[eq53]

证明

它 可以证明为 如下：[eq54]

因此，未经调整的样本方差的均方误差总是 小于调整后样本的均方误差 方差：[eq55]

估计量的一致性

未经调整的样本 方差[eq28]能够 被写 如 [eq57]哪里 我们有 定义的[eq58]的 两个序列 Xbar_n 和 $ W_ {n} $ 是...的样本手段 X_n 和 $ X_ {n} ^ {2} $ 分别。后者都满足以下条件 柯尔莫哥洛夫的强数定律 （它们形成 IID序列 与有限 均值），这意味着他们的样本均值 Xbar_n 和 $ W_ {n} $ 几乎可以肯定地收敛到他们的真实 手段：[eq59]以来 的 功能[eq60]是 连续和 几乎 确保通过连续转换保持收敛，我们 获得[eq61]因此 估计量 $ S_ {n} ^ {2} $ 是 高度一致。它是 也 弱一致性 因为 几乎可以肯定，收敛意味着收敛 可能性：[eq62]的 调整后的样本方差 $ s_ {n} ^ {2} $ 可以写 如 [eq63]的 比 $ frac {n} {n-1} $ 可以认为是一个恒定的随机变量 $ Z_ {n} $ 定义为 如下：[eq64]哪一个 几乎可以肯定地收敛到 1. 因此， [eq65]哪里 都 $ Z_ {n} $ 和 $ S_ {n} ^ {2} $ 几乎肯定会收敛。由于产品具有连续功能， 几乎可以肯定，通过持续的转换可以保持收敛，我们 有[eq66]从而， 也 $ s_ {n} ^ {2} $ 是高度一致的。

解决的练习

您可以在下面找到一些练习，其中包含已说明的解决方案。

练习1

您可以从未知的正态真人在线斗地主中观察到三个独立的抽奖 意思 亩 和未知方差 sigma ^ 2. 它们的值分别为50、100和150。使用这些值可产生无偏 估计真人在线斗地主方差。

解

样本均值是 [eq67]一个 调整后的样本提供方差的无偏估计 方差：[eq68]

练习2

机器（激光测距仪）用于测量 机器本身和给定的对象。测量到物体的距离时 位于相距10米的位置，机器造成的测量误差为 正态真人在线斗地主和独立真人在线斗地主，并且平均等于零。的 测量误差的方差小于1平方厘米，但其 确切值未知，需要估算。估计一下，我们 重复进行相同的测量，然后我们计算样本的方差 测量误差（我们也能够计算，因为我们知道 真实距离）。我们需要进行多少次测量才能获得 标准差小于0.1平方的方差估计量 厘米？

解

表示测量误差 X_1, ...， X_n. 使用以下方差估计量： [eq69]的 该估计量的方差 是[eq70]从而[eq71]我们 需要确保 那[eq72]要么[eq73]哪一个 肯定经过验证 如果[eq74]要么[eq75]

如何引用

请引用为：

Taboga, Marco (2017). "方差的点估计", 列克特ures on 可能性 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/variance-estimation.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享