在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计 > 点估计

方差的点估计

通过 博士

本讲座介绍了一些示例 点 估算 问题,专注于 方差估计, 也就是说,使用样本产生对点的估计 方差 未知真人在线斗地主。

目录

正常的IID样本-已知平均值

在此示例中,我们做出的假设与我们在 均值估计的示例 意思 估计-普通IID样本。强烈建议读者阅读 在阅读此示例之前的那个示例。

例子

例子 $ xi _ {n} $ 由..制作 n 从一个独立抽签 正态真人在线斗地主 有 已知均值 亩 和未知方差 sigma ^ 2. 具体来说,我们观察 n 实现 $ x_ {1} $, ..., $ x_ {n} $n 独立随机变量 X_1, ..., X_n, 全部具有已知均值的正态真人在线斗地主 亩 和未知方差 sigma ^ 2. 样本是 n尺寸 向量 [eq1] 这是实现 随机向量 [eq2]

估计量

我们使用以下估算器 方差:[eq3]

估计量的期望值

估计量的期望值 [eq4] 等于真实方差 sigma ^ 2:[eq5]

证明

这可以用线性度证明 预期 值:[eq6]

因此,估算器 [eq4] 无偏见的.

估计量的方差

估计量的方差 [eq4][eq9]

证明

可以使用以下事实证明这一点: 正态真人在线斗地主 [eq10] 和独立方差的公式 和:[eq11]

因此,随着样本数量的增加,估计量的方差趋于零 n 趋于无穷大。

估计量的真人在线斗地主

估计量 [eq4] 有一个 伽玛真人在线斗地主 带参数 nsigma ^ 2.

证明

估计量 [eq4] 可以写 如 [eq14]哪里 变量 $ Z_ {i} $ 是独立的 标准正态随机变量$ W $, 是...的平方和 n 独立标准正态随机变量,具有卡方真人在线斗地主 与 n 自由度(请参阅标题为“ 卡方真人在线斗地主 更多细节)。 卡方随机变量乘以 n 自由度 $ sigma ^ {2} / n $ 一个获得带有参数的Gamma随机变量 nsigma ^ 2 (请参阅标题为“ 伽玛真人在线斗地主 更多细节)。

估计量的风险

均方误差 的 估计量 是[eq15]

估计量的一致性

的 估计量[eq3]能够 被视为序列的样本均值 [eq17] 序列的通用术语 是[eq18]的 顺序 [eq17] 满足条件 柯尔莫哥洛夫的 强数定律 ([eq20] 是具有有限均值的IID序列)。因此,样本均值 $ Y_ {n} $ 几乎肯定会收敛 真实地 [eq21]:[eq22]因此 估计量 [eq23] 高度一致。它是 也 弱一致性, 因为 几乎可以肯定,收敛意味着收敛 可能性:[eq24]

正常的IID样本-未知平均值

此示例与上一个示例相似。唯一的区别是我们 放宽真人在线斗地主均值已知的假设。

例子

例子 $ xi _ {n} $ 由..制作 n 从均值未知的正态真人在线斗地主中独立提取 亩 和未知方差 sigma ^ 2. 具体来说,我们观察 n 实现 $ x_ {1} $, ..., $ x_ {n} $n 独立随机变量 X_1, ..., X_n, 全部具有正态真人在线斗地主,均值未知 亩 和未知方差 sigma ^ 2. 样本是 n尺寸 向量 [eq25] 这是随机向量的实现 [eq2]

估计量

在此示例中,还需要确定真人在线斗地主的均值(未知) 估计。据估计 样本平均值 Xbar_n:[eq27]

我们使用以下方差估计量:

  1. 未经调整的样本 方差:[eq28]

  2. 调整后的样本 方差:[eq29]

估计量的期望值

未调整样本方差的期望值 是[eq30]

证明

这可以证明为 如下:[eq31][eq32] 什么时候 $i
eq j$ (因为 X_i$ X_ {j} $ 在什么时候是独立的 $i
eq j$ -看 通过相互独立 期望)。 因此,[eq33]

因此,未经调整的样本方差 $ S_ {n} ^ {2} $ 是一个 有偏见的 真实的估计 方差 sigma ^ 2. 调整后的样本方差 $ s_ {n} ^ {2} $, 相反,是的无偏估计量 方差:[eq34]

证明

这可以证明为 如下:[eq35]

因此,当 亩 被估计,我们需要除以 $n-1 $ 而不是 n 以获得无偏估计。直观地考虑平方 与样本均值的偏差,而不是与真实值的平方偏差 意思是,我们低估了数据的真实可变性。实际上, 与真实均值的平方偏差之和始终大于 与样本均值的平方偏差。除以 $n-1$ 而不是 n 完全纠正了这种偏见。号码 $n-1$ 我们除以的方式称为 自由度数 等于采样点数 (n) 减去要估计的其他参数的数量(在本例中为 1, 真实的意思 亩)。

我们需要乘以有偏估计的因素 $ S_ {n} ^ {2} $ 获得无偏估计量 $ s_ {n} ^ {2} $ 是,属于 课程,[eq36]

这个因素称为 自由度调整, 哪一个 解释为什么 $ S_ {n} ^ {2} $ 称为未调整样本方差, $ s_ {n} ^ {2} $ 称为调整样本方差。

估计量的方差

未调整样本方差的方差 是[eq37]

证明

以下小节对此进行了证明 (估算器的真人在线斗地主)。

调整后的样本方差的方差 是[eq38]

证明

在下面也证明了这一点 小节(估算器的真人在线斗地主)。

因此,两者的方差 $ S_ {n} ^ {2} $ 和的方差 $ s_ {n} ^ {2} $ 样本数量收敛为零 n 趋于无穷大。另请注意,未经调整的样本方差 $ S_ {n} ^ {2} $, 尽管有偏差,但方差比调整后的样本方差小 $ s_ {n} ^ {2} $, 相反,这是公正的。

估计量的真人在线斗地主

未经调整的样本方差 $ S_ {n} ^ {2} $ 具有带有参数的Gamma真人在线斗地主 $n-1$[eq39].

证明

为了证明这一结果,我们需要使用一些 关于涉及正常随机变量的二次形式的事实, 在演讲中介绍 正态真人在线斗地主- 二次形式。要了解此证明,您需要先阅读 讲座,特别是标题为 样本方差 作为二次形式。定义 矩阵[eq40]哪里 I 是一个 $尼姆n $ 单位矩阵和 $ imath $ 是一个 $尼姆1 $ 向量的。 $ M $ 是对称和幂等的。表示为 X尼姆1美元 随机向量 i-th 项等于 X_i. 随机向量 X 具有多元正态真人在线斗地主,均值 $ 亩 imath $ 协方差矩阵 $ sigma ^ {2} I $.

利用矩阵的事实 $ M $ 是对称且幂等的,可以写未经调整的样本方差 如 [eq41]

通过使用随机的事实 向量[eq42]具有 a 标准多元正态真人在线斗地主 和 事实上 $ Mimath = 0 $, 我们可以重写 [eq43]在 也就是说, $ S_ {n} ^ {2} $ 与标准法向随机向量中的二次形式成比例 ($ Z ^ {op} MZ $) 二次形式涉及一个对称且等幂的矩阵,其轨迹 等于 $n-1$. 因此,二次形式 $ Z ^ {op} MZ $ 具有卡方真人在线斗地主 $n-1$ 自由程度。最后,我们可以 写[eq44]那 是的 $ S_ {n} ^ {2} $ 是卡方随机变量除以其自由度数 并乘以 [eq45]. 从而, $ S_ {n} ^ {2} $ 是具有参数的Gamma随机变量 $n-1$[eq46] (请参阅标题为“ 伽玛真人在线斗地主 进行解释)。而且,根据Gamma随机变量的属性, 期望值 是[eq47]和 其方差 是[eq48]

调整后的样本方差 $ s_ {n} ^ {2} $ 具有带有参数的Gamma真人在线斗地主 $n-1$sigma ^ 2.

证明

这个结果的证明类似于 上面未调整的样本方差的证明。也可以在 演讲题目 正常 真人在线斗地主-二次形式。在这里,我们只是注意到 $ s_ {n} ^ {2} $, 是具有参数的Gamma随机变量 $n-1$sigma ^ 2, 预期 值[eq49]和 方差[eq38]

估计量的风险

均方误差 的 未经调整的样本方差 是[eq51]

证明

它 可以证明为 如下:[eq52]

调整后样本方差的均方误差 是[eq53]

证明

它 可以证明为 如下:[eq54]

因此,未经调整的样本方差的均方误差总是 小于调整后样本的均方误差 方差:[eq55]

估计量的一致性

未经调整的样本 方差[eq28]能够 被写 如 [eq57]哪里 我们有 定义的[eq58]的 两个序列 Xbar_n$ W_ {n} $ 是...的样本手段 X_n$ X_ {n} ^ {2} $ 分别。后者都满足以下条件 柯尔莫哥洛夫的强数定律 (它们形成 IID序列 与有限 均值),这意味着他们的样本均值 Xbar_n$ W_ {n} $ 几乎可以肯定地收敛到他们的真实 手段:[eq59]以来 的 功能[eq60]是 连续和 几乎 确保通过连续转换保持收敛,我们 获得[eq61]因此 估计量 $ S_ {n} ^ {2} $ 高度一致。它是 也 弱一致性 因为 几乎可以肯定,收敛意味着收敛 可能性:[eq62]的 调整后的样本方差 $ s_ {n} ^ {2} $ 可以写 如 [eq63]的 比 $ frac {n} {n-1} $ 可以认为是一个恒定的随机变量 $ Z_ {n} $ 定义为 如下:[eq64]哪一个 几乎可以肯定地收敛到 1. 因此, [eq65]哪里 都 $ Z_ {n} $$ S_ {n} ^ {2} $ 几乎肯定会收敛。由于产品具有连续功能, 几乎可以肯定,通过持续的转换可以保持收敛,我们 有[eq66]从而, 也 $ s_ {n} ^ {2} $ 是高度一致的。

解决的练习

您可以在下面找到一些练习,其中包含已说明的解决方案。

练习1

您可以从未知的正态真人在线斗地主中观察到三个独立的抽奖 意思 亩 和未知方差 sigma ^ 2. 它们的值分别为50、100和150。使用这些值可产生无偏 估计真人在线斗地主方差。

样本均值是 [eq67]一个 调整后的样本提供方差的无偏估计 方差:[eq68]

练习2

机器(激光测距仪)用于测量 机器本身和给定的对象。测量到物体的距离时 位于相距10米的位置,机器造成的测量误差为 正态真人在线斗地主和独立真人在线斗地主,并且平均等于零。的 测量误差的方差小于1平方厘米,但其 确切值未知,需要估算。估计一下,我们 重复进行相同的测量,然后我们计算样本的方差 测量误差(我们也能够计算,因为我们知道 真实距离)。我们需要进行多少次测量才能获得 标准差小于0.1平方的方差估计量 厘米?

表示测量误差 X_1, ..., X_n. 使用以下方差估计量: [eq69]的 该估计量的方差 是[eq70]从而[eq71]我们 需要确保 那[eq72]要么[eq73]哪一个 肯定经过验证 如果[eq74]要么[eq75]

如何引用

请引用为:

Taboga, Marco (2017). "方差的点估计", 列克特ures on 可能性 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/variance-estimation.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。