在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

OLS估计器的属性

通过 博士

在演讲中 线性的 回归，我们介绍了OLS（普通最小二乘）估计 线性回归模型的系数。在本讲座中，我们讨论 在这种假设下，OLS估计量享有理想的统计属性 例如一致性和渐近正态性。

目录

目录

  1. 设置

  2. 一致性

  3. 渐近正态性

  4. 误差项方差的估计

  5. 渐近协方差矩阵的估计

  6. 长期协方差矩阵的估计

  7. 假设检验

  8. 参考文献

设置

考虑线性回归 模型[eq1]

输出由表示 $ y_ {i} $, 相关的 $ 1imes K $ 输入向量由 $ x_ {i} $, 的 Kx1 回归系数的向量表示为 $ eta $ 和 $ arepsilon _ {i} $ 是不可观察的错误术语。

我们假设观察到一个样本 $ N $ 实现，以便所有输出的向量

[eq2]是 一个 $尼姆1 $ 矢量设计 矩阵[eq3]是 一个 $尼姆K $ 矩阵和误差向量 条款[eq4]是 一个 $尼姆1 $ 向量。

OLS估算器 $ widehat {eta} $ 是最小化平方和的回归系数向量 残差：[eq5]

如题为“演讲”的证明 线性的 回归，如果设计矩阵 X 具有最高等级，则OLS估计量计算为 如下：[eq6]

一致性

在本节中，我们将提出一组条件，这些条件是 足以 一致性 OLS估计量。

请注意，OLS估算器可以写成 [eq7]哪里 [eq8]是 的 样本平均值 的 $ Kimes K $ 矩阵 $ x_ {i} ^ {op} x_ {i} $ 和 [eq9]是 样本均值 Kx1 矩阵 $ x_ {i} ^ {op} y_ {i} $.

我们做出的第一个假设是，这些样本均值收敛到其 人口对应物，其形式如下。

假设1（收敛）：两个序列 [eq10] 和顺序 [eq11] 满足足以满足 概率收敛 他们的样本均值 对人口意味着 [eq12] 和 [eq13], 不依赖 i.

例如，序列 [eq14] 和 [eq15] 可以假定满足以下条件 切比雪夫（Chebyshev）的弱大数定律 相关序列，这是相当温和的（基本上，只需要 序列是 协方差平稳 和 他们的自协方差平均为零）。

我们做出的第二个假设是等级假设（有时也称为 识别假设）。

假设2（等级）：方阵 [eq16] 具有完整的排名（因此，它是可逆的）。

我们做出的第三个假设是回归变量 $ x_ {i} $ 与误差项正交 $ arepsilon _ {i} $.

假设3（正交）：对于每个 i, $ x_ {i} $ 和 $ arepsilon _ {i} $ 是正交的 是的[eq17]

这样就可以直接证明以下命题。

主张 如果满足假设1、2和3，则OLS估计量 $ widehat {eta} $ 是的一致估计 $ eta $.

证明

让我们明确指出 估计样本量，并用 [eq18] 当样本量等于时获得的OLS估计量 $ N. $ 由假设1和 连续贴图 定理，我们有的概率极限 [eq19] 是 [eq20]现在， 如果我们预乘回归 方程[eq1]通过 $ x_ {i} ^ {op} $ 我们取期望值， 得到[eq22]但 根据假设3，它 变成[eq23]要么[eq24]哪一个 暗示 那[eq25]

渐近正态性

在本节中，我们将讨论与 上面的假设1-3就足以满足OLS的渐近正态性 估计量。

条件如下。

假设4（中心极限定理）： 序列 [eq26] 满足一系列条件，足以保证中央 极限定理适用于其样本 意思[eq27]

审查可能施加于序列的某些条件 确保将中心极限定理应用于其样本均值，您可以 参加演讲 中央极限 定理。无论如何，请记住，如果将中心极限定理应用于 [eq26], 然后，作为 $ N $ 倾向于 无穷，[eq29] 收敛 在分配中 到 多元正态 分配 平均等于 0 和协方差矩阵相等 至[eq30]

有了假设4，我们现在能够证明渐近正态性 OLS估计量。

主张 如果满足假设1、2、3和4，则OLS估计量 $ widehat {eta} $ 是均值等于的渐近多元正态 $ eta $ 和渐近协方差矩阵相等 至[eq31]那 是的[eq32]哪里 V 上面已经定义。

证明

如一致性证明所示， 估计量对样本量的依赖性是明确的，因此 OLS估计量由表示 [eq33]. 首先，我们有 [eq34]哪里， 在最后一步中，我们使用了这样一个事实：假设3， [eq35]. 请注意，根据假设1和连续映射定理，我们 有[eq36]此外， 假设4，我们有 那[eq37]收敛 分布到均值等于的多元正态随机向量 0 和协方差矩阵等于 V. 因此，根据Slutski定理，我们有 那[eq38]收敛 分布到均值等于的多元法线向量 0 和协方差矩阵等于 [eq39]

误差项方差的估计

现在我们做一个进一步的假设。

假设5： 序列 [eq40] 满足一系列条件，足以满足 它的样本概率 意思[eq41]至 人口均值 [eq42]哪一个 不依赖 i.

如果满足此假设，则误差项的方差 sigma ^ 2 可以通过 残差[eq43]哪里 [eq44]

主张 在假设1、2、3和5下，可以证明 [eq45] 是的一致估计 sigma ^ 2.

证明

让我们明确指出 样本量的估计量，并表示为 [eq46] 和 [eq47] 当样本量等于时获得的估计量 $ N. $ 由假设1和 连续贴图 定理，我们有的概率极限 [eq47] 是 [eq49]哪里： 逐步 $ rame {A} $ 和 $ rame {C} $ 我们使用了连续映射定理；在步 $ rame {B} $ 我们使用了假设5；在步 $ rame {D} $ 我们使用了这样一个事实 [eq50]因为 [eq51] 是的一致估计 $ eta $, 如上所述。

渐近协方差矩阵的估计

我们证明了OLS估计量的渐近协方差矩阵 是[eq52]哪里 长期协方差矩阵 V 被定义为 通过[eq53]

通常，矩阵 [eq54] 需要估计，因为它取决于数量 (V 和 [eq16]) 不知道的。下一个命题表征一致的估计量 的 [eq56].

主张 如果满足假设1、2、3、4和5，并且估计量一致 $ widehat {V} $ 协方差矩阵 V 可用，则OLS估计量的渐近方差为 一致估计 通过[eq57]

证明

这证明为 跟随[eq58]哪里： 在步 $ box {A} $ 我们使用了连续映射定理；在步 $ box {B} $ 我们使用了以下假设 $ widehat {V} $ 是长期协方差矩阵的一致估计 V 假设1，矩阵的样本均值 $ x_ {i} ^ {op} x_ {i} $ 是的一致估计 [eq59], 那 是$ QTR {rm} {，} $[eq60]

因此，为了导出的协方差矩阵的一致估计 OLS估算器，我们需要找到长期的一致估算器 协方差矩阵 V. 下一节将讨论如何执行此操作。

长期协方差矩阵的估计

估计 V 需要对序列项之间的协方差作一些假设 [eq61].

在提供此类假设的一些示例之前，我们需要以下内容 事实。

主张 在假设3和4下，长期协方差矩阵 V 满足[eq62]

证明

这证明为 如下：[eq63]

我们从限制性假设开始。

假设6: $ arepsilon _ {i} $ 正交于 $ arepsilon _ {j} $ 对于任何 $i eq j$, 和 [eq64] 与...无关 $ x_ {i} ^ {op} x_ {j} $ 对于任何 i 和 $ j $.

该假设具有以下含义。

主张 如果满足假设1、2、3、4、5和6，则长期协方差 矩阵 V 被一致地估计 通过[eq65]

证明

首先，我们有 那[eq66]但 我们知道，根据假设1 [eq67] 被一致地估计 通过[eq68]和 假设1、2、3和5 [eq69] 被一致地估计 通过[eq70]因此， 根据连续映射定理，长期协方差矩阵 V 始终由 [eq71]

请注意，在这种情况下，OLS估计量的渐近协方差矩阵 是[eq72]

结果，可以估计OLS估计量的协方差 通过[eq73]哪一个 是与 正常 线性回归模型.

我们现在考虑一个比假设6弱的假设。

假设6b: [eq74] 与...无关 [eq75] 对于任何 $i eq j$. 此外， [eq76] 不依赖 i 并由其样本一致估算 意思[eq77]

该假设具有以下含义。

主张 如果满足假设1、2、3、4、5和6b，则长期 协方差矩阵 V 被一致地估计 通过[eq78]

证明

首先，我们有 那[eq79]此外，[eq80]哪里 在最后一步中，我们将连续映射定理分别应用于 矩阵的每个条目都放在方括号中， [eq81]至 看看如何做到这一点，例如，考虑 矩阵[eq82]然后， 其交点处的入口 k-th 行和 $ l $-th 柱 是[eq83]和[eq84]

可以使上述假设更弱（例如，通过放宽 假设 [eq74] 与...无关 [eq86]）， 以在估计长期协方差时面临更多困难为代价 矩阵。回顾可用于估算的方法 $ widehat {V} $, 参见，例如，Den 和 Levin（1996）。

假设检验

演讲题为 线性的 回归-假设检验 讨论如何进行 假设检验 在上述情况下线性回归模型的系数， 也就是说，当OLS估计量渐近正态且一致时 渐近协方差矩阵的估计量是可用的。

参考文献

Haan，Wouter J.Den和Andrew T.Levin（1996）。 “来自参数的推论 和非参数协方差矩阵估计程序。”技术工作 纸系列，NBER。

如何引用

请引用为：

Taboga, Marco (2017). "OLS估计器的属性", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/OLS-estimator-properties.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享