在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

OLS估计器的属性

通过 博士

在演讲中 线性的 回归,我们介绍了OLS(普通最小二乘)估计 线性回归模型的系数。在本讲座中,我们讨论 在这种假设下,OLS估计量享有理想的统计属性 例如一致性和渐近正态性。

目录

设置

考虑线性回归 模型[eq1]

输出由表示 $ y_ {i} $, 相关的 $ 1imes K $ 输入向量由 $ x_ {i} $, 的 Kx1 回归系数的向量表示为 $ eta $$ arepsilon _ {i} $ 是不可观察的错误术语。

我们假设观察到一个样本 $ N $ 实现,以便所有输出的向量

[eq2]是 一个 $尼姆1 $ 矢量设计 矩阵[eq3]是 一个 $尼姆K $ 矩阵和误差向量 条款[eq4]是 一个 $尼姆1 $ 向量。

OLS估算器 $ widehat {eta} $ 是最小化平方和的回归系数向量 残差:[eq5]

如题为“演讲”的证明 线性的 回归,如果设计矩阵 X 具有最高等级,则OLS估计量计算为 如下:[eq6]

一致性

在本节中,我们将提出一组条件,这些条件是 足以 一致性 OLS估计量。

请注意,OLS估算器可以写成 [eq7]哪里 [eq8]是 的 样本平均值$ Kimes K $ 矩阵 $ x_ {i} ^ {op} x_ {i} $[eq9]是 样本均值 Kx1 矩阵 $ x_ {i} ^ {op} y_ {i} $.

我们做出的第一个假设是,这些样本均值收敛到其 人口对应物,其形式如下。

假设1(收敛):两个序列 [eq10] 和顺序 [eq11] 满足足以满足 概率收敛 他们的样本均值 对人口意味着 [eq12][eq13], 不依赖 i.

例如,序列 [eq14][eq15] 可以假定满足以下条件 切比雪夫(Chebyshev)的弱大数定律 相关序列,这是相当温和的(基本上,只需要 序列是 协方差平稳 和 他们的自协方差平均为零)。

我们做出的第二个假设是等级假设(有时也称为 识别假设)。

假设2(等级):方阵 [eq16] 具有完整的排名(因此,它是可逆的)。

我们做出的第三个假设是回归变量 $ x_ {i} $ 与误差项正交 $ arepsilon _ {i} $.

假设3(正交):对于每个 i, $ x_ {i} $$ arepsilon _ {i} $ 是正交的 是的[eq17]

这样就可以直接证明以下命题。

主张 如果满足假设1、2和3,则OLS估计量 $ widehat {eta} $ 是的一致估计 $ eta $.

证明

让我们明确指出 估计样本量,并用 [eq18] 当样本量等于时获得的OLS估计量 $ N. $ 由假设1和 连续贴图 定理,我们有的概率极限 [eq19][eq20]现在, 如果我们预乘回归 方程[eq1]通过 $ x_ {i} ^ {op} $ 我们取期望值, 得到[eq22]但 根据假设3,它 变成[eq23]要么[eq24]哪一个 暗示 那[eq25]

渐近正态性

在本节中,我们将讨论与 上面的假设1-3就足以满足OLS的渐近正态性 估计量。

条件如下。

假设4(中心极限定理): 序列 [eq26] 满足一系列条件,足以保证中央 极限定理适用于其样本 意思[eq27]

审查可能施加于序列的某些条件 确保将中心极限定理应用于其样本均值,您可以 参加演讲 中央极限 定理。无论如何,请记住,如果将中心极限定理应用于 [eq26], 然后,作为 $ N $ 倾向于 无穷,[eq29] 收敛 在分配中 多元正态 分配 平均等于 0 和协方差矩阵相等 至[eq30]

有了假设4,我们现在能够证明渐近正态性 OLS估计量。

主张 如果满足假设1、2、3和4,则OLS估计量 $ widehat {eta} $ 是均值等于的渐近多元正态 $ eta $ 和渐近协方差矩阵相等 至[eq31]那 是的[eq32]哪里 V 上面已经定义。

证明

如一致性证明所示, 估计量对样本量的依赖性是明确的,因此 OLS估计量由表示 [eq33]. 首先,我们有 [eq34]哪里, 在最后一步中,我们使用了这样一个事实:假设3, [eq35]. 请注意,根据假设1和连续映射定理,我们 有[eq36]此外, 假设4,我们有 那[eq37]收敛 分布到均值等于的多元正态随机向量 0 和协方差矩阵等于 V. 因此,根据Slutski定理,我们有 那[eq38]收敛 分布到均值等于的多元法线向量 0 和协方差矩阵等于 [eq39]

误差项方差的估计

现在我们做一个进一步的假设。

假设5: 序列 [eq40] 满足一系列条件,足以满足 它的样本概率 意思[eq41]至 人口均值 [eq42]哪一个 不依赖 i.

如果满足此假设,则误差项的方差 sigma ^ 2 可以通过 残差[eq43]哪里 [eq44]

主张 在假设1、2、3和5下,可以证明 [eq45] 是的一致估计 sigma ^ 2.

证明

让我们明确指出 样本量的估计量,并表示为 [eq46][eq47] 当样本量等于时获得的估计量 $ N. $ 由假设1和 连续贴图 定理,我们有的概率极限 [eq47][eq49]哪里: 逐步 $ rame {A} $$ rame {C} $ 我们使用了连续映射定理;在步 $ rame {B} $ 我们使用了假设5;在步 $ rame {D} $ 我们使用了这样一个事实 [eq50]因为 [eq51] 是的一致估计 $ eta $, 如上所述。

渐近协方差矩阵的估计

我们证明了OLS估计量的渐近协方差矩阵 是[eq52]哪里 长期协方差矩阵 V 被定义为 通过[eq53]

通常,矩阵 [eq54] 需要估计,因为它取决于数量 (V[eq16]) 不知道的。下一个命题表征一致的估计量 的 [eq56].

主张 如果满足假设1、2、3、4和5,并且估计量一致 $ widehat {V} $ 协方差矩阵 V 可用,则OLS估计量的渐近方差为 一致估计 通过[eq57]

证明

这证明为 跟随[eq58]哪里: 在步 $ box {A} $ 我们使用了连续映射定理;在步 $ box {B} $ 我们使用了以下假设 $ widehat {V} $ 是长期协方差矩阵的一致估计 V 假设1,矩阵的样本均值 $ x_ {i} ^ {op} x_ {i} $ 是的一致估计 [eq59], 那 是$ QTR {rm} {,} $[eq60]

因此,为了导出的协方差矩阵的一致估计 OLS估算器,我们需要找到长期的一致估算器 协方差矩阵 V. 下一节将讨论如何执行此操作。

长期协方差矩阵的估计

估计 V 需要对序列项之间的协方差作一些假设 [eq61].

在提供此类假设的一些示例之前,我们需要以下内容 事实。

主张 在假设3和4下,长期协方差矩阵 V 满足[eq62]

证明

这证明为 如下:[eq63]

我们从限制性假设开始。

假设6: $ arepsilon _ {i} $ 正交于 $ arepsilon _ {j} $ 对于任何 $i
eq j$, 和 [eq64] 与...无关 $ x_ {i} ^ {op} x_ {j} $ 对于任何 i$ j $.

该假设具有以下含义。

主张 如果满足假设1、2、3、4、5和6,则长期协方差 矩阵 V 被一致地估计 通过[eq65]

证明

首先,我们有 那[eq66]但 我们知道,根据假设1 [eq67] 被一致地估计 通过[eq68]和 假设1、2、3和5 [eq69] 被一致地估计 通过[eq70]因此, 根据连续映射定理,长期协方差矩阵 V 始终由 [eq71]

请注意,在这种情况下,OLS估计量的渐近协方差矩阵 是[eq72]

结果,可以估计OLS估计量的协方差 通过[eq73]哪一个 是与 正常 线性回归模型.

我们现在考虑一个比假设6弱的假设。

假设6b: [eq74] 与...无关 [eq75] 对于任何 $i
eq j$. 此外, [eq76] 不依赖 i 并由其样本一致估算 意思[eq77]

该假设具有以下含义。

主张 如果满足假设1、2、3、4、5和6b,则长期 协方差矩阵 V 被一致地估计 通过[eq78]

证明

首先,我们有 那[eq79]此外,[eq80]哪里 在最后一步中,我们将连续映射定理分别应用于 矩阵的每个条目都放在方括号中, [eq81]至 看看如何做到这一点,例如,考虑 矩阵[eq82]然后, 其交点处的入口 k-th 行和 $ l $-th 柱 是[eq83][eq84]

可以使上述假设更弱(例如,通过放宽 假设 [eq74] 与...无关 [eq86]), 以在估计长期协方差时面临更多困难为代价 矩阵。回顾可用于估算的方法 $ widehat {V} $, 参见,例如,Den 和 Levin(1996)。

假设检验

演讲题为 线性的 回归-假设检验 讨论如何进行 假设检验 在上述情况下线性回归模型的系数, 也就是说,当OLS估计量渐近正态且一致时 渐近协方差矩阵的估计量是可用的。

参考文献

Haan,Wouter J.Den和Andrew T.Levin(1996)。 “来自参数的推论 和非参数协方差矩阵估计程序。”技术工作 纸系列,NBER。

如何引用

请引用为:

Taboga, Marco (2017). "OLS估计器的属性", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/OLS-estimator-properties.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。