在演讲中 线性的 回归,我们介绍了OLS(普通最小二乘)估计 线性回归模型的系数。在本讲座中,我们讨论 在这种假设下,OLS估计量享有理想的统计属性 例如一致性和渐近正态性。
考虑线性回归
模型
输出由表示
,
相关的
输入向量由
,
的
回归系数的向量表示为
和
是不可观察的错误术语。
我们假设观察到一个样本
实现,以便所有输出的向量
是
一个
矢量设计
矩阵
是
一个
矩阵和误差向量
条款
是
一个
向量。
OLS估算器
是最小化平方和的回归系数向量
残差:
如题为“演讲”的证明
线性的
回归,如果设计矩阵
具有最高等级,则OLS估计量计算为
如下:
在本节中,我们将提出一组条件,这些条件是 足以 一致性 OLS估计量。
请注意,OLS估算器可以写成
哪里
是
的 样本平均值 的
矩阵
和
是
样本均值
矩阵
.
我们做出的第一个假设是,这些样本均值收敛到其 人口对应物,其形式如下。
假设1(收敛):两个序列
和顺序
满足足以满足
概率收敛 他们的样本均值
对人口意味着
和
,
不依赖
.
例如,序列
和
可以假定满足以下条件
切比雪夫(Chebyshev)的弱大数定律
相关序列,这是相当温和的(基本上,只需要
序列是
协方差平稳 和
他们的自协方差平均为零)。
我们做出的第二个假设是等级假设(有时也称为 识别假设)。
假设2(等级):方阵
具有完整的排名(因此,它是可逆的)。
我们做出的第三个假设是回归变量
与误差项正交
.
假设3(正交):对于每个
,
和
是正交的
是的
这样就可以直接证明以下命题。
主张
如果满足假设1、2和3,则OLS估计量
是的一致估计
.
让我们明确指出
估计样本量,并用
当样本量等于时获得的OLS估计量
由假设1和
连续贴图
定理,我们有的概率极限
是
现在,
如果我们预乘回归
方程
通过
我们取期望值,
得到
但
根据假设3,它
变成
要么
哪一个
暗示
那
在本节中,我们将讨论与 上面的假设1-3就足以满足OLS的渐近正态性 估计量。
条件如下。
假设4(中心极限定理): 序列
满足一系列条件,足以保证中央
极限定理适用于其样本
意思
审查可能施加于序列的某些条件
确保将中心极限定理应用于其样本均值,您可以
参加演讲 中央极限
定理。无论如何,请记住,如果将中心极限定理应用于
,
然后,作为
倾向于
无穷,
收敛
在分配中 到 多元正态
分配 平均等于
和协方差矩阵相等
至
有了假设4,我们现在能够证明渐近正态性 OLS估计量。
主张
如果满足假设1、2、3和4,则OLS估计量
是均值等于的渐近多元正态
和渐近协方差矩阵相等
至
那
是的
哪里
上面已经定义。
如一致性证明所示,
估计量对样本量的依赖性是明确的,因此
OLS估计量由表示
.
首先,我们有
哪里,
在最后一步中,我们使用了这样一个事实:假设3,
.
请注意,根据假设1和连续映射定理,我们
有
此外,
假设4,我们有
那
收敛
分布到均值等于的多元正态随机向量
和协方差矩阵等于
.
因此,根据Slutski定理,我们有
那
收敛
分布到均值等于的多元法线向量
和协方差矩阵等于
现在我们做一个进一步的假设。
假设5: 序列
满足一系列条件,足以满足
它的样本概率
意思
至
人口均值
哪一个
不依赖
.
如果满足此假设,则误差项的方差
可以通过
残差
哪里
主张
在假设1、2、3和5下,可以证明
是的一致估计
.
让我们明确指出
样本量的估计量,并表示为
和
当样本量等于时获得的估计量
由假设1和
连续贴图
定理,我们有的概率极限
是
哪里:
逐步
和
我们使用了连续映射定理;在步
我们使用了假设5;在步
我们使用了这样一个事实
因为
是的一致估计
,
如上所述。
我们证明了OLS估计量的渐近协方差矩阵
是哪里
长期协方差矩阵
被定义为
通过
通常,矩阵
需要估计,因为它取决于数量
(
和
)
不知道的。下一个命题表征一致的估计量
的
.
主张
如果满足假设1、2、3、4和5,并且估计量一致
协方差矩阵
可用,则OLS估计量的渐近方差为
一致估计
通过
这证明为
跟随哪里:
在步
我们使用了连续映射定理;在步
我们使用了以下假设
是长期协方差矩阵的一致估计
假设1,矩阵的样本均值
是的一致估计
,
那
是
因此,为了导出的协方差矩阵的一致估计
OLS估算器,我们需要找到长期的一致估算器
协方差矩阵
.
下一节将讨论如何执行此操作。
估计
需要对序列项之间的协方差作一些假设
.
在提供此类假设的一些示例之前,我们需要以下内容 事实。
主张
在假设3和4下,长期协方差矩阵
满足
这证明为
如下:
我们从限制性假设开始。
假设6:
正交于
对于任何
,
和
与...无关
对于任何
和
.
该假设具有以下含义。
主张
如果满足假设1、2、3、4、5和6,则长期协方差
矩阵
被一致地估计
通过
首先,我们有
那但
我们知道,根据假设1
被一致地估计
通过
和
假设1、2、3和5
被一致地估计
通过
因此,
根据连续映射定理,长期协方差矩阵
始终由
请注意,在这种情况下,OLS估计量的渐近协方差矩阵
是
结果,可以估计OLS估计量的协方差
通过哪一个
是与
正常
线性回归模型.
我们现在考虑一个比假设6弱的假设。
假设6b:
与...无关
对于任何
.
此外,
不依赖
并由其样本一致估算
意思
该假设具有以下含义。
主张
如果满足假设1、2、3、4、5和6b,则长期
协方差矩阵
被一致地估计
通过
首先,我们有
那此外,
哪里
在最后一步中,我们将连续映射定理分别应用于
矩阵的每个条目都放在方括号中,
至
看看如何做到这一点,例如,考虑
矩阵
然后,
其交点处的入口
-th
行和
-th
柱
是
和
可以使上述假设更弱(例如,通过放宽
假设
与...无关
),
以在估计长期协方差时面临更多困难为代价
矩阵。回顾可用于估算的方法
,
参见,例如,Den 和 Levin(1996)。
演讲题为 线性的 回归-假设检验 讨论如何进行 假设检验 在上述情况下线性回归模型的系数, 也就是说,当OLS估计量渐近正态且一致时 渐近协方差矩阵的估计量是可用的。
Haan,Wouter J.Den和Andrew T.Levin(1996)。 “来自参数的推论 和非参数协方差矩阵估计程序。”技术工作 纸系列,NBER。
请引用为:
Taboga, Marco (2017). "OLS估计器的属性", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/OLS-estimator-properties.