高斯马尔可夫定理说,在一定条件下,普通 的系数的最小二乘(OLS)估计器 线性回归 模型 是最佳的线性无偏估计量(BLUE),即 估计量 最小的 方差 在那些 在观察到的输出变量中是无偏的和线性的。
回归模型
是 哪里:
是一个
输出变量的观测向量
(
是样本数量);
是一个
输入矩阵
(
是每个观察的输入数量);
是一个
回归系数向量;
是一个
错误向量。
的 最小二乘
估计量 的
是
我们假设:
具有全等级(因此,
是可逆的
定义明确);
;
,
哪里
是个
单位矩阵和
是一个正常数。
首先,请注意
在线性
.
事实上,
是介于
矩阵
和
,
矩阵乘法是线性运算。
可以很容易地证明
没有偏见,都以
,
无条件地
是的
我们可以使用
将OLS估算器重写为
如下:
什么时候
我们以
,
我们可以治疗
作为一个常数矩阵。因此,
有条件的
期望 的
是
的
迭代期望法则意味着
那
既然我们已经证明OLS估计量是线性且无偏的,我们需要 证明它也是 最好 线性无偏估计量。
我们到底是什么意思?
什么时候
是一个标量(即,只有一个回归器),我们认为
成为我们正在考虑的最佳选择(即所有线性
无偏估计量)且仅当其具有尽可能小的方差时,
也就是说,如果它与真实值有偏差
往往平均最小。从而,
是且仅当且仅当是最佳线性无偏估计量(BLUE)
对于
任何其他线性无偏估计量
.
由于我们经常处理不止一个回归器,因此我们必须扩展它
多元环境的定义。我们通过要求
那 对于
任何
常数向量
,
任何其他线性无偏估计量
.
换句话说,当且仅当 最小二乘 比其他任何方法都可以更精确地估算回归系数 线性无偏估计量。
当且仅当满足条件(1)
是
一个正半定矩阵。
我们可以写条件(1)
如 要么
但
当且仅当后一个不等式为真
是正半定的(根据正半定的定义
矩阵)。
在接下来的两节中,我们将得出
( 协方差
矩阵 然后我们将证明(2)是
正半限定,因此OLS为蓝色。
最小二乘 估计量的条件协方差矩阵
是
我们已经证明(见上文),
可以写OLS估计量
如 因此,
它的条件方差
是
由于我们正在考虑线性估计的集合,因此我们可以写任何
此集合中的估计量
如 哪里
是一个
矩阵。
此外,如果我们
定义 然后
我们可以
写
有可能证明
如果
没有偏见。
我们有
那 如
结果,
总是等于
除非
.
通过使用此结果,我们还可以证明
那
证明是
如下: 哪里
逐步
,
和
我们使用了这样一个事实
.
作为一个
后果, 是
正半定的,因为
是正半定的。对于任何无偏线性估计器都是如此
.
因此,OLS估计量为BLUE。
请引用为:
Taboga, Marco (2017). "高斯马尔可夫定理", 列克特 ures on probability theory 和 mathematical 统计 , Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Gauss-Markov-theorem.