在Statlect上搜索概率和统计术语
统计 列克特
指数 > 的基本原理 统计

高斯马尔可夫定理

通过 博士

高斯马尔可夫定理说,在一定条件下,普通 的系数的最小二乘(OLS)估计器 线性回归 模型 是最佳的线性无偏估计量(BLUE),即 估计量 最小的 方差 在那些 在观察到的输出变量中是无偏的和线性的。

目录

假设条件

回归模型 是 [eq1] 哪里:

最小二乘 估计量  $ eta $ [eq2]

我们假设:

  1. X 具有全等级(因此, $ X ^ {op} X $ 是可逆的 $ widehat {eta} $ 定义明确);

  2. [eq3];

  3. [eq4], 哪里 I 是个  $尼姆N $ 单位矩阵和  sigma ^ 2 是一个正常数。

最小二乘 是线性且无偏的

首先,请注意 $ widehat {eta} $ 在线性  $ y $ . 事实上, $ widehat {eta} $ 是介于  $ Kimes N $ 矩阵 [eq5] $ y $ , 矩阵乘法是线性运算。

可以很容易地证明 $ widehat {eta} $ 没有偏见,都以 X, 无条件地 是的 [eq6]

证明

我们可以使用  $ y $ 将OLS估算器重写为 如下: [eq7] 什么时候 我们以 X, 我们可以治疗 X 作为一个常数矩阵。因此, 有条件的 期望 $ widehat {eta} $[eq8] 的 迭代期望法则意味着 那 [eq9]

做到最好意味着什么

既然我们已经证明OLS估计量是线性且无偏的,我们需要 证明它也是 最好 线性无偏估计量。

我们到底是什么意思?

什么时候 $ widehat {eta} $ 是一个标量(即,只有一个回归器),我们认为 $ widehat {eta} $ 成为我们正在考虑的最佳选择(即所有线性 无偏估计量)且仅当其具有尽可能小的方差时, 也就是说,如果它与真实值有偏差  $ eta $ 往往平均最小。从而, $ widehat {eta} $ 是且仅当且仅当是最佳线性无偏估计量(BLUE) [eq10] 对于 任何其他线性无偏估计量 $ widetilde {eta} $.

由于我们经常处理不止一个回归器,因此我们必须扩展它 多元环境的定义。我们通过要求 那 [eq11] 对于 任何  $ 1imes K $ 常数向量 a, 任何其他线性无偏估计量 $ widetilde {eta} $.

换句话说,当且仅当 最小二乘 比其他任何方法都可以更精确地估算回归系数 线性无偏估计量。

当且仅当满足条件(1) [eq12] 是 一个正半定矩阵。

证明

我们可以写条件(1) 如 [eq13] 要么 [eq14] 但 当且仅当后一个不等式为真 [eq15] 是正半定的(根据正半定的定义 矩阵)。

在接下来的两节中,我们将得出 [eq16] 协方差 矩阵 然后我们将证明(2)是 正半限定,因此OLS为蓝色。

最小二乘 估计量的协方差矩阵

最小二乘 估计量的条件协方差矩阵 是 [eq17]

证明

我们已经证明(见上文), 可以写OLS估计量 如 [eq18] 因此, 它的条件方差 是 [eq19]

最小二乘 是蓝色的

由于我们正在考虑线性估计的集合,因此我们可以写任何 此集合中的估计量 如 [eq20] 哪里  $ C $ 是一个  $ Kimes N $ 矩阵。

此外,如果我们 定义 [eq21] 然后 我们可以 写 [eq22]

有可能证明 $DX=0$ 如果 $ widetilde {eta} $ 没有偏见。

证明

我们有 那 [eq23] 如 结果, [eq24] 总是等于  $ eta $ 除非 $DX=0$.

通过使用此结果,我们还可以证明 那 [eq25]

证明

证明是 如下: [eq26] 哪里 逐步  $ rame {A} $ ,  $ rame {B} $  $ rame {C} $ 我们使用了这样一个事实 $DX=0$.

作为一个 后果,[eq27] 是 正半定的,因为 [eq28] 是正半定的。对于任何无偏线性估计器都是如此 $ widetilde {eta} $. 因此,OLS估计量为BLUE。

如何引用

请引用为:

Taboga, Marco (2017). "高斯马尔可夫定理", 列克特 ures on probability theory 和 mathematical 统计 , Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Gauss-Markov-theorem.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。