高斯马尔可夫定理

通过 马可·塔波加（Marco Taboga） 博士

高斯马尔可夫定理说，在一定条件下，普通 的系数的最小二乘（OLS）估计器 线性回归 模型 是最佳的线性无偏估计量（BLUE），即 估计量 最小的 方差 在那些 在观察到的输出变量中是无偏的和线性的。

假设条件

回归模型 是 哪里：

• 是一个 输出变量的观测向量 ( 是样本数量）；

• 是一个 输入矩阵 ( 是每个观察的输入数量）；

• 是一个 回归系数向量；

• 是一个 错误向量。

的 最小二乘 估计量 的 是

我们假设：

1. 具有全等级（因此， 是可逆的 定义明确）；

2. ;

3. , 哪里 是个 单位矩阵和 是一个正常数。

最小二乘 是线性且无偏的

首先，请注意 在线性 . 事实上， 是介于 矩阵 和 , 矩阵乘法是线性运算。

可以很容易地证明 没有偏见，都以 , 无条件地 是的

做到最好意味着什么

既然我们已经证明OLS估计量是线性且无偏的，我们需要 证明它也是 最好 线性无偏估计量。

我们到底是什么意思？

什么时候 是一个标量（即，只有一个回归器），我们认为 成为我们正在考虑的最佳选择（即所有线性 无偏估计量）且仅当其具有尽可能小的方差时， 也就是说，如果它与真实值有偏差 往往平均最小。从而， 是且仅当且仅当是最佳线性无偏估计量（BLUE） 对于 任何其他线性无偏估计量 .

由于我们经常处理不止一个回归器，因此我们必须扩展它 多元环境的定义。我们通过要求 那 对于 任何 常数向量 , 任何其他线性无偏估计量 .

换句话说，当且仅当 最小二乘 比其他任何方法都可以更精确地估算回归系数 线性无偏估计量。

当且仅当满足条件（1） 是 一个正半定矩阵。

在接下来的两节中，我们将得出 （ 协方差 矩阵 然后我们将证明（2）是 正半限定，因此OLS为蓝色。

最小二乘 估计量的协方差矩阵

最小二乘 估计量的条件协方差矩阵 是

最小二乘 是蓝色的

由于我们正在考虑线性估计的集合，因此我们可以写任何 此集合中的估计量 如 哪里 是一个 矩阵。

此外，如果我们 定义 然后 我们可以 写

有可能证明 如果 没有偏见。

通过使用此结果，我们还可以证明 那

作为一个 后果， 是 正半定的，因为 是正半定的。对于任何无偏线性估计器都是如此 . 因此，OLS估计量为BLUE。

如何引用

请引用为：

Taboga, Marco (2017). "高斯马尔可夫定理", 列克特 ures on probability theory 和 mathematical 统计 , Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Gauss-Markov-theorem.

<li id="Xo8wQXE" class="XofiUiB"><sub class="dytDu4y"><blockquote id="a2bXihZ"></blockquote></sub></li>