在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

广义最小二乘

通过 博士

a系数的广义最小二乘(GLS)估计器 线性回归 是普通最小二乘(OLS)估计器的推广。用了 处理OLS估计量不是蓝色(最佳线性)的情况 无偏估计量),因为该估计的主要假设之一 高斯-马可夫 定理,即同方性和不连续性 相关性被违反。在这种情况下, 满足高斯-马尔可夫定理的假设,GLS估计为 蓝色。

目录

设置

线性回归 是[eq1]哪里:

我们假设:

  1. X 有等级

  2. [eq2];

  3. [eq3], 哪里 V 是一个 $尼姆N $ 对称正定矩阵。

这些假设与高斯-马尔可夫定理相同,以便 证明OLS是蓝色的(假设3除外)。

在高斯-马尔可夫定理中,我们做出更严格的假设,即 [eq4] 哪里 I 是个 $尼姆N $ 单位矩阵后一个假设意味着回归的误差 是同方的(它们都具有相同的方差)并且不相关(它们的 协方差都等于零)。

相反,我们现在允许异方差(错误可以有不同的 方差)和相关性(误差之间的协方差可以不同 从零开始)。

GLS估算器

以来 V 是对称且正定的,有一个可逆矩阵 西格玛 这样 那[eq5]

如果我们将回归方程式乘以 $ 西格玛 ^ {-1} $, 我们 获得[eq6]

定义[eq7]所以 可以写出转换后的回归方程 如 [eq8]

以下命题成立。

主张 转换后的回归方程系数的OLS估计器, 称为广义最小二乘估计器 是[eq9]此外, [eq10] 是BLUE(最佳线性无偏)。

证明

估计量是根据以下公式得出的 转换后的回归方程系数的OLS估计器: [eq11]

此外,我们有 $ widetilde {X} $ 排名较高(因为 X西格玛 是)。 此外,[eq12][eq13]

因此,转换后的回归满足所有条件 高斯-马可夫定理和OLS估计 $ eta $ 从(1)获得的是蓝色。

广义最小二乘问题

请记住,OLS估算器 [eq14] 线性回归可以解决 问题[eq15]那 就是说,它使残差平方和最小。

可以显示GLS估计器来求解 问题[eq16]哪一个 被称为广义最小二乘问题。

证明

一阶条件最大 是[eq17]谁的 解 是[eq18]要么[eq19]的 二阶导数 是[eq20]哪一个 是正定的(因为 X 是全职的 V 是肯定的)。因此,要最小化的功能是全局的 凸且一阶条件的解是全局最小值。

可以编写要最小化的功能 如 [eq21]

它也是残差平方的总和,但原始残差 $ y-Xb $ 被重新缩放 $ 西格玛 ^ {-1} $ 在平方和求和之前。

加权最小二乘

当协方差矩阵 V 是对角线(即误差项不相关),则GLS估算器为 称为加权最小二乘估计器(WLS)。在这种情况下,功能是 最小化 变成[eq22]哪里 $ y_ {i} $ 是个 i-th 进入 $ y $, X_i 是个 i-th 排 X, 和 $ V_ {ii} $ 是个 i-th 的对角线元素 V. 因此,我们将残差平方的加权和最小化,其中每个 平方残差由其方差的倒数加权。其他 话,同时估计 $ eta $, 我们减少了线性观测的权重 要估计的关系更加嘈杂,而对于那些 它的噪音较小。

可行的广义最小二乘法

请注意,我们需要知道 协方差 矩阵 V 为了实际计算 [eq10]. 在实践中,我们很少知道 V 我们用一个估计代替它 $ widehat {V} $. 这样得出的估算器 是的[eq24]是 叫 可行的广义最小二乘法 估算器。

没有通用的估算方法 V, 尽管第一步OLS回归的残差通常用于 计算 $ widehat {V} $. 解决问题的方式取决于特定的应用程序和 可能会对生成过程产生的其他假设 回归误差。

一个典型的情况是 V 通过运行第一步OLS回归来估算 按时间索引。例如,我们可以假设 V 是对角线并估计其对角线元素呈指数移动 平均[eq25]哪里[eq26]

如何引用

请引用为:

Taboga, Marco (2017). "广义最小二乘", 列克特ures on probability theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/generalized-least-squares.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。