搜索Statlect上的概率和统计信息
统计章程
指数 > Fundamentals of statistics

广义最小二乘法

经过 ,博士学位

A系数的广义最小二乘(GLS)估计 linear regression 是普通最小二乘(OLS)估计器的概括。它被使用了 处理OLS估计不是蓝色的情况(最好的线性 无偏见的估计器)因为其中一个主要假设之一 Gauss-Markov theorem,即Homoskeyastity的族和缺乏序列 相关,被侵犯。在这种情况下,提供了另一个 满足GASS-Markov定理的假设,GLS估计器是 BLUE.

目录

环境

线性回归 is[eq1]在哪里:

We assume that:

  1. X has full rank;

  2. [eq2];

  3. [eq3], where V is a $ n $ 对称正定矩阵。

这些假设在Gauss-Markov定理中是相同的,以便 证明OLS是蓝色的,除了假设3。

在Gauss-Markov定理中,我们做出了更严格的假设 [eq4] where I is the $ n $ 身份矩阵。后一种假设意味着回归的错误 是homoskedastic(它们都有相同的方差)和不相关的(他们的 协方差全部等于零)。

相反,我们现在允许异性娱乐性(错误可能不同 差异)和相关性(错误之间的CoveriRces可以不同 from zero).

gls估计

Since V 是对称的和积极的明确,存在可逆的矩阵 Sigma. such that[eq5]

如果我们预先乘以回归方程 $ sigma ^ { -  1} $, we obtain[eq6]

Define[eq7]所以 可以写入转换的回归方程 as[eq8]

以下主张持有。

主张 变换回归方程系数的OLS估计器, 称为广义最小二乘估计器, is[eq9]此外, [eq10] 是蓝色(最好的线性无偏见)。

证明

估算器源自公式 变换回归方程系数的OLS估计值: [eq11]

此外,我们有那个 $ widetilde {x} $ 是全级别(因为 X and Sigma. are). Moreover,[eq12][eq13]

因此,转化的回归满足了所有条件 高斯 - 马尔可夫定理和OLS估计 $ eta $ 从(1)是蓝色的。

广义最小二乘问题

请记住,OLS估计 [eq14] 线性回归解决了 problem[eq15]那 是,它最大限度地减少了平方残差的总和。

可以显示GLS估计器来解决 problem[eq16]哪一个 被称为广义最小二乘问题。

证明

最大订单条件 is[eq17]谁的 solution is[eq18]或者[eq19]这 二阶衍生物 is[eq20]哪一个 是积极的明确(因为 X is full-rank and V 是积极的)。因此,最小化的功能是全局的 凸起和第一订单条件的解决方案是全局最小值。

可以写入最小化的功能 as[eq21]

它也是平方残差的总和,但原始残留物 $ y-xb $ are rescaled by $ sigma ^ { -  1} $ 在被平方和总结之前。

加权最小二乘法

当协方差矩阵 V 是对角线(即,错误术语是不相关的),GLS估计器是 被称为加权最小二乘估计器(WLS)。在这种情况下,功能是 minimized becomes[eq22]在哪里 $ y_ {i} $ is the i - entry of $ y $, X_I. is the i - row of X, and $ v_ {ii} $ is the i - diagonal element of V. 因此,我们最小化平方残差的加权和,其中 平方残余是通过其方差的倒数加权。其他 言语,同时估计 $ eta $, 我们的重量减轻了线性的观察 估计的关系更加嘈杂,更重量对那些的关系 it is less noisy.

可行的广义最小二乘

请注意,我们需要了解 covariance matrix V 为了实际计算 [eq10]. 在实践中,我们很少知道 V 我们用估计替换它 $ widehat {v} $. 如此获得的估计器,即 is,[eq24]是 called 可行的广义最小二乘 estimator.

没有一般方法估计 V, 虽然拳头步骤OLS回归的残留量通常用于 compute $ widehat {v} $. 如何接近问题取决于特定的应用程序和on 可以对生成的过程进行的其他假设 回归的错误。

例子 典型的情况 V 通过运行第一步OLS回归估计是观察 按时间索引。例如,我们可以假设 V 是对角线和估计其对角线元素,并具有指数移动 average[eq25]在哪里[eq26]

如何引用

请引用:

Taboga, Marco (2017). "广义最小二乘法", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/generalized-least-squares.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。