在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

正常线性回归模型

通过 博士

本讲座讨论正态线性回归的主要属性 型号(NLRM), 线性回归 模型 其中回归的误差向量被假定为具有 以回归矩阵为条件的多元正态分布。的 多元正态性假设以及其他假设(主要是 关于误差的协方差矩阵),允许分析得出 的最小二乘(OLS)估计量的分布 回归系数和其他一些统计数据。

目录

设置

我们使用的演讲标题为 的性质 OLS估算器 (您可以参考以获取更多详细信息): $尼姆1 $ 因变量的观测向量由表示 $ y $, 的 $尼姆K $ 回归矩阵(称为设计矩阵)表示为 X, 的 $尼姆1 $ 误差向量由 εKx1 回归系数的向量表示为 $ eta $, 这样回归方程可以矩阵形式写 如 [eq1]的 OLS估算器 $ widehat {eta} $ 是使平方和最小的向量 残差[eq2]和, 如果设计矩阵 X 有完整的排名,可以计算 如 [eq3]

假设条件

正常线性回归模型中所做的假设是:

  1. 设计矩阵 X 具有全等级(因此, $ X ^ {op} X $ 是可逆的,OLS估计器是 [eq4]);

  2. 有条件的 X, 错误向量 ε 有一个 多元正态分布 刻薄 等于 0 和协方差矩阵相等 至[eq5]哪里 sigma ^ 2 是一个正常数, I 是个 $尼姆N $ 单位矩阵

请注意,假设协方差矩阵为 ε 对角线表示 ε 彼此独立,也就是说, $ arepsilon _ {i} $ 独立于 $ arepsilon _ {j} $ 对于 $i
eq j$. 此外,假设协方差矩阵的所有对角项 相等意味着的所有条目 ε 具有相同的方差,即 [eq6] 对于任何 i. 后者的假设通常称为“同构假设”, 如果满足这个假设,我们就说这些误差是同等的。 相反,如果同调不成立,我们说的错误是 异方差的。

OLS估计量的分布

根据上一节的假设,OLS估算器具有 多元正态分布,以设计矩阵为条件。

主张 在标准线性回归模型中,OLS估计量 $ widehat {eta} $ 具有多元正态分布,条件是 X, 刻薄 [eq7]和 协方差 矩阵[eq8]

证明

首先,注意 那[eq9]的 我们所基于的事实 X 意味着我们可以治疗 X 作为一个常数矩阵。因此,有条件的 X, OLS估算器 $ widehat {eta} $ 是一个 线性的 多元正态随机向量的变换 (向量 ε)。 这意味着 $ widehat {eta} $ 是多元正态的 意思[eq10]和 方差[eq11]

注意 [eq12] 意味着OLS估算器不仅有条件,而且无偏 无条件地,因为根据迭代期望法则 那[eq13]

误差项方差的估计

误差项的方差 sigma ^ 2 通常是未知的。的常用估计量 sigma ^ 2 是调整后的样本方差 残差:[eq14]哪里 回归残差为 [eq15]

享受的属性 [eq16] 通过以下命题总结。

主张 在正态线性回归模型中,调整后的样本方差 残差 [eq16] 是的有条件无偏估计 sigma ^ 2:[eq18]此外, 有条件的 X, [eq16] 有一个 伽玛 分配 带参数 $ N-K $sigma ^ 2 它是 独立$ widehat {eta} $.

证明

表示为 $ e $$尼姆1 $ 残差向量。请记住,从先前的证明来看,OLS估计量 可以写 如 [eq20]如 结果,我们 有[eq21]的 矩阵[eq22]是 明显对称(通过对其转置进行验证)。它也是幂等的 因为[eq23]因此,[eq24]哪里 [eq25] 具有标准的多元正态分布,即多元 具有零均值和单位协方差矩阵的正态分布。自从 矩阵 $ M $ 是对称和幂等的,二次形式 [eq26]具有 a 卡方分布 与一些 自由度等于矩阵的迹线 $ M $ (请参阅讲座 正常 分布-二次形式)。但是痕迹 $ M $[eq27]以来 卡方随机变量的期望值等于其数量 自由度,我们 有[eq28]此外, 二次形式的事实 $ Q $ 具有卡方分布 $ N-K $ 自由度意味着样本 方差[eq29]具有 具有参数的Gamma分布 $ N-K $sigma ^ 2 (请参阅有关 伽玛 分配 以证明这一事实)。最后,我们需要证明 [eq30] 独立于 $ widehat {eta} $. 以来[eq31][eq32]我们 有那个 [eq16]$ widehat {eta} $ 是同一多元正态随机向量的函数 ε. 因此, 标准 二次形式的独立性的结果 涉及法向向量 [eq16]$ widehat {eta} $ 是独立的,如果 $ M arepsilon $[eq35] 是正交的。为了检查它们的正交性,我们只需要验证 介于 [eq36]$ M $ 是 零:[eq37]

请注意,在这种情况下,建议的估算器不仅是无偏的 有条件的,但也无条件的,因为,根据迭代法则 期望,我们有 那[eq38]

OLS估计器的协方差矩阵的估计

我们已经证明在正态线性回归模型中 OLS估计量的条件协方差矩阵(条件为 X) 是[eq8]

但是,实际上,由于方差的原因,无法确切知道此数量 错误项,即 sigma ^ 2, 未知。但是,我们可以将其未知值替换为估算器 以上建议的(残差的调整样本方差),以便 获得的协方差矩阵的估计量 $ widehat {eta} $:[eq40]

该估计量通常用于构造 测试统计 允许 进行 假设检验 有关 回归系数。

最大似然估计

可以证明法线系数的OLS估计 线性回归模型等于 最大 可能性 估计量。相反,最大似然估计 误差项的方差与推导的估计量不同 以上。有关这两个事实的证明,请参阅标题为“ 线性的 回归-最大似然估计.

假设检验

在讲座中 线性的 回归和假设检验 我们解释如何执行 假设检验 正常线性回归模型的系数。

如何引用

请引用为:

Taboga, Marco (2017). "正常线性回归模型", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/normal-linear-regression-model.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。