在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

正常线性回归模型

通过 博士

本讲座讨论正态线性回归的主要属性 型号（NLRM）， 线性回归 模型 其中回归的误差向量被假定为具有 以回归矩阵为条件的多元正态分布。的 多元正态性假设以及其他假设（主要是 关于误差的协方差矩阵），允许分析得出 的最小二乘（OLS）估计量的分布 回归系数和其他一些统计数据。

目录

目录

  1. 设置

  2. 假设条件

  3. OLS估计量的分布

  4. 误差项方差的估计

  5. OLS估计器的协方差矩阵的估计

  6. 最大似然估计

  7. 假设检验

设置

我们使用的演讲标题为 的性质 OLS估算器 （您可以参考以获取更多详细信息）： $尼姆1 $ 因变量的观测向量由表示 $ y $, 的 $尼姆K $ 回归矩阵（称为设计矩阵）表示为 X, 的 $尼姆1 $ 误差向量由 ε 和 Kx1 回归系数的向量表示为 $ eta $, 这样回归方程可以矩阵形式写 如 [eq1]的 OLS估算器 $ widehat {eta} $ 是使平方和最小的向量 残差[eq2]和， 如果设计矩阵 X 有完整的排名，可以计算 如 [eq3]

假设条件

正常线性回归模型中所做的假设是：

  1. 设计矩阵 X 具有全等级（因此， $ X ^ {op} X $ 是可逆的，OLS估计器是 [eq4]）;

  2. 有条件的 X, 错误向量 ε 有一个 多元正态分布 刻薄 等于 0 和协方差矩阵相等 至[eq5]哪里 sigma ^ 2 是一个正常数， I 是个 $尼姆N $ 单位矩阵

请注意，假设协方差矩阵为 ε 对角线表示 ε 彼此独立，也就是说， $ arepsilon _ {i} $ 独立于 $ arepsilon _ {j} $ 对于 $i eq j$. 此外，假设协方差矩阵的所有对角项 相等意味着的所有条目 ε 具有相同的方差，即 [eq6] 对于任何 i. 后者的假设通常称为“同构假设”， 如果满足这个假设，我们就说这些误差是同等的。 相反，如果同调不成立，我们说的错误是 异方差的。

OLS估计量的分布

根据上一节的假设，OLS估算器具有 多元正态分布，以设计矩阵为条件。

主张 在标准线性回归模型中，OLS估计量 $ widehat {eta} $ 具有多元正态分布，条件是 X, 刻薄 [eq7]和 协方差 矩阵[eq8]

证明

首先，注意 那[eq9]的 我们所基于的事实 X 意味着我们可以治疗 X 作为一个常数矩阵。因此，有条件的 X, OLS估算器 $ widehat {eta} $ 是一个 线性的 多元正态随机向量的变换 （向量 ε）。 这意味着 $ widehat {eta} $ 是多元正态的 意思[eq10]和 方差[eq11]

注意 [eq12] 意味着OLS估算器不仅有条件，而且无偏 无条件地，因为根据迭代期望法则 那[eq13]

误差项方差的估计

误差项的方差 sigma ^ 2 通常是未知的。的常用估计量 sigma ^ 2 是调整后的样本方差 残差：[eq14]哪里 回归残差为 [eq15]

享受的属性 [eq16] 通过以下命题总结。

主张 在正态线性回归模型中，调整后的样本方差 残差 [eq16] 是的有条件无偏估计 sigma ^ 2:[eq18]此外， 有条件的 X, [eq16] 有一个 伽玛 分配 带参数 $ N-K $ 和 sigma ^ 2 它是 独立 的 $ widehat {eta} $.

证明

表示为 $ e $ 的 $尼姆1 $ 残差向量。请记住，从先前的证明来看，OLS估计量 可以写 如 [eq20]如 结果，我们 有[eq21]的 矩阵[eq22]是 明显对称（通过对其转置进行验证）。它也是幂等的 因为[eq23]因此，[eq24]哪里 [eq25] 具有标准的多元正态分布，即多元 具有零均值和单位协方差矩阵的正态分布。自从 矩阵 $ M $ 是对称和幂等的，二次形式 [eq26]具有 a 卡方分布 与一些 自由度等于矩阵的迹线 $ M $ （请参阅讲座 正常 分布-二次形式）。但是痕迹 $ M $ 是[eq27]以来 卡方随机变量的期望值等于其数量 自由度，我们 有[eq28]此外， 二次形式的事实 $ Q $ 具有卡方分布 $ N-K $ 自由度意味着样本 方差[eq29]具有 具有参数的Gamma分布 $ N-K $ 和 sigma ^ 2 （请参阅有关 伽玛 分配 以证明这一事实）。最后，我们需要证明 [eq30] 独立于 $ widehat {eta} $. 以来[eq31]和[eq32]我们 有那个 [eq16] 和 $ widehat {eta} $ 是同一多元正态随机向量的函数 ε. 因此， 标准 二次形式的独立性的结果 涉及法向向量 [eq16] 和 $ widehat {eta} $ 是独立的，如果 $ M arepsilon $ 和 [eq35] 是正交的。为了检查它们的正交性，我们只需要验证 介于 [eq36] 和 $ M $ 是 零：[eq37]

请注意，在这种情况下，建议的估算器不仅是无偏的 有条件的，但也无条件的，因为，根据迭代法则 期望，我们有 那[eq38]

OLS估计器的协方差矩阵的估计

我们已经证明在正态线性回归模型中 OLS估计量的条件协方差矩阵（条件为 X) 是[eq8]

但是，实际上，由于方差的原因，无法确切知道此数量 错误项，即 sigma ^ 2, 未知。但是，我们可以将其未知值替换为估算器 以上建议的（残差的调整样本方差），以便 获得的协方差矩阵的估计量 $ widehat {eta} $:[eq40]

该估计量通常用于构造 测试统计 允许 进行 假设检验 有关 回归系数。

最大似然估计

可以证明法线系数的OLS估计 线性回归模型等于 最大 可能性 估计量。相反，最大似然估计 误差项的方差与推导的估计量不同 以上。有关这两个事实的证明，请参阅标题为“ 线性的 回归-最大似然估计.

假设检验

在讲座中 线性的 回归和假设检验 我们解释如何执行 假设检验 正常线性回归模型的系数。

如何引用

请引用为：

Taboga, Marco (2017). "正常线性回归模型", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/normal-linear-regression-model.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享