本讲座讨论正态线性回归的主要属性 型号(NLRM), 线性回归 模型 其中回归的误差向量被假定为具有 以回归矩阵为条件的多元正态分布。的 多元正态性假设以及其他假设(主要是 关于误差的协方差矩阵),允许分析得出 的最小二乘(OLS)估计量的分布 回归系数和其他一些统计数据。
我们使用的演讲标题为
的性质
OLS估算器 (您可以参考以获取更多详细信息):
因变量的观测向量由表示
,
的
回归矩阵(称为设计矩阵)表示为
,
的
误差向量由
和
回归系数的向量表示为
,
这样回归方程可以矩阵形式写
如
的
OLS估算器
是使平方和最小的向量
残差
和,
如果设计矩阵
有完整的排名,可以计算
如
正常线性回归模型中所做的假设是:
设计矩阵
具有全等级(因此,
是可逆的,OLS估计器是
);
有条件的
,
错误向量
有一个 多元正态分布 刻薄
等于
和协方差矩阵相等
至
哪里
是一个正常数,
是个
单位矩阵
请注意,假设协方差矩阵为
对角线表示
彼此独立,也就是说,
独立于
对于
.
此外,假设协方差矩阵的所有对角项
相等意味着的所有条目
具有相同的方差,即
对于任何
.
后者的假设通常称为“同构假设”,
如果满足这个假设,我们就说这些误差是同等的。
相反,如果同调不成立,我们说的错误是
异方差的。
根据上一节的假设,OLS估算器具有 多元正态分布,以设计矩阵为条件。
主张
在标准线性回归模型中,OLS估计量
具有多元正态分布,条件是
,
刻薄
和
协方差
矩阵
首先,注意
那的
我们所基于的事实
意味着我们可以治疗
作为一个常数矩阵。因此,有条件的
,
OLS估算器
是一个 线性的
多元正态随机向量的变换 (向量
)。
这意味着
是多元正态的
意思
和
方差
注意
意味着OLS估算器不仅有条件,而且无偏
无条件地,因为根据迭代期望法则
那
误差项的方差
通常是未知的。的常用估计量
是调整后的样本方差
残差:
哪里
回归残差为
享受的属性
通过以下命题总结。
表示为
的
残差向量。请记住,从先前的证明来看,OLS估计量
可以写
如
如
结果,我们
有
的
矩阵
是
明显对称(通过对其转置进行验证)。它也是幂等的
因为
因此,
哪里
具有标准的多元正态分布,即多元
具有零均值和单位协方差矩阵的正态分布。自从
矩阵
是对称和幂等的,二次形式
具有
a 卡方分布 与一些
自由度等于矩阵的迹线
(请参阅讲座 正常
分布-二次形式)。但是痕迹
是
以来
卡方随机变量的期望值等于其数量
自由度,我们
有
此外,
二次形式的事实
具有卡方分布
自由度意味着样本
方差
具有
具有参数的Gamma分布
和
(请参阅有关
伽玛
分配 以证明这一事实)。最后,我们需要证明
独立于
.
以来
和
我们
有那个
和
是同一多元正态随机向量的函数
.
因此,
标准
二次形式的独立性的结果 涉及法向向量
和
是独立的,如果
和
是正交的。为了检查它们的正交性,我们只需要验证
介于
和
是
零:
请注意,在这种情况下,建议的估算器不仅是无偏的
有条件的,但也无条件的,因为,根据迭代法则
期望,我们有
那
我们已经证明在正态线性回归模型中
OLS估计量的条件协方差矩阵(条件为
)
是
但是,实际上,由于方差的原因,无法确切知道此数量
错误项,即
,
未知。但是,我们可以将其未知值替换为估算器
以上建议的(残差的调整样本方差),以便
获得的协方差矩阵的估计量
:
该估计量通常用于构造 测试统计 允许 进行 假设检验 有关 回归系数。
可以证明法线系数的OLS估计 线性回归模型等于 最大 可能性 估计量。相反,最大似然估计 误差项的方差与推导的估计量不同 以上。有关这两个事实的证明,请参阅标题为“ 线性的 回归-最大似然估计.
在讲座中 线性的 回归和假设检验 我们解释如何执行 假设检验 正常线性回归模型的系数。
请引用为:
Taboga, Marco (2017). "正常线性回归模型", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/normal-linear-regression-model.