在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

线性回归-假设检验

通过 博士

本讲座讨论如何执行 测试 假设 关于a的系数 线性回归 模型 用普通最小二乘法（OLS）估算。

讲座分为两个部分：

在这两部分中，回归模型 是[eq1]哪里 $ y_ {i} $ 是一个输出变量， $ x_ {i} $ 是一个 $ 1imes K $ 输入向量 $ eta $ 是一个 Kx1 系数向量和 $ arepsilon _ {i} $ 是一个错误术语。有 $ N $ 样本中的观察结果 $ i = 1，ldots，N $.

我们还表示：

使用这种表示法，我们可以 写[eq5]

此外，OLS估计器 $ eta $ 是 [eq6]

我们假设设计矩阵 X 具有全等级，因此矩阵 $ X ^ {op} X $ 是可逆的。

目录

目录

  1. 正常线性回归模型中的假设检验

    1. 单个系数的限制检验（t检验）

    2. 一组线性限制的检验（F检验）

    3. 基于最大似然法的检验（瓦尔德，拉格朗日乘数，似然比）

  2. OLS估计量渐近为正时的假设检验

    1. 单个系数的限制检验（z检验）

    2. 检验一组线性限制（卡方检验）

正常线性回归模型中的假设检验

在本节中，我们得出有关法线线性系数的测试 回归模型。在此模型中，误差向量 ε 假设有一个 多元正态 分配 有条件的 X, 平均等于 0 和协方差矩阵相等 至[eq7]哪里 I 是个 $尼姆N $ 单位矩阵和 sigma ^ 2 是一个正常数。

可以证明（请参阅有关 正常 线性回归模型）条件正态性的假设 暗示：

单个系数的限制检验（t检验）

在对单个系数进行限制的测试中，我们测试了 空值 假设[eq11]哪里 $ eta _ {k} $ 是个 k-th 系数向量的输入 $ eta $ 和 $ qin U {211d} $.

换句话说，我们的零假设是 k-th 系数等于特定值。

通常用 测试 统计[eq12]哪里 $ S_ {kk} $ 是个 k-th 矩阵的对角线入口 [eq13].

测试统计 $ t $ 有一个 标准 学生的t分布 与 $ N-K $ 自由程度。因此，将其称为t统计量和检验 称为t检验。

证明

在原假设下 [eq14] 具有均值的正态分布 $ q $ 和方差 $ sigma ^ {2} S_ {kk} $. 结果， 比[eq15]具有 标准正态分布（均值 0 和方差 1）。 我们可以 写[eq16]以来 [eq17] 有一个 伽玛 分配 带参数 $ N-K $ 和 sigma ^ 2, 的 比[eq18]具有 具有参数的Gamma分布 $ N-K $ 和 1. 它也独立于 $ z $ 因为 [eq19] 独立于 [eq20]. 因此， 比[eq21]具有 一个标准的学生t分布 $ N-K $ 自由度（请参阅 学生的 分配）。

如果以下条件成立，则原假设被拒绝 $ t $ 落在接受区域之外。

如何确定接受区域不仅取​​决于期望的 测试的大小，还要看是否 测试是两尾的（如果我们认为 $ eta _ {k} $ 可能小于或大于 $ q $) 或单尾（如果我们假设只有两件事之一，即较小或 更大）。有关如何确定验收的更多详细信息 区域，请参阅 危急 价值观.

一组线性限制的检验（F检验）

在测试一组线性限制时，我们测试空值 假设[eq22]哪里 $ R $ 是一个 $石灰K $ 矩阵和 $ q $ 是一个 $酸橙1 $ 向量。 $ L $ 是限制的数量。

例 假设 $ eta $ 是 $ 2imes 1 $ 并且我们要检验假设 [eq23]. 我们可以用下面的形式写 $ R eta = q $ 通过 设置[eq24]

例 假设 $ eta $ 是 $ 3imes 1 $ 并且我们要测试两个限制是否 [eq25] 和 $ eta _ {3} = 0 $ 同时举行。第一个限制可以写成 如 [eq26]所以 我们 有[eq27]

该假设通常通过检验来检验 统计[eq28]哪一个 有一个 F分布 与 $ L $ 和 $ N-K $ 自由程度。因此，它被称为F统计量和检验 称为F检验。

证明

在null和有条件的情况下 X, 向量 $ Rwidehat {eta} $, 成为一个 线性的 正常随机向量的变换 $ widehat {eta} $, 与分布 意思[eq29]和 协方差 矩阵[eq30]从而， 我们可以 写[eq31]以来 $ Rwidehat {eta} $ 是，二次形式 $ Q $ 具有卡方分布 $ L $ 自由度（请参阅 二次的 涉及法向量的形式）。此外，由于 [eq17] 具有带有参数的Gamma分布 $ N-K $ 和 sigma ^ 2 的 统计[eq33]具有 卡方分布 $ N-K $ 自由度（请参阅 伽玛 分配）。因此，我们可以 写[eq34]从而 F 是两个卡方变量之间的比率，每个变量除以其度数 自由。这两个变量是独立的，因为 $ Q $ 仅取决于 $ widehat {eta} $ 和 $ P $ 仅取决于 [eq17], 和 $ widehat {eta} $ 和 [eq17] 是独立的。作为结果， F 具有F分布 $ L $ 和 $ N-K $ 自由度（请参阅 F分布）。

F检验通常是单尾的。 F右尾的临界值 选择分布以实现所需的测试大小。然后， 如果F统计量大于F统计量，则拒绝原假设。 临界值。

使用统计数据包进行线性回归时，通常会得到 包含F统计量值的回归输出。通常这是 通过对所有 回归系数等于 0 （截距上的系数除外）。

基于最大似然法的检验 （瓦尔德，拉格朗日乘数，似然比）

正如我们在题为 线性的 回归-最大似然，最大似然估计 正常线性回归模型的系数向量等于OLS 估计量 $ widehat {eta} $. 结果，通常 测试 基于最大似然法 （例如。， 沃尔德, 拉格朗日乘数, 可能性 比）可用于进行关于 $ eta $.

OLS估计量为时的假设检验 渐近正态

在本节中，我们说明如何执行关于 OLS估计量为时的线性回归模型的系数 渐近正常。

正如我们在题为 OLS估算器 属性，在几种情况下（即在不同的假设条件下） 可以证明：

  1. OLS估算器 $ widehat {eta} $ 渐近是正常的 是的[eq37]哪里 [eq38] 表示 收敛 在分配中 （作为样本量 $ N $ 趋于无穷大），并且 $ zeta $ 是具有均值的多元正态随机向量 0 和协方差矩阵 V; 的价值 $ Kimes K $ 矩阵 V 取决于有关回归模型的一组假设；

  2. 有可能得出一个一致的估计量 $ widehat {V} $ 的 V, 那 是的[eq39]哪里 [eq40] 表示 收敛 很有可能 （再次为 $ N $ 趋于无穷大）。估计量 $ widehat {V} $ 是观察到的输入的容易计算的函数 $ x_ {iext {}} $和 输出 $ y_ {i} $.

这两个属性用于推导其的渐近分布。 假设检验中使用的检验统计量。

单个系数的限制检验（z检验）

在z检验中，原假设是对单个条件的限制 系数：[eq11]哪里 $ eta _ {k} $ 是个 k-th 系数向量的输入 $ eta $ 和 $ qin U {211d} $.

测试统计 是[eq42]哪里 $ widehat {V} _ {kk} $ 是个 k-th 估计量的对角线入口 $ widehat {V} $ 渐近协方差矩阵

测试统计 $ z_ {N} $ 收敛到一个 标准正常 分配 作为样本量 $ N $ 增加。因此，它称为z统计量（因为字母z 通常用于表示标准正态分布），该测试称为 z测试。

证明

我们可以写z统计量 如 [eq43]通过 假设，分子 [eq44] 收敛于正态随机变量 $ zeta $ 刻薄 0 和方差 $ V_ {kk} $. 估计方差 $ widehat {V} _ {kk} $ 收敛到 $ V_ {kk} $, 这样， 连续贴图 定理分母 [eq45] 收敛到 $ sqrt {V_ {kk}} $. 因此， 斯卢茨基定理, 我们有 $ z_ {N} $ 收敛于随机分布 变量[eq46]哪一个 是正常的 意思[eq47]和 方差[eq48]因此， 测试统计 $ z_ {N} $ 收敛到 $ z $, 这是标准的正常随机变量。

什么时候 $ N $ 很大，我们近似于 $ z_ {N} $ 渐近线（标准正态）。然后，我们使用检验统计量 $ z_ {N} $ 按照通常的方式：根据所需的测试尺寸和 的分布 $ z_ {N} $, 我们确定临界值和接受区域。空值 假设被拒绝，如果 $ z_ {N} $ 落在接受区域之外。

检验一组线性限制（卡方检验）

在卡方检验中，原假设是一组 $ L $ 线性的 限制条件[eq49]哪里 $ R $ 是一个 $石灰K $ 矩阵和 $ q $ 是一个 $酸橙1 $ 向量。

测试统计 是[eq50]哪一个 收敛到 卡方 分配 与 $ L $ 自由程度。因此，它称为卡方统计量， 该测试称为卡方检验。

证明

我们可以编写测试统计信息 如 [eq51]通过 关于收敛的假设 $ widehat {eta} $ 和 $ widehat {V} $, 根据连续映射定理，我们有 那[eq52]通过 斯卢茨基定理，我们 有[eq53]但 $ Rzeta $ 与 意思[eq54]和 方差[eq55]从而，[eq56]但， 通过 标准 正规二次形式的结果，右边的二次形式 边具有卡方分布 $ L $ 自由程度 ($ L $ 是向量的维数 $ Rzeta $)

设置测试时，实际分配 $ chi _ {N} ^ {2} $ 用渐近线（卡方）近似。

像F检验一样，卡方检验通常也是单尾的。所需 测试的大小是通过在 卡方分布的右尾。如果null被拒绝 卡方统计量大于临界值。

如何引用

请引用为：

Taboga, Marco (2017). "线性回归-假设检验", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/linear-regression-hypothesis-testing.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享