在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

线性回归-假设检验

通过 博士

本讲座讨论如何执行 测试 假设 关于a的系数 线性回归 模型 用普通最小二乘法(OLS)估算。

讲座分为两个部分:

在这两部分中,回归模型 是[eq1]哪里 $ y_ {i} $ 是一个输出变量, $ x_ {i} $ 是一个 $ 1imes K $ 输入向量 $ eta $ 是一个 Kx1 系数向量和 $ arepsilon _ {i} $ 是一个错误术语。有 $ N $ 样本中的观察结果 $ i = 1,ldots,N $.

我们还表示:

使用这种表示法,我们可以 写[eq5]

此外,OLS估计器 $ eta $[eq6]

我们假设设计矩阵 X 具有全等级,因此矩阵 $ X ^ {op} X $ 是可逆的。

目录

正常线性回归模型中的假设检验

在本节中,我们得出有关法线线性系数的测试 回归模型。在此模型中,误差向量 ε 假设有一个 多元正态 分配 有条件的 X, 平均等于 0 和协方差矩阵相等 至[eq7]哪里 I 是个 $尼姆N $ 单位矩阵和 sigma ^ 2 是一个正常数。

可以证明(请参阅有关 正常 线性回归模型)条件正态性的假设 暗示:

单个系数的限制检验(t检验)

在对单个系数进行限制的测试中,我们测试了 空值 假设[eq11]哪里 $ eta _ {k} $ 是个 k-th 系数向量的输入 $ eta $$ qin U {211d} $.

换句话说,我们的零假设是 k-th 系数等于特定值。

通常用 测试 统计[eq12]哪里 $ S_ {kk} $ 是个 k-th 矩阵的对角线入口 [eq13].

测试统计 $ t $ 有一个 标准 学生的t分布$ N-K $ 自由程度。因此,将其称为t统计量和检验 称为t检验。

证明

在原假设下 [eq14] 具有均值的正态分布 $ q $ 和方差 $ sigma ^ {2} S_ {kk} $. 结果, 比[eq15]具有 标准正态分布(均值 0 和方差 1)。 我们可以 写[eq16]以来 [eq17] 有一个 伽玛 分配 带参数 $ N-K $sigma ^ 2, 的 比[eq18]具有 具有参数的Gamma分布 $ N-K $1. 它也独立于 $ z $ 因为 [eq19] 独立于 [eq20]. 因此, 比[eq21]具有 一个标准的学生t分布 $ N-K $ 自由度(请参阅 学生的 分配)。

如果以下条件成立,则原假设被拒绝 $ t $ 落在接受区域之外。

如何确定接受区域不仅取​​决于期望的 测试的大小,还要看是否 测试是两尾的(如果我们认为 $ eta _ {k} $ 可能小于或大于 $ q $) 或单尾(如果我们假设只有两件事之一,即较小或 更大)。有关如何确定验收的更多详细信息 区域,请参阅 危急 价值观.

一组线性限制的检验(F检验)

在测试一组线性限制时,我们测试空值 假设[eq22]哪里 $ R $ 是一个 $石灰K $ 矩阵和 $ q $ 是一个 $酸橙1 $ 向量。 $ L $ 是限制的数量。

假设 $ eta $$ 2imes 1 $ 并且我们要检验假设 [eq23]. 我们可以用下面的形式写 $ R eta = q $ 通过 设置[eq24]

假设 $ eta $$ 3imes 1 $ 并且我们要测试两个限制是否 [eq25]$ eta _ {3} = 0 $ 同时举行。第一个限制可以写成 如 [eq26]所以 我们 有[eq27]

该假设通常通过检验来检验 统计[eq28]哪一个 有一个 F分布$ L $$ N-K $ 自由程度。因此,它被称为F统计量和检验 称为F检验。

证明

在null和有条件的情况下 X, 向量 $ Rwidehat {eta} $, 成为一个 线性的 正常随机向量的变换 $ widehat {eta} $, 与分布 意思[eq29]和 协方差 矩阵[eq30]从而, 我们可以 写[eq31]以来 $ Rwidehat {eta} $ 是,二次形式 $ Q $ 具有卡方分布 $ L $ 自由度(请参阅 二次的 涉及法向量的形式)。此外,由于 [eq17] 具有带有参数的Gamma分布 $ N-K $sigma ^ 2 的 统计[eq33]具有 卡方分布 $ N-K $ 自由度(请参阅 伽玛 分配)。因此,我们可以 写[eq34]从而 F 是两个卡方变量之间的比率,每个变量除以其度数 自由。这两个变量是独立的,因为 $ Q $ 仅取决于 $ widehat {eta} $$ P $ 仅取决于 [eq17], 和 $ widehat {eta} $[eq17] 是独立的。作为结果, F 具有F分布 $ L $$ N-K $ 自由度(请参阅 F分布)。

F检验通常是单尾的。 F右尾的临界值 选择分布以实现所需的测试大小。然后, 如果F统计量大于F统计量,则拒绝原假设。 临界值。

使用统计数据包进行线性回归时,通常会得到 包含F统计量值的回归输出。通常这是 通过对所有 回归系数等于 0 (截距上的系数除外)。

基于最大似然法的检验 (瓦尔德,拉格朗日乘数,似然比)

正如我们在题为 线性的 回归-最大似然,最大似然估计 正常线性回归模型的系数向量等于OLS 估计量 $ widehat {eta} $. 结果,通常 测试 基于最大似然法 (例如。, 沃尔德, 拉格朗日乘数, 可能性 比)可用于进行关于 $ eta $.

OLS估计量为时的假设检验 渐近正态

在本节中,我们说明如何执行关于 OLS估计量为时的线性回归模型的系数 渐近正常。

正如我们在题为 OLS估算器 属性,在几种情况下(即在不同的假设条件下) 可以证明:

  1. OLS估算器 $ widehat {eta} $ 渐近是正常的 是的[eq37]哪里 [eq38] 表示 收敛 在分配中 (作为样本量 $ N $ 趋于无穷大),并且 $ zeta $ 是具有均值的多元正态随机向量 0 和协方差矩阵 V; 的价值 $ Kimes K $ 矩阵 V 取决于有关回归模型的一组假设;

  2. 有可能得出一个一致的估计量 $ widehat {V} $V, 那 是的[eq39]哪里 [eq40] 表示 收敛 很有可能 (再次为 $ N $ 趋于无穷大)。估计量 $ widehat {V} $ 是观察到的输入的容易计算的函数 $ x_ {iext {}} $和 输出 $ y_ {i} $.

这两个属性用于推导其的渐近分布。 假设检验中使用的检验统计量。

单个系数的限制检验(z检验)

在z检验中,原假设是对单个条件的限制 系数:[eq11]哪里 $ eta _ {k} $ 是个 k-th 系数向量的输入 $ eta $$ qin U {211d} $.

测试统计 是[eq42]哪里 $ widehat {V} _ {kk} $ 是个 k-th 估计量的对角线入口 $ widehat {V} $ 渐近协方差矩阵

测试统计 $ z_ {N} $ 收敛到一个 标准正常 分配 作为样本量 $ N $ 增加。因此,它称为z统计量(因为字母z 通常用于表示标准正态分布),该测试称为 z测试。

证明

我们可以写z统计量 如 [eq43]通过 假设,分子 [eq44] 收敛于正态随机变量 $ zeta $ 刻薄 0 和方差 $ V_ {kk} $. 估计方差 $ widehat {V} _ {kk} $ 收敛到 $ V_ {kk} $, 这样, 连续贴图 定理分母 [eq45] 收敛到 $ sqrt {V_ {kk}} $. 因此, 斯卢茨基定理, 我们有 $ z_ {N} $ 收敛于随机分布 变量[eq46]哪一个 是正常的 意思[eq47]和 方差[eq48]因此, 测试统计 $ z_ {N} $ 收敛到 $ z $, 这是标准的正常随机变量。

什么时候 $ N $ 很大,我们近似于 $ z_ {N} $ 渐近线(标准正态)。然后,我们使用检验统计量 $ z_ {N} $ 按照通常的方式:根据所需的测试尺寸和 的分布 $ z_ {N} $, 我们确定临界值和接受区域。空值 假设被拒绝,如果 $ z_ {N} $ 落在接受区域之外。

检验一组线性限制(卡方检验)

在卡方检验中,原假设是一组 $ L $ 线性的 限制条件[eq49]哪里 $ R $ 是一个 $石灰K $ 矩阵和 $ q $ 是一个 $酸橙1 $ 向量。

测试统计 是[eq50]哪一个 收敛到 卡方 分配$ L $ 自由程度。因此,它称为卡方统计量, 该测试称为卡方检验。

证明

我们可以编写测试统计信息 如 [eq51]通过 关于收敛的假设 $ widehat {eta} $$ widehat {V} $, 根据连续映射定理,我们有 那[eq52]通过 斯卢茨基定理,我们 有[eq53]$ Rzeta $ 与 意思[eq54]和 方差[eq55]从而,[eq56]但, 通过 标准 正规二次形式的结果,右边的二次形式 边具有卡方分布 $ L $ 自由程度 ($ L $ 是向量的维数 $ Rzeta $)

设置测试时,实际分配 $ chi _ {N} ^ {2} $ 用渐近线(卡方)近似。

像F检验一样,卡方检验通常也是单尾的。所需 测试的大小是通过在 卡方分布的右尾。如果null被拒绝 卡方统计量大于临界值。

如何引用

请引用为:

Taboga, Marco (2017). "线性回归-假设检验", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/linear-regression-hypothesis-testing.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。