在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计 > 最大似然

最大可能性-假设检验

通过 博士

本讲座讨论如何执行 测试 假设 根据由 最大似然.

目录

测试框架

我们将假设一个未知参数 $ heta _ {0} $ 通过最大似然法估算出该参数属于 到参数空间 [eq1], 并且我们要测试 空值 假设[eq2]哪里 $ 的ta _ {R} $ 是...的适当子集 $ 的ta $, 即[eq3]

三种流行的测试

有三种流行的方法可以进行这种测试 限制:

因此,用于执行测试的参数估计是 这些测试之间存在哪些差异: Wald测试,这是分数测试的受限估计,并且两个估计都 似然比检验。

以下各节将涵盖这些测试的主要方面,并将 请读者阅读其他包含更详细说明的部分。

假设条件

在本讲座的其余部分,将假定样本 $ xi _ {n} $ 是来自 IID 顺序 并且对数似然函数满足所有条件 在以前的讲座中使用(请参阅 最大 可能性)得出最大值的渐近分布 似然估计。

还假定可以写出要测试的限制 如 [eq15]哪里 [eq16] 是向量值函数, $ rleq p $, 的所有条目 $ g $ 就其论点而言是持续可区分的,并且 雅可比 [eq17], 即 $ rimes p $ 项的偏导数矩阵 $ g $ 关于...的条目 $ heta $, 有等级 $ r $.

正在测试的限制示例

由于上述限制的定义似乎有点抽象,我们 在下面提供一些示例。

令参数空间为所有的集合 $2$尺寸 向量,即 [eq18]. 假设我们要测试限制 $ heta _ {0,2} = 1 $, 哪里 $ heta _ {0,2} $ 表示的第二部分 $ heta _ {0} $. 然后,功能 [eq19] 是一个功能 [eq20] 定义的 通过[eq21]在 这个案例, $r=1$. 的雅可比 $ g $[eq22]哪一个 有明显的排名 $r=1$.

令参数空间为所有的集合 $3$尺寸 向量,即 [eq23]. 假设我们要测试限制 [eq24]哪里 $ heta _ {0,j} $ 表示 $ j $-th 的组成部分 $ heta _ {0} $. 然后,功能 [eq25] 是一个功能 [eq26] 定义的 通过[eq27]在 这个案例, $r=2$. 的雅可比 $ g $[eq28]哪一个 有等级 $r=2$ 因为它的两行是线性独立的。

沃尔德测试

[eq29] 是一个的估计 $ pimes 1 $ 参数 $ heta _ {0} $, 通过在整个参数空间上最大化对数似然来获得 $ 的ta $:[eq30]的 Wald测试基于以下测试 统计:[eq31]哪里 n 是个 样本量$ widehat {V} _ {n} $ 是对的渐近协方差矩阵的一致估计 [eq32] (请参阅标题为“ 最大 似然-协方差矩阵估计)。

在原假设下,即在以下假设下 [eq33], Wald统计 $ W_ {n} $ 分布趋同 卡方分布$ r $ 自由程度。

通过固定临界值进行测试 $ z $ 并通过拒绝原假设 如果[eq34]

测试的大小可以通过其渐近来近似 值[eq35]

哪里 $ Fleft(z
权)$ 是具有以下项的卡方随机变量的分布函数: n 自由程度。我们可以选择 $ z $ 以便达到预定大小 如下:[eq36]

有关Wald测试的更多详细信息,包括其详细推导 渐近分布,可以在标题为“讲座”的演讲中找到 沃尔德测试.

分数测试

[eq37] 是一个的估计 $ pimes 1 $ 参数 $ heta _ {0} $ ,它是通过使限制参数的对数似然性最大化而获得的 空间 $ 的ta _ {R} $:[eq38]的 分数测试(也称为拉格朗日乘数测试)基于以下 测试 统计:[eq39]哪里 n 是个 样本量, $ widehat {V} _ {n} $ 是对的渐近协方差矩阵的一致估计 [eq40], 和 [eq41]是 分数,即对数似然函数的梯度。

在零假设下 [eq42], 得分统计 $ LM_ {n} $ 收敛到分布的卡方分布 $ r $ 自由程度。

计算出测试统计量后,将按照以下步骤进行测试 与上述Wald测试相同。

有关分数测试的更多详细信息,包括其详细推导 渐近分布,可以在标题为“讲座”的演讲中找到 分数测试.

似然比检验

[eq43] 是a的无限制估计 $ pimes 1 $ 参数 $ heta _ {0} $ 由...获得 解决[eq44][eq45] 由 解决[eq46]的 似然比检验基于以下检验 统计:[eq47]在 换句话说,检验统计量等于两者之间的差值的两倍 与无限制估计相对应的对数似然 [eq48] 对数似然与限制估计相对应 [eq49].

在零假设下 [eq50], 得分统计 $ LR_ {n} $ 收敛到分布的卡方分布 $ r $ 自由程度。

计算出测试统计量后,将按照以下步骤进行测试 与上述Wald测试相同。

有关似然比检验的更多详细信息,包括详细推导 它的渐近分布,可以在题为“ 似然比检验.

如何引用

请引用为:

Taboga, Marco (2017). "最大可能性-假设检验", 列克特ures on probability theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/maximum-likelihood-hypothesis-testing.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。