我们将假设一个未知参数
通过最大似然法估算出该参数属于
到参数空间
,
并且我们要测试 空值
假设
哪里
是...的适当子集
,
即
有三种流行的方法可以进行这种测试 限制:
沃尔德测试。估算器
的
通过最大化整个参数空间上的对数似然来获得
:
哪里
是似然函数,并且
是样本。随后, 测试
统计 通过测量多远来构造
来自满足零假设。
分数测试。估算器
的
通过最大化限制参数的对数似然来获得
空间
:
后来,
通过比较的导数向量构造检验统计量
对数似然
(所谓的得分)及其在原假设下的期望值。
似然比检验。该测试基于两个不同的
的估计量
.
一个,用
,
通过最大化整个参数空间上的对数似然来获得
,
就像在Wald测试中一样。另一个,用
,
通过最大化限制参数的对数似然来获得
空间
,
如分数测试。最后,通过比较构建测试统计量
的对数似然
到
.
因此,用于执行测试的参数估计是 这些测试之间存在哪些差异: Wald测试,这是分数测试的受限估计,并且两个估计都 似然比检验。
以下各节将涵盖这些测试的主要方面,并将 请读者阅读其他包含更详细说明的部分。
在本讲座的其余部分,将假定样本
是来自 IID
顺序 并且对数似然函数满足所有条件
在以前的讲座中使用(请参阅 最大
可能性)得出最大值的渐近分布
似然估计。
还假定可以写出要测试的限制
如 哪里
是向量值函数,
,
的所有条目
就其论点而言是持续可区分的,并且
雅可比
,
即
项的偏导数矩阵
关于...的条目
,
有等级
.
由于上述限制的定义似乎有点抽象,我们 在下面提供一些示例。
例
令参数空间为所有的集合
尺寸
向量,即
.
假设我们要测试限制
,
哪里
表示的第二部分
.
然后,功能
是一个功能
定义的
通过
在
这个案例,
.
的雅可比
是
哪一个
有明显的排名
.
例
令参数空间为所有的集合
尺寸
向量,即
.
假设我们要测试限制
哪里
表示
-th
的组成部分
.
然后,功能
是一个功能
定义的
通过
在
这个案例,
.
的雅可比
是
哪一个
有等级
因为它的两行是线性独立的。
让
是一个的估计
参数
,
通过在整个参数空间上最大化对数似然来获得
:
的
Wald测试基于以下测试
统计:
哪里
是个 样本量 和
是对的渐近协方差矩阵的一致估计
(请参阅标题为“
最大
似然-协方差矩阵估计)。
在原假设下,即在以下假设下
,
Wald统计
分布趋同 到
卡方分布 与
自由程度。
通过固定临界值进行测试
并通过拒绝原假设
如果
测试的大小可以通过其渐近来近似
值
哪里
是具有以下项的卡方随机变量的分布函数:
自由程度。我们可以选择
以便达到预定大小
如下:
有关Wald测试的更多详细信息,包括其详细推导 渐近分布,可以在标题为“讲座”的演讲中找到 沃尔德测试.
让
是一个的估计
参数
,它是通过使限制参数的对数似然性最大化而获得的
空间
:
的
分数测试(也称为拉格朗日乘数测试)基于以下
测试
统计:
哪里
是个 样本量,
是对的渐近协方差矩阵的一致估计
,
和
是
分数,即对数似然函数的梯度。
在零假设下
,
得分统计
收敛到分布的卡方分布
自由程度。
计算出测试统计量后,将按照以下步骤进行测试 与上述Wald测试相同。
有关分数测试的更多详细信息,包括其详细推导 渐近分布,可以在标题为“讲座”的演讲中找到 分数测试.
让
是a的无限制估计
参数
由...获得
解决
和
由
解决
的
似然比检验基于以下检验
统计:
在
换句话说,检验统计量等于两者之间的差值的两倍
与无限制估计相对应的对数似然
对数似然与限制估计相对应
.
在零假设下
,
得分统计
收敛到分布的卡方分布
自由程度。
计算出测试统计量后,将按照以下步骤进行测试 与上述Wald测试相同。
有关似然比检验的更多详细信息,包括详细推导 它的渐近分布,可以在题为“ 似然比检验.
请引用为:
Taboga, Marco (2017). "最大可能性-假设检验", 列克特ures on probability theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/maximum-likelihood-hypothesis-testing.