在演讲中 最大
可能性 我们已经证明,在某些假设下,
最大似然估计的分布
向量的向量
可以近似为 多元正态
分配 刻薄
和协方差
矩阵
哪里
是样本中一次观察的对数似然,在
真实参数
,
和渐变
是对数似然的一阶导数的向量。
因为
是未知的,这个协方差矩阵也是未知的。在这里,我们讨论方法
一致地估计它。
我们做出与上述讲座相同的假设。因此对于
例,
哪里
是第一个的实现
条款 IID序列
.
在这些假设下,我们还拥有信息平等性,因此
那
哪里
黑森矩阵
是对数似然的二阶偏导数的矩阵
功能。
渐近协方差的第一估计
矩阵 是
称为梯度的外部乘积(OPG)估计值,并进行计算
如
它
它的名字来自这样一个事实,即渐变
是列向量,其转置是行向量,并且
列和行称为外部乘积。
如果满足某些规律性条件,则OPG估计器
是的一致估计
,
也就是说,它收敛于
.
我们仅提供证明的草图,我们
推荐读者 纽维和麦克法登(1994) 对于
更严格的阐述。只要满足一些规律性条件
(请参见刚刚引用的源代码),
可能性
极限 : 哪里
已被取代
因为,作为一个一致的估计量,它收敛于
.
由于样本是IID,因此 大法则
号码 我们有
那
现在,
协方差矩阵的公式(请参阅标题为“
协方差矩阵)
产量
但
在处评估的梯度的期望值
是
,
所以
那
从而,
因为
矩阵求逆是连续的
连续贴图
定理 我们有
哪一个
正是我们需要证明的结果。
渐近协方差的第二个估计
矩阵 是
称为Hessian估算值,并进行计算
如
在某些规律性条件下,Hessian估计量
也是的一致估计
.
同样,我们不会完全
严格的证明(您可以看到 纽维和
麦克法登-1994),我们仅概述主要步骤。首先,在
一些规律性条件,我们有
那 哪里
已被取代
因为,作为一个一致的估计量,它收敛于
.
现在,由于样本是IID,根据大数定律
那
通过
信息平等,我们
有
因此,
因为
通过连续映射定理,矩阵求逆是连续的
哪一个
是我们需要证明的。
渐近协方差的第三估计
矩阵 是
称为三明治估算,它是通过计算得出的
如
哪里
是OPG估算值,
是黑森州的估算值。
也是三明治估算器
是的一致估计
.
这再次是
连续贴图
定理: 哪里
最后的平等来自于OPG和Hessian的一致性
估计量。
Newey,W. K. and D. McFadden(1994)“第35章:大 样本估计和假设检验”, 手册 计量经济学,爱思唯尔。
请引用为:
Taboga, Marco (2017). "最大似然-协方差矩阵估计", 列克特 ures on 可能性 theory and mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/maximum-likelihood-covariance-matrix-estimation.