最大似然-协方差矩阵估计

通过马可·塔波加（Marco Taboga）博士

在演讲中最大可能性我们已经证明，在某些假设下，最大似然估计的分布向量的向量 $heta _ {0}$ 可以近似为多元正态分配刻薄 $heta _ {0}$ 和协方差矩阵哪里是样本中一次观察的对数似然，在真实参数 $heta _ {0}$ , 和渐变是对数似然的一阶导数的向量。

因为 $heta _ {0}$ 是未知的，这个协方差矩阵也是未知的。在这里，我们讨论方法一致地估计它。

我们做出与上述讲座相同的假设。因此对于例， [eq5] 哪里是第一个的实现条款 IID序列 . 在这些假设下，我们还拥有信息平等性，因此那哪里黑森矩阵是对数似然的二阶偏导数的矩阵功能。

梯度的外积（OPG）估算
粗略估计
三明治估算
参考文献

梯度的外积（OPG）估算

渐近协方差的第一估计矩阵是称为梯度的外部乘积（OPG）估计值，并进行计算如 [eq11] 它它的名字来自这样一个事实，即渐变是列向量，其转置是行向量，并且列和行称为外部乘积。

如果满足某些规律性条件，则OPG估计器 $widehat {V} _ {n}$ 是的一致估计 , 也就是说，它收敛于 .

证明

我们仅提供证明的草图，我们推荐读者纽维和麦克法登（1994）对于更严格的阐述。只要满足一些规律性条件（请参见刚刚引用的源代码），可能性极限 : [eq13] 哪里已被取代 $heta _ {0}$ 因为，作为一个一致的估计量，它收敛于 $heta _ {0}$ . 由于样本是IID，因此大法则号码我们有那 [eq15] 现在，协方差矩阵的公式（请参阅标题为“ 协方差矩阵) 产量 [eq16] 但在处评估的梯度的期望值 $heta _ {0}$ 是 , 所以那从而， [eq18] 因为矩阵求逆是连续的连续贴图定理我们有 [eq19] 哪一个正是我们需要证明的结果。

粗略估计

渐近协方差的第二个估计矩阵是称为Hessian估算值，并进行计算如 [eq21]

在某些规律性条件下，Hessian估计量 $widetilde {V} _ {n}$ 也是的一致估计 .

证明

同样，我们不会完全严格的证明（您可以看到纽维和麦克法登-1994），我们仅概述主要步骤。首先，在一些规律性条件，我们有那 [eq22] 哪里已被取代 $heta _ {0}$ 因为，作为一个一致的估计量，它收敛于 $heta _ {0}$ . 现在，由于样本是IID，根据大数定律那 [eq24] 通过信息平等，我们有因此， [eq26] 因为通过连续映射定理，矩阵求逆是连续的 [eq27] 哪一个是我们需要证明的。

三明治估算

渐近协方差的第三估计矩阵是称为三明治估算，它是通过计算得出的如 [eq29] 哪里 $widehat {V} _ {n}$ 是OPG估算值， $widetilde {V} _ {n}$ 是黑森州的估算值。

也是三明治估算器是的一致估计 .

证明

这再次是连续贴图定理： [eq31] 哪里最后的平等来自于OPG和Hessian的一致性估计量。

参考文献

Newey，W. K. and D. McFadden（1994）“第35章：大样本估计和假设检验”，手册计量经济学，爱思唯尔。

如何引用

请引用为：

Taboga, Marco (2017). "最大似然-协方差矩阵估计", 列克特 ures on 可能性 theory and mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/maximum-likelihood-covariance-matrix-estimation.