在Statlect上搜索概率和统计术语
统计 列克特
指数 > 的基本原理 统计 > 最大似然

最大似然-协方差矩阵估计

通过 博士

在演讲中 最大 可能性 我们已经证明,在某些假设下, 最大似然估计的分布 [eq1] 向量的向量 $ heta _ {0} $ 可以近似为 多元正态 分配 刻薄 $ heta _ {0} $ 和协方差 矩阵 [eq2] 哪里 [eq3] 是样本中一次观察的对数似然,在 真实参数 $ heta _ {0} $, 和渐变 [eq4] 是对数似然的一阶导数的向量。

因为 $ heta _ {0} $ 是未知的,这个协方差矩阵也是未知的。在这里,我们讨论方法 一致地估计它。

我们做出与上述讲座相同的假设。因此对于 例, [eq5] 哪里 [eq6] 是第一个的实现 n 条款 IID序列 [eq7]. 在这些假设下,我们还拥有信息平等性,因此 那 [eq8] 哪里 黑森矩阵 [eq9] 是对数似然的二阶偏导数的矩阵 功能。

目录

梯度的外积(OPG)估算

渐近协方差的第一估计 矩阵 [eq10] 是 称为梯度的外部乘积(OPG)估计值,并进行计算 如 [eq11] 它 它的名字来自这样一个事实,即渐变 [eq12] 是列向量,其转置是行向量,并且 列和行称为外部乘积。

如果满足某些规律性条件,则OPG估计器 $ widehat {V} _ {n} $ 是的一致估计 V, 也就是说,它收敛于 V.

证明

我们仅提供证明的草图,我们 推荐读者 纽维和麦克法登(1994) 对于 更严格的阐述。只要满足一些规律性条件 (请参见刚刚引用的源代码), 可能性 极限 :[eq13] 哪里 [eq14] 已被取代 $ heta _ {0} $ 因为,作为一个一致的估计量,它收敛于 $ heta _ {0} $. 由于样本是IID,因此 大法则 号码 我们有 那 [eq15] 现在, 协方差矩阵的公式(请参阅标题为“ 协方差矩阵) 产量 [eq16] 但 在处评估的梯度的期望值 $ heta _ {0} $0, 所以 那 [eq17] 从而, [eq18] 因为 矩阵求逆是连续的 连续贴图 定理 我们有 [eq19] 哪一个 正是我们需要证明的结果。

粗略估计

渐近协方差的第二个估计 矩阵 [eq20] 是 称为Hessian估算值,并进行计算 如 [eq21]

在某些规律性条件下,Hessian估计量 $ widetilde {V} _ {n} $ 也是的一致估计 V.

证明

同样,我们不会完全 严格的证明(您可以看到 纽维和 麦克法登-1994),我们仅概述主要步骤。首先,在 一些规律性条件,我们有 那 [eq22] 哪里 [eq23] 已被取代 $ heta _ {0} $ 因为,作为一个一致的估计量,它收敛于 $ heta _ {0} $. 现在,由于样本是IID,根据大数定律 那 [eq24] 通过 信息平等,我们 有 [eq25]因此,[eq26] 因为 通过连续映射定理,矩阵求逆是连续的 [eq27] 哪一个 是我们需要证明的。

三明治估算

渐近协方差的第三估计 矩阵 [eq28] 是 称为三明治估算,它是通过计算得出的 如 [eq29] 哪里 $ widehat {V} _ {n} $ 是OPG估算值, $ widetilde {V} _ {n} $ 是黑森州的估算值。

也是三明治估算器 [eq30] 是的一致估计 V.

证明

这再次是 连续贴图 定理: [eq31] 哪里 最后的平等来自于OPG和Hessian的一致性 估计量。

参考文献

Newey,W. K. and D. McFadden(1994)“第35章:大 样本估计和假设检验”, 手册 计量经济学,爱思唯尔。

如何引用

请引用为:

Taboga, Marco (2017). "最大似然-协方差矩阵估计", 列克特 ures on 可能性 theory and mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/maximum-likelihood-covariance-matrix-estimation.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。