在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计 > 最大似然

多元正态分布-最大似然估计

通过 博士

在本讲座中,我们将展示如何推导 最大 可能性 两个参数的估计量 多变量 正态分布:均值向量和协方差矩阵。

为了理解推导,您需要熟悉 的概念 矩阵的痕迹.

目录

设置

假设我们观察到第一个 n 条款 IID序列 [eq1]K尺寸 多元正态随机向量。

联合概率 密度函数$ j $-th 序列项 是[eq2] 哪里:

协方差矩阵 $ V_ {0} $ 假定是正定的,因此它的行列式 [eq3] 是严格肯定的。

我们用 [eq4], 那就是 实现 的 第一 n 序列中的随机向量,以估计两个未知数 参数 $ 亩 _ {0} $$ V_ {0} $.

似然函数

似然函数 是[eq5]

证明

由于序列中的项是 独立, 它们的联合密度等于其边际密度的乘积。作为一个 结果,似然函数可以写成 如 [eq6]

对数似然函数

对数似然函数[eq7]

证明

对数似然是通过取 可能性的自然对数 功能:[eq8]

请注意,仅当 [eq9] 是严格肯定的。这反映了以上假设 参数 $ V_ {0} $ 是正定的,这意味着搜索最大似然 的估计量 $ V_ {0} $ 限于正定矩阵的空间。

为了方便起见,我们还可以根据 精度矩阵 $ V ^ {-1} $:[eq10]哪里 我们已经使用了 的财产 行列式 [eq11]

初赛

在推导最大似然估计量之前,我们需要陈述一些事实 关于矩阵 跟踪 及其衍生物:

最大似然估计

均值和均值的最大似然估计 协方差 矩阵[eq18]

证明

我们需要解决以下最大化 问题 [eq19]的 一阶条件最大 [eq20]的 对数似然率相对于均值向量的梯度为 [eq21]哪一个 仅等于零 如果[eq22]因此, 两个一阶条件中的第一个意味着 [eq23]的 对数似然度相对于精度矩阵的梯度为 [eq24]通过 转置整个表达式并将其设置为零,我们 得到[eq25]从而, 一阶条件系统 通过[eq26]

信息矩阵

现在,我们将给出公式的信息矩阵 多元正态分布,将用于导出渐近 最大似然估计量的协方差矩阵。

表示为 $ heta $[eq27] 全部列向量 参数:[eq28]哪里 [eq29] 转换矩阵 V 变成一个 $ K ^ {2} imes 1 $ 列向量,其条目取自的第一列 V, 然后从第二个开始,依此类推。

可以写出样本中一个观测值的对数似然 如 [eq30]

信息矩阵[eq31]

定义 Kx1 向量[eq32]

从而:

定义 $ Kimes K $ 矩阵[eq35]

注意:

可以证明(例如, 皮斯通和马拉格ò 2015$ left(m,n
权)$-th 信息矩阵的元素 是[eq38]

渐近方差

的 向量[eq39]是 渐近均值相等的渐近正态 至[eq40]和 渐近的 协方差矩阵 等于 至[eq41]

更正式 条款[eq42] 收敛 在分配中 到均值为零的多元正态分布 协方差矩阵 [eq43].

换句话说,向量的分布 [eq44] 可以用均值的多元正态分布来近似 $ heta _ {0} $ 和协方差 矩阵[eq45]

参考文献

Pistone,G.和Malagò, L. (2015) " 的信息几何 随机优化的高斯分布”,会议记录 2015年ACM遗传算法基础XIII会议,第150-162页。

如何引用

请引用为:

Taboga, Marco (2017). "多元正态分布-最大似然估计", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/multivariate-normal-distribution-maximum-likelihood.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。