对数似然

通过 马可·塔波加（Marco Taboga）博士

顾名思义，对数似然是对数似然的自然对数。 可能性。

反过来，给定一个样本和一个 参数 家庭 的分布（即，一组由 参数）可能已经产生了样本，似然性是一个函数 与每个参数相关的概率（或概率密度） 观察给定的样本。

定义

需要以下元素来严格定义对数似然 功能：

• 我们观察到 样品 , 这被视为实现 随机 向量 , 其分布未知；

• 的分布 属于参数族：有一组 实向量（称为 参数 空间），其元素（称为参数）与 可能已经产生的分布 ; 尤其是：

  • 如果 是一个 连续 随机向量， 它的 联合概率 密度函数 属于一组联合概率密度函数 由参数索引 ;

  • 如果 是一个 离散随机 向量， 它的 联合 概率质量函数 属于一组联合概率质量 职能 索引 通过参数 ;

• 当联合概率质量（或密度）函数视为 的功能 用于固定 （即，对于样本 我们已经观察到），它被称为似然性（或似然函数），它是 表示为 . 所以，如果 是离散的 如果 是连续的。

给定所有这些元素，对数似然函数就是 定义的 通过

例

典型示例是组成样本的对数似然函数 的 独立且相同 分散式 从 正常 分配.

在这种情况下，样本 是一个 向量谁的 参赛作品 是从正态分布绘制的。的概率密度函数 通用抽奖 是哪里 和 是正态分布的参数（均值和方差）。

使用上一节中使用的符号，参数向量 是的 考虑的参数族是所有正态分布的集合 （可以通过更改参数来获得 和 ）。

为了强调这一事实，概率密度取决于两个 参数，我们 写

样本的联合概率密度 是 因为 一组自变量的联合密度等于 其 边缘 密度 （请参阅有关 独立 随机变量）。

似然函数 是

对数似然函数是

对数似然的使用方式

对数似然函数通常用于推导 最大似然 估计量 参数的 . 的 估计量 由 解决那 是，通过找到参数 最大化观察样本的对数似然 . 这与最大化似然函数相同 因为自然对数是严格增加的函数。

为什么记录日志

有人可能想知道为什么采用似然函数的对数。有 有几个很好的理由。要了解它们，请假设样本是组成的 独立观察结果（如上例所示）。然后，对数 将密度乘积转换为总和。这非常方便，因为：

• 和的渐近性质更易于分析（一个可以应用 大数定律 和 中央极限 定理 这些钱；看到 证明 最大似然估计的一致性和渐近正态性）;

• 产品在数值上不稳定：它们趋于迅速收敛到零或 到无穷大，具体取决于单个观测值的密度是否为 平均小于或大于1；相反，从 数值观点；这很重要，因为最大似然问题 通常在计算机精度有限的计算机上用数字方式解决 不允许将很小的数字与零以及很大的数字区分开 从无限。

更多例子

有关如何推导对数似然函数的更多示例，请参见 讲座：

• 最大 泊松分布参数的似然（ML）估计

• 的ML估计 指数分布的参数

• ML 正常线性回归模型的参数估计

更多细节

对数似然及其属性将进行更详细的讨论 在关于 最大似然 估算.

继续阅读词汇表

上一页条目： 联合概率质量函数

下一页条目： 损失函数

如何引用

请引用为：

Taboga, Marco (2017). "对数似然", 列克特ures on probability theory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/glossary/log-likelihood.