顾名思义,对数似然是对数似然的自然对数。 可能性。
反过来,给定一个样本和一个 参数 家庭 的分布(即,一组由 参数)可能已经产生了样本,似然性是一个函数 与每个参数相关的概率(或概率密度) 观察给定的样本。
需要以下元素来严格定义对数似然 功能:
的分布
属于参数族:有一组
实向量(称为 参数
空间),其元素(称为参数)与
可能已经产生的分布
;
尤其是:
当联合概率质量(或密度)函数视为
的功能
用于固定
(即,对于样本
我们已经观察到),它被称为似然性(或似然函数),它是
表示为
.
所以,
如果
是离散的
如果
是连续的。
给定所有这些元素,对数似然函数就是
定义的
通过
典型示例是组成样本的对数似然函数 的 独立且相同 分散式 从 正常 分配.
在这种情况下,样本
是一个
向量
谁的
参赛作品
是从正态分布绘制的。的概率密度函数
通用抽奖
是
哪里
和
是正态分布的参数(均值和方差)。
使用上一节中使用的符号,参数向量
是的
考虑的参数族是所有正态分布的集合
(可以通过更改参数来获得
和
)。
为了强调这一事实,概率密度取决于两个
参数,我们
写
样本的联合概率密度
是
因为
一组自变量的联合密度等于
其 边缘
密度 (请参阅有关
独立
随机变量)。
似然函数
是
对数似然函数是
对数似然函数通常用于推导
最大似然
估计量 参数的
.
的 估计量
由
解决
那
是,通过找到参数
最大化观察样本的对数似然
.
这与最大化似然函数相同
因为自然对数是严格增加的函数。
有人可能想知道为什么采用似然函数的对数。有 有几个很好的理由。要了解它们,请假设样本是组成的 独立观察结果(如上例所示)。然后,对数 将密度乘积转换为总和。这非常方便,因为:
和的渐近性质更易于分析(一个可以应用 大数定律 和 中央极限 定理 这些钱;看到 证明 最大似然估计的一致性和渐近正态性);
产品在数值上不稳定:它们趋于迅速收敛到零或 到无穷大,具体取决于单个观测值的密度是否为 平均小于或大于1;相反,从 数值观点;这很重要,因为最大似然问题 通常在计算机精度有限的计算机上用数字方式解决 不允许将很小的数字与零以及很大的数字区分开 从无限。
有关如何推导对数似然函数的更多示例,请参见 讲座:
对数似然及其属性将进行更详细的讨论 在关于 最大似然 估算.
上一页条目: 联合概率质量函数
下一页条目: 损失函数
请引用为:
Taboga, Marco (2017). "对数似然", 列克特ures on probability theory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/glossary/log-likelihood.