在Statlect上搜索真人在线斗地主和统计术语
统计 列克特
指数 > 真人在线斗地主基础

Kullback-Leibler散度

通过 博士

Kullback-Leibler散度是两个变量之间差异的量度 真人在线斗地主分布。

目录

定义

我们将给出Kullback-Leibler(KL)的两个单独定义 散度,一个用于离散随机变量,另一个用于连续 变量。

定义 XY 是两个 离散随机 变数 支持  R_X  $ R_ {Y} $ 真人在线斗地主质量 职能 [eq1][eq2]. 让 [eq3], 所以 那 [eq4] 然后 的KL散度 [eq2][eq6][eq7]

请注意,求和超出了 X, 这样我们总是 [eq8][eq9], 结果,自然 对数 [eq10] 是 总是定义明确的。

KL分歧 [eq11] 衡量由以下项定义的分布 [eq2] 与定义的参考分布不同 [eq13].

连续随机变量的定义类似。

定义 XY 是两个 连续 随机变量 在支持下  R_X  $ R_ {Y} $ 真人在线斗地主密度 职能 [eq14][eq15] 这样 那 [eq16] 对于 任何一组 $ Asubseteq R_ {X} $. 然后KL的发散 [eq17][eq18][eq19]

为了完全严格,上述定义还应指定 集合 $ Asubseteq R_ {X} $ 必须是可衡量的(请参阅 可能性 为一个 可测量集的定义)。

属性(1)(称为绝对连续性)要求 与密度相关的分布 [eq18] 将非零真人在线斗地主分配给集合 A, 然后也是分布 [eq21] 必须为该集合分配非零真人在线斗地主。这个要求是类似的 离散变量,并确保 [eq22] 是 在所有具有 非零 可能性 .

KL散度为非负

下一个命题陈述了Kullback-Leibler的基本属性 分歧。

主张 [eq13][eq2] 是两个真人在线斗地主质量函数,并且 [eq25]. 如果两个真人在线斗地主质量函数重合,即 [eq26] 对于 所有  $ xin R_ {X} $ , 然后 [eq27] 除此以外, 如果它们不一致, 然后 [eq28]

证明

让我们首先证明平等部分。如果 两个真人在线斗地主质量函数重合,则 [eq29] 对于  $ xin R_ {X} $ [eq30] 什么时候 他们不重合,那么我们 有 [eq31] 哪里: 在步  $ rame {A} $ 我们把总结写成 期望值 与 关于...的真人在线斗地主分布 X; 在步  $ rame {B} $ , 我们已经使用 詹森的 不等式 (功能 [eq32] 严格凸入 x 和随机变量 [eq33] 不是恒定的,因为两个真人在线斗地主质量函数不一致。在 步  $ rame {C} $ 我们使用了一个事实,即真人在线斗地主之和不能大于1。

连续变量的结果相似。

主张 [eq18][eq15] 是两个真人在线斗地主密度函数,使得它们的KL散度为 定义明确的。如果两个真人在线斗地主密度函数重合 几乎可以肯定 ,即 [eq36] 对于 所有可测集 $ Asubseteq R_ {X} $, 然后 [eq37] 除此以外, 如果它们几乎不能肯定地重合,则 [eq28]

证明

证明类似于离散证明 变量。

不对称

KL散度的一个经常被引用的特性是它不是对称的, 是,通常没有保证 那 [eq39]

实际上,甚至有可能 [eq11] 存在于 [eq41] 定义不明确:您可以通过查看KL的定义进行检查 发散,这发生在 X 严格包含在 Y: [eq42]

KL差异为何可以衡量差异

由于Kullback-Leibler散度是一个信息理论概念, 大部分真人在线斗地主和统计学学生都不熟悉 信息理论,他们努力获得对 KL散度测量真人在线斗地主差异的原因 来自参考分布的分布。我们提供的解释是 完全基于真人在线斗地主概念。

假设 [eq13][eq2] 是两个真人在线斗地主质量函数,使得KL散度 [eq45] 定义明确。

采取两者的凸组合 分布 [eq46] 哪里 [eq47].

通过增加  $ lambda $ 我们可以做 [eq48] 越来越类似于 [eq13] 到什么时候  $ lambda = 1 $ , [eq50][eq13] 重合。

可以证明KL散度是凸的(请参见 封面和托马斯2006 ),以及 后果, [eq52]

因此,更高  $ lambda $ 是,较小 [eq53] 成为。换句话说,更多 [eq54] 类似于 [eq55], Kullback-Leibler散度变得越小。

参考文献

Cover,T.M.和J.A. Thomas(2006) " 要点 信息论”,Wiley-Interscience。

如何引用

请引用为:

Taboga, Marco (2017). "Kullback-Leibler散度", 列克特 ures on 可能性 theory 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-probability/Kullback-Leibler-divergence.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。