在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

贝叶斯推理

通过 博士

贝叶斯推断是一种进行统计推断的方法,其中 统计学家将主观概率分配给可以 生成数据。这些主观概率形成所谓的先验 分配。观察数据后, 贝叶斯法则 习惯于 更新先验,即修改分配给 可能的数据生成分布。这些修正的概率构成了 所谓后验分布。

目录

推理

请记住, 统计 推论 问题如下:

  1. 我们观察到一些数据(样本);

  2. 我们将样本写为向量 x;

  3. 我们认为 x 作为 实现 随机向量 X;

  4. 我们不知道 X (即生成我们样本的分布);

  5. 我们定义一个统计模型,即一个集合 $菲$ 可能产生数据的概率分布;

  6. 可选地,我们对模型进行参数化,也就是说,我们将 $菲$ 对应于一组称为参数的实向量;

  7. 我们使用样本和统计模型进行陈述(推论) 关于未知数据生成分布(或关于 对应)。

在贝叶斯推理中,我们将主观分布分配给 $菲$, 然后我们使用这些数据得出后验分布。

在参数贝叶斯推理中,主观分布被分配给 的 参数 被放入 与...的元素相对应 $菲$.

可能性

参数贝叶斯模型的第一个构建块是 可能性[eq1]哪一个 等于 可能性 密度x 当真实数据生成分布的参数等于 $ heta $.

请注意,目前我们假设 x$ heta $ 连续. 稍后,我们将讨论如何放宽此假设。

假设样本 [eq2]是 一个向量 n 独立且分布均匀 抽签 [eq3] 从一个 正常 分配。均值 亩 的分布未知,而其方差 sigma ^ 2 是众所周知的。这是模型的两个参数。概率密度 通用抽奖的功能 $ x_ {i} $[eq4]哪里 我们使用符号 [eq5] 强调以下事实 亩 未知,密度 $ x_ {i} $ 取决于此未知参数。因为观察 [eq6] 独立, 我们可以将可能性写为 [eq7]

先验

贝叶斯模型的第二个组成部分是 事前[eq8]哪一个 等于分配给参数的主观概率密度 $ heta $ 数据生成分布。

让我们继续前面的示例。统计学家认为 参数 亩 最有可能等于 $ 亩 _ {0} $ 并且那个值 亩 离很远 $ 亩 _ {0} $ 不太可能。她表达了对参数的信念 亩 通过为其分配具有均值的正态分布 $ 亩 _ {0} $ 和方差 $ au ^ {2} $. 所以先 是[eq9]

先前的预测分布

指定先验和可能性后,我们可以得出 边缘 密度x:[eq10]哪里: 在步 $ rame {A} $ 我们执行了所谓的边缘化(请参阅 随机向量);在 步 $ rame {B} $ 我们已经利用了一个事实 关节密度 能够 表示为条件密度和边际密度的乘积(请参见 讲座 有条件的 概率分布)。

的 符号[eq11]是 倍数的简写 积分[eq12]哪里 K 是参数向量的维数 $ heta $.

边际密度 x, 以上述方式得出的通常称为 事先预测 分配。粗略地说,这是我们的概率分布 分配给数据 x 在观察之前。

给定前两个示例中指定的先验和后验, 可以证明先验的预测分布是 [eq13]哪里 i 是一个 $尼姆1 $ 一个的向量,和 I 是个 $尼姆n $ 单位矩阵因此,先前的预测分布 x 多变量 正常 刻薄 $ imu _ {0} $ 协方差 矩阵 [eq14]从而, 在先前的预测分布下,平局 $ x_ {i} $ 有意思 $ 亩 _ {0} $, 方差 [eq15] 与其他平局的协方差等于 $ au ^ {2} $. 协方差是由以下事实引起的: 亩, 随机的,所有抽签都一样。

后部

观察数据后 x, 统计人员可以使用贝叶斯规则来更新有关该参数的先验 $ heta $:[eq16]

条件密度 [eq17] 称为参数的后验分布。

通过使用上面得出的边际密度公式,我们 获得[eq18]哪一个 明确表明后验取决于指定的两个分布 由统计学家,先验 [eq19] 和可能性 [eq20].

在前面例子的普通模型中,可以证明 后部 是[eq21]哪里[eq22]从而, 的后验分布 亩 均值是正常的 $ 亩 _ {n} $ 和方差 $ sigma _ {n} ^ {2} $. 注意后均值 $ 亩 _ {n} $ 是观测数据平均值的加权平均值 ([eq23]) 和先验均值 $ 亩 _ {0} $. 权重与两个均值的方差成反比: 先验方差 $ au ^ {2} $ 高,那么先验均值 $ 亩 _ {0} $ 体重减轻;同样,如果样本方差是 (等于 $ sigma ^ {2} / n $) 高,则样本均值获得的权重很小,而权重更大 分配给前一个。样本均值和先验均值均提供 相关信息 亩. 它们组合在一起,但对具有 精度更高(方差较小)。另请注意,当样本量 n 变得非常大(达到无穷大),然后将所有权重赋予 信息来自样本(样本均值),没有权重 先验。这是典型的贝叶斯推断。

比例性

给定任何后验 密度[eq24]我们 可以执行任何功能 [eq25] 的数据,这不取决于 $ heta $, 并用它来建造另一个 功能[eq26]我们 写[eq27]那 是的 [eq17] 与...成正比 [eq29], 为了强调 [eq30] 等于 [eq31] 倍常数 ([eq32]; 请记住,观察到的数据是常数。

可以从后方恢复 [eq33] 如 如下:[eq34]哪里: 在步 $ rame {A} $ 我们使用了这样一个事实 $qleft( x
ight) $ 不依赖 $ heta $ 结果,它可以从积分中取出来;在步 $ rame {B} $ 我们已经利用了这样一个事实:密度的积分(在整个支撑上) 等于 1.

总之,将后验乘以任何常数(不依赖于 上 $ heta $, 但可能取决于 x), 我们获得一个功能 [eq35] 与后部成比例。如果我们将新功能除以积分 之间 in$ infty $, 然后我们获得先验。

后验可能性

注意在后 式[eq36]的 边缘 密度[eq37]确实 不依赖 $ heta $ (因为 $ heta $ 是“整合出”)。因此,通过使用前面介绍的符号 部分,我们可以 写[eq38]那 是,后 [eq17] 与先验成正比 [eq19] 乘以可能性 [eq41].

注意两者 [eq20][eq43] 是已知的(由统计学家指定),所以我们说 后验(我们要计算)与两个已知量成正比。 与两个已知量的比例非常重要: 允许利用它来计算后验的各种方法 当无法计算(2)从而无法直接计算(1)时。

后验预测分布

假设第二个数据样本由表示 $ y $, 观察样品后观察 x 并更新有关参数的先验 $ heta $, 也就是说,之后 计算[eq44]

假设还有 $ y $ 依赖于取决于 $ heta $, 但独立于 x 有条件的 $ heta $:[eq45]

然后分配 $ y $ 给定 x

[eq46]

的分布 $ y $ 给定 x, 以上述方式得出的通常称为 后验预测 分配.

在先前示例的普通模型中,先验更新为 n 抽签 [eq47]. 考虑新的抽奖 $ x_ {n + 1} $ 来自相同的正态分布。可以证明 的预测分布 $ x_ {n + 1} $ 是具有均值的正态分布 $ 亩 _ {n} $ (后验均值 亩) 和方差 [eq48] ,在哪里 $ sigma _ {n} ^ {2} $ 是后验方差 亩.

感兴趣的数量

更新先验后,我们可以对 参数 $ heta $ 通过使用其后验分布;一般而言,我们可以发表声明 关于数量取决于 $ heta $ 通过使用先前的介绍中的后验预测分布 部分。这些数量,我们想要声明的数量,通常 叫 感兴趣的数量.

贝叶斯方法为我们提供了后验概率分布 我们的兴趣量。我们可以自由总结该分布在任何 我们认为方便或适合我们目的的方式。例如,我们可以:

积分

据我们所知 x$ heta $ 是连续的。当它们是离散的时,没有实质性的变化,但是 概率密度函数被替换为 概率质量函数 积分被求和代替。

例如,如果 $ heta $ 是离散的 x 是连续的:

因式分解

我们常常无法应用贝叶斯规则 [eq52]因为 我们不能得出边际分布 $pleft( x
ight) $ 分析地。

但是,鉴于联合 分配[eq53]如果 我们能够表达它 如 [eq54]哪里 $hleft( x
ight) $ 是仅依赖于 x, 和 [eq55] 是的概率密度(或质量)函数 $ heta $ (对于任何固定 x), 然后[eq56]

请参阅有关 因式分解 概率密度函数 为了证明这一事实(以及详细 举例说明)。

MCMC

有几种贝叶斯模型可以计算后验 分析参数分布。但是,这通常不是 可能。当没有分析解决方案时,可以使用以下方法 通过数字得出后验分布的最常用方法是 所谓的马尔可夫链蒙特卡罗方法。他们是 蒙特卡洛方法 那 允许从后部生成大量相关抽签 只需使用 相称性[eq57] 经验 分配 产生的样品中的一部分可用于生产 插件估算 的 感兴趣的数量。

观看有关的讲座 MCMC 方法 更多细节。

如何引用

请引用为:

Taboga, Marco (2017). "贝叶斯推理", 列克特ures 上 可能性 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-inference.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。