在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

贝叶斯推理

通过 博士

贝叶斯推断是一种进行统计推断的方法，其中 统计学家将主观概率分配给可以 生成数据。这些主观概率形成所谓的先验 分配。观察数据后， 贝叶斯法则 习惯于 更新先验，即修改分配给 可能的数据生成分布。这些修正的概率构成了 所谓后验分布。

目录

目录

  1. 推理

  2. 可能性

  3. 先验

  4. 先前的预测分布

  5. 后部

  6. 比例性

  7. 后验可能性

  8. 后验预测分布

  9. 感兴趣的数量

  10. 积分

  11. 因式分解

  12. MCMC

推理

请记住， 统计 推论 问题如下：

  1. 我们观察到一些数据（样本）；

  2. 我们将样本写为向量 x;

  3. 我们认为 x 作为 实现 的 随机向量 X;

  4. 我们不知道 X （即生成我们样本的分布）；

  5. 我们定义一个统计模型，即一个集合 $菲$ 可能产生数据的概率分布；

  6. 可选地，我们对模型进行参数化，也就是说，我们将 $菲$ 对应于一组称为参数的实向量；

  7. 我们使用样本和统计模型进行陈述（推论） 关于未知数据生成分布（或关于 对应）。

在贝叶斯推理中，我们将主观分布分配给 $菲$, 然后我们使用这些数据得出后验分布。

在参数贝叶斯推理中，主观分布被分配给 的 参数 被放入 与...的元素相对应 $菲$.

可能性

参数贝叶斯模型的第一个构建块是 可能性[eq1]哪一个 等于 可能性 密度 的 x 当真实数据生成分布的参数等于 $ heta $.

请注意，目前我们假设 x 和 $ heta $ 是 连续. 稍后，我们将讨论如何放宽此假设。

例 假设样本 [eq2]是 一个向量 n 独立且分布均匀 抽签 [eq3] 从一个 正常 分配。均值 亩 的分布未知，而其方差 sigma ^ 2 是众所周知的。这是模型的两个参数。概率密度 通用抽奖的功能 $ x_ {i} $ 是[eq4]哪里 我们使用符号 [eq5] 强调以下事实 亩 未知，密度 $ x_ {i} $ 取决于此未知参数。因为观察 [eq6] 是 独立, 我们可以将可能性写为 [eq7]

先验

贝叶斯模型的第二个组成部分是 事前[eq8]哪一个 等于分配给参数的主观概率密度 $ heta $ 数据生成分布。

例 让我们继续前面的示例。统计学家认为 参数 亩 最有可能等于 $ 亩 _ {0} $ 并且那个值 亩 离很远 $ 亩 _ {0} $ 不太可能。她表达了对参数的信念 亩 通过为其分配具有均值的正态分布 $ 亩 _ {0} $ 和方差 $ au ^ {2} $. 所以先 是[eq9]

先前的预测分布

指定先验和可能性后，我们可以得出 边缘 密度 的 x:[eq10]哪里： 在步 $ rame {A} $ 我们执行了所谓的边缘化（请参阅 随机向量）;在 步 $ rame {B} $ 我们已经利用了一个事实 关节密度 能够 表示为条件密度和边际密度的乘积（请参见 讲座 有条件的 概率分布）。

的 符号[eq11]是 倍数的简写 积分[eq12]哪里 K 是参数向量的维数 $ heta $.

边际密度 x, 以上述方式得出的通常称为 事先预测 分配。粗略地说，这是我们的概率分布 分配给数据 x 在观察之前。

例 给定前两个示例中指定的先验和后验， 可以证明先验的预测分布是 [eq13]哪里 i 是一个 $尼姆1 $ 一个的向量，和 I 是个 $尼姆n $ 单位矩阵因此，先前的预测分布 x 是 多变量 正常 刻薄 $ imu _ {0} $ 和 协方差 矩阵 [eq14]从而， 在先前的预测分布下，平局 $ x_ {i} $ 有意思 $ 亩 _ {0} $, 方差 [eq15] 与其他平局的协方差等于 $ au ^ {2} $. 协方差是由以下事实引起的： 亩, 随机的，所有抽签都一样。

后部

观察数据后 x, 统计人员可以使用贝叶斯规则来更新有关该参数的先验 $ heta $:[eq16]

条件密度 [eq17] 称为参数的后验分布。

通过使用上面得出的边际密度公式，我们 获得[eq18]哪一个 明确表明后验取决于指定的两个分布 由统计学家，先验 [eq19] 和可能性 [eq20].

例 在前面例子的普通模型中，可以证明 后部 是[eq21]哪里[eq22]从而， 的后验分布 亩 均值是正常的 $ 亩 _ {n} $ 和方差 $ sigma _ {n} ^ {2} $. 注意后均值 $ 亩 _ {n} $ 是观测数据平均值的加权平均值 ([eq23]) 和先验均值 $ 亩 _ {0} $. 权重与两个均值的方差成反比： 先验方差 $ au ^ {2} $ 高，那么先验均值 $ 亩 _ {0} $ 体重减轻；同样，如果样本方差是 （等于 $ sigma ^ {2} / n $) 高，则样本均值获得的权重很小，而权重更大 分配给前一个。样本均值和先验均值均提供 相关信息 亩. 它们组合在一起，但对具有 精度更高（方差较小）。另请注意，当样本量 n 变得非常大（达到无穷大），然后将所有权重赋予 信息来自样本（样本均值），没有权重 先验。这是典型的贝叶斯推断。

比例性

给定任何后验 密度[eq24]我们 可以执行任何功能 [eq25] 的数据，这不取决于 $ heta $, 并用它来建造另一个 功能[eq26]我们 写[eq27]那 是的 [eq17] 与...成正比 [eq29], 为了强调 [eq30] 等于 [eq31] 倍常数 ([eq32]; 请记住，观察到的数据是常数。

可以从后方恢复 [eq33] 如 如下：[eq34]哪里： 在步 $ rame {A} $ 我们使用了这样一个事实 $qleft( x ight) $ 不依赖 $ heta $ 结果，它可以从积分中取出来；在步 $ rame {B} $ 我们已经利用了这样一个事实：密度的积分（在整个支撑上） 等于 1.

总之，将后验乘以任何常数（不依赖于 上 $ heta $, 但可能取决于 x）， 我们获得一个功能 [eq35] 与后部成比例。如果我们将新功能除以积分 之间 in 和 $ infty $, 然后我们获得先验。

后验可能性

注意在后 式[eq36]的 边缘 密度[eq37]确实 不依赖 $ heta $ （因为 $ heta $ 是“整合出”）。因此，通过使用前面介绍的符号 部分，我们可以 写[eq38]那 是，后 [eq17] 与先验成正比 [eq19] 乘以可能性 [eq41].

注意两者 [eq20] 和 [eq43] 是已知的（由统计学家指定），所以我们说 后验（我们要计算）与两个已知量成正比。 与两个已知量的比例非常重要： 允许利用它来计算后验的各种方法 当无法计算（2）从而无法直接计算（1）时。

后验预测分布

假设第二个数据样本由表示 $ y $, 观察样品后观察 x 并更新有关参数的先验 $ heta $, 也就是说，之后 计算[eq44]

假设还有 $ y $ 依赖于取决于 $ heta $, 但独立于 x 有条件的 $ heta $:[eq45]

然后分配 $ y $ 给定 x 是

[eq46]

的分布 $ y $ 给定 x, 以上述方式得出的通常称为 后验预测 分配.

例 在先前示例的普通模型中，先验更新为 n 抽签 [eq47]. 考虑新的抽奖 $ x_ {n + 1} $ 来自相同的正态分布。可以证明 的预测分布 $ x_ {n + 1} $ 是具有均值的正态分布 $ 亩 _ {n} $ （后验均值 亩) 和方差 [eq48] ，在哪里 $ sigma _ {n} ^ {2} $ 是后验方差 亩.

感兴趣的数量

更新先验后，我们可以对 参数 $ heta $ 通过使用其后验分布；一般而言，我们可以发表声明 关于数量取决于 $ heta $ 通过使用先前的介绍中的后验预测分布 部分。这些数量，我们想要声明的数量，通常 叫 感兴趣的数量.

贝叶斯方法为我们提供了后验概率分布 我们的兴趣量。我们可以自由总结该分布在任何 我们认为方便或适合我们目的的方式。例如，我们可以：

积分

据我们所知 x 和 $ heta $ 是连续的。当它们是离散的时，没有实质性的变化，但是 概率密度函数被替换为 概率质量函数 积分被求和代替。

例如，如果 $ heta $ 是离散的 x 是连续的：

因式分解

我们常常无法应用贝叶斯规则 [eq52]因为 我们不能得出边际分布 $pleft( x ight) $ 分析地。

但是，鉴于联合 分配[eq53]如果 我们能够表达它 如 [eq54]哪里 $hleft( x ight) $ 是仅依赖于 x, 和 [eq55] 是的概率密度（或质量）函数 $ heta $ （对于任何固定 x）， 然后[eq56]

请参阅有关 因式分解 概率密度函数 为了证明这一事实（以及详细 举例说明）。

MCMC

有几种贝叶斯模型可以计算后验 分析参数分布。但是，这通常不是 可能。当没有分析解决方案时，可以使用以下方法 通过数字得出后验分布的最常用方法是 所谓的马尔可夫链蒙特卡罗方法。他们是 蒙特卡洛方法 那 允许从后部生成大量相关抽签 只需使用 相称性[eq57]的 经验 分配 产生的样品中的一部分可用于生产 插件估算 的 感兴趣的数量。

观看有关的讲座 MCMC 方法 更多细节。

如何引用

请引用为：

Taboga, Marco (2017). "贝叶斯推理", 列克特ures 上 可能性 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-inference.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享