在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

多层贝叶斯模型

通过 博士

分层贝叶斯模型是其中先验分布的模型 一些模型 参数 依赖于取决于 其他参数,这些参数也被分配了优先级。

目录

定义

根据观察到的数据 x, 在一个等级 贝叶斯模型, 可能性取决于两个参数向量 $ heta $$ arphi $ [eq1]和 的 事前[eq2]是 通过分别指定条件分布来指定 [eq3] 和分布 [eq4].

在文献中,经常要求可能性不取决于 $ arphi,$, 那 是的[eq5]

在这种特殊情况下,参数 $ arphi $ 称为超参数,先验 [eq6] 称为超优先。

我们使用更广泛的层次模型定义,但不一定 包括假设(1),因为它允许对多个 有趣的模型。

例子

以下示例说明了两种流行的模型 定义。

示例1-随机均值

假设样本 [eq7]是 抽奖矢量 [eq8]n 正常 分布 有不同的未知数 $ 亩 _ {i} $ 和一个已知的共同方差 sigma ^ 2:[eq9]

表示为 亩 均值向量: [eq10]

有条件的 亩, 假设观察到的是 独立. 结果,整个样本的可能性取决于 亩, 可以写成 [eq11]

现在,假设手段 $ 亩 _ {i} $ 是一个样本 IID 从正常情况得出 均值未知的分布 $ m $ 和已知方差 $ au ^ {2} $, 所以 那[eq12]

最后,我们分配一个正常的先验(均值已知 $ m_ {0} $ 和方差 $ u ^ {2} $) 到超参数 $ m $:[eq13]

刚刚描述的模型是分层模型。使用的符号 定义,我们有 $ heta = 亩 $, $ arphi = m $ 和增加的假设 那[eq14]

示例2-正常均值和Gamma精度

假设样本 [eq7]是 IID向量绘制 [eq8] 来自均值未知的正态分布 亩 和未知方差 sigma ^ 2.

整个样本的可能性,取决于 亩sigma ^ 2, 是 [eq17]

现在,假设均值 亩 本身是正常的,已知均值 $ m $ 和方差 $sigma ^{2}/
u $, 哪里 $
u $ 是一个已知的 参数:[eq18]

最后,我们在参数之前分配反伽玛 sigma ^ 2 (即 伽玛 分配 精确 $ 1 / sigma ^ {2} $):[eq19]哪里 k$ h $ 是Gamma分布的两个参数。

这是一个非常流行的模型,称为法线-逆伽玛模型。

它符合上面对层次模型的定义 $ heta = 亩 $, [eq20].

计算方式

后验分布的计算通常按以下步骤进行: 第一 $ arphi $ 被认为是给定的,并且条件分布为 $ heta $ 派生;然后是后验 $ arphi $ 计算。

步骤如下。

  1. 有条件的 $ arphi $ (即,使其保持固定),请计算:

    1. 的先验预测分布 x:[eq21]

    2. 的后验分布 $ heta $: [eq22]

  2. 通过使用 [eq23] 从步骤1开始,计算:

    1. 的先验预测分布 x:[eq24]

    2. 的后缘分布 $ arphi $:[eq25]

  3. 计算后关节的分布 $ arphi $$ heta $: [eq26]

  4. 计算后验边缘分布 $ heta $:[eq27]

当我们无法进行推导所需的积分时 预测分布,或者当我们不能用 贝叶斯法则, 然后我们 可以使用其他计算方法(例如因式分解方法 在演讲中说明 贝叶斯 推理)。在这些情况下,以上过程的步骤仍然有效: 我们首先得出给定的后验分布和预测分布 $ arphi $, 通过使用我们可用的任何方法;然后,我们使用 有条件的 分布 因此得出来计算的后验 $ arphi $.

超过两个级别

在上面的定义中,只有两个级别:参数 $ heta $ 和一个超参数 $ arphi $.

该定义可以概括为两个以上的级别。例如,我们 可能有第三个参数 $ zeta $, 可能性 [eq28]和 的 事前[eq29]哪一个 通过分别指定条件分布来指定 [eq30], [eq31] 和分布 [eq32].

具有两个以上级别,计算策略类似于 在上一节中进行了说明。首先,我们取除一个以外的所有参数作为 给定,我们得出的先验预测分布 x, 以保持不变的参数为条件。然后,我们使用 这样获得的预测分布作为可能性,我们用它来获得 另一个先前的预测分布 x, 以比上一步少的参数为条件。和 以此类推。

如何引用

请引用为:

Taboga, Marco (2017). "多层贝叶斯模型", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Hierarchical-Bayesian-models.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。