在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

马尔可夫链蒙特卡罗(MCMC)方法

通过 博士

马尔可夫链蒙特卡洛(MCMC)方法是非常强大的蒙特卡洛方法 在贝叶斯推理中经常使用。

而“经典”蒙特卡洛方法依赖于计算机生成的样本 基于独立的观察,MCMC方法基于以下技术 允许生成依赖观察的序列(这些序列是 马尔可夫链,因此称为方法)。

在本教程中,我们将假定您熟悉:

目录

MCMC如何运作

任何蒙特卡洛方法的目的都是为了近似某些特征(例如, 给定概率分布的均值)。这可以通过使用 从给定分布中计算机生成的抽奖样本以计算 插件估算 的 要近似的特征。特别是,假设给我们一个 随机向量 X 联合分配 功能 [eq1], 我们想近似一个特征 [eq2] 的分布 $ F_ {X} $.

在马尔可夫链蒙特卡罗方法中,我们通过计算机算法生成 一个样品 [eq3] 实现n 随机变量 X_1, ..., X_n.

该算法的设计方式是序列 [eq4] 是收敛到平稳分布的马尔可夫链 [eq5].

与标准的蒙特卡洛方法一样,该示例用于生成插件 估计[eq6]的 功能 [eq7], 哪里 [eq8] 是个 经验 分配 样本 $ xi _ {n} $ (即分配概率的概率分布 $1/n$ 每个值 [eq9])。

与标准蒙特卡洛方法不同,变量 X_1, ..., X_n 通常不是独立的。我们需要考虑到这一事实 评估...的收敛 [eq10][eq11]. 例如,如果 [eq7] 是的期望值 X, 和 [eq13] 是样品 意思[eq14]我们 通常能够证明 遍历定理 (相关观察的大数定律)适用于样本 的平均值,以便收敛到的期望值 X.

例子

下面提供了两个流行的MCMC算法示例:

例1-大都会-哈斯廷斯

最受欢迎的MCMC算法之一是Metropolis-Hastings(M-H) 算法。

表示为 $fleft( x
ight) $ 目标分布的密度(或质量)函数,即 我们希望从中提取抽奖序列的分布(例如, $ f $ 可能是贝叶斯推断中的后验密度)。

表示为 [eq15] 有条件分布,我们能够从中提取样本 IID抽签 (x, $ x ^ {prime} $ 和目标分布的参数都具有相同的维度)。

M-H算法从任何值开始 $ x_ {1} $ 属于目标分布的支持并生成 后续值 $ x_ {i} $ 如下:

  1. 产生建议 $ y_ {i} $ 从提案分配中 [eq16];

  2. 计算验收 可能性[eq17]

  3. 画一个 制服 随机变量 $ u_ {i} $ (上 $left[ 0,1
ight] $);

  4. 如果 $ u_ {i} leq p_ {i} $, 接受建议并制定 $ x_ {i} = y_ {i} $; 否则,拒绝该提案并设置 $ x_ {i} = x_ {i-1} $.

可以证明,只要满足一些技术条件, 顺序 [eq18] 由此产生的是马尔可夫链的收敛到 平稳分布 $fleft( x
ight) $. 此外,对于任何 功能 $ g $, [eq19]哪里 $ g $是 期望值的任何功能 [eq20] 存在并且是有限的 [eq21] 表示 几乎可以肯定 收敛n 趋于无穷大。换句话说,一个强大的大数定律(遍历 定理)保持样本均值 [eq22].

该算法的强大之处在于您需要了解 功能 $ f $ 最多只能是一个乘法常数。例如,在 贝叶斯 推理 知道直到 乘法常数,因为似然和先验是已知的,但是 边际分布不是。 假设[eq23]和 我们知道 $hleft( x
ight) $ 但不是 $ c $ 。然后,M-H算法中的接受概率 是[eq24]

结果,接受概率是唯一的数量 依赖于取决于 $ f $, 可以在不知道常数的情况下进行计算 $ c $. 这就是Metropolis-Hastings算法的优点:我们可以生成平局 即使我们不完全知道分布的密度 分配!

有关更多详细信息,请参见有关 大都会-哈丁斯 算法.

示例2-Gibbs采样

另一种流行的MCMC算法是所谓的吉布斯采样算法。

假设您要生成随机向量的绘制 $ x_ {ullet} $ 有关节 密度[eq25]哪里 [eq26]$ B $ 条目的块(或单个条目) $ x_ {ullet} $.

给定一个块 $ x_ {ullet,b} $, 用...表示 $ x_ {ullet,-b} $ 包含所有块的向量 $ x_ {ullet,b} $.

假设您能够从 $ B $ 条件分布 [eq27], ..., [eq28]. 在MCMC术语中,这些称为完全条件分布。

Gibbs采样算法从任何矢量开始 [eq29] 属于目标分布的支持并生成 后续值 $ x_ {i} $ 如下:

  1. 对于 $ b = 1,ldots,B $, 生成 $ x_ {i,b} $ 从条件分布 密度[eq30]

换句话说,在每次迭代中,从 他们的全部条件分布,以所有的最新抽奖为条件 其他块。

注意在迭代 i, 当您提取 $ b $-th 块,最新绘制的块 1$b-1$ 是那些已经在迭代中提取的 i, 而最新的积木 $b+1$$ B $ 是上一次迭代中提取的那些 ($i-1$)。

可以证明,吉布斯采样是Metropolis-Hastings的特例。 因此,与M-H中一样 [eq31] 该算法生成的是收敛的马尔可夫链的实现 到固定分配 $fleft( x
ight) $. 此外,样本的遍历定理意味着 [eq32] 持有。

老化样品

常见的做法是丢弃MCMC样品的第一批样品。对于 例如,如果我们有110,000张,我们将丢弃前10,000张,并保留 剩余的100,000。

被舍弃的一组抽奖称为 老化 样品.

我们为什么要做这个?如果起始值 $ x_ {1} $ 从与目标非常不同的分布中提取 分配 $ F_ {X} $, 然后还有后续抽奖的分布 $ x_ {2} $, $ x_ {3} $, ...将与 $ F_ {X} $. 但是,由于链条的不同,差异会越来越小 收敛到目标分布。通过丢弃老化样品,我们 消除其分布与目标分布相距甚远的平局 我们保留其分布更接近目标的绘图。这减少了 MCMC样本执行的任何蒙特卡洛近似的偏差。

如何引用

请引用为:

Taboga, Marco (2017). "马尔可夫链蒙特卡罗(MCMC)方法", 列克特ures on 可能性 theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Markov-Chain-Monte-Carlo.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。