蒙特卡罗方法

通过 马可·塔波加（Marco Taboga） 博士

蒙特卡洛方法是一种计算方法，其中包括使用 从给定的概率分布中计算机生成的样本以产生 插件估算 一些中的 给定分布的特征（例如 时刻 或一个 分位数 ）。

在下面的内容中，我们经常会参考插件原理。如果你 不熟悉该概念，建议您先阅读该讲座 有资格 插入 原理 .

蒙特卡罗近似

让 是一个随机变量 分配功能 并假设我们可以（通过计算机）生成样本 的 的实现 随机变量 , ...， 都有分配功能 .

表示为 a 分布特征 （例如，其均值，方差或其分位数之一）。

表示为 的 经验 分配 样本 （即分配概率的概率分布 每个值 ）。

然后，插件 估计 是 a 蒙特卡罗近似 的 .

换句话说，功能 原始分布的近似值由相同特征近似 计算机生成的样本的经验分布图。

蒙特卡洛积分

当使用蒙特卡洛方法近似期望值时（如 前面的示例），则该方法被调用 蒙特卡洛 积分 。它包括近似的期望值 随机变量 用计算机随机生成的观察样本的平均值 从分布 : 哪里 ，...， 是由计算机生成的 . 如果平局是 IID ， 然后 Kolmogorov的强数定律适用并且近似 几乎可以肯定地收敛到 作为平局数 变大。但是，抽奖也可能不是IID（例如， 例如，在所谓的马尔可夫链蒙特卡罗方法中）， 近似收敛到 因为适用于相关序列的大数定律（请参见 演讲题目 大数定律 更多 细节）。

这种近似方法称为Monte Carlo积分，因为 近似的期望值实际上是 积分： 哪里 是...的分布函数 , 积分是黎曼－斯蒂耶斯积分。而且，如果 是连续变量，积分可以写成普通的黎曼 积分： 哪里 是个 可能性 密度函数 的 .

重要的是要注意，蒙特卡洛积分的方法是 常用时的分布函数 在分析上未知，但是 可以写成一个函数 随机向量 而且很容易生成计算机生成的 . 在这种情况下， 抽签 ，...， 是从 , 然后转化为 从...的分布中得出 : 和 的期望值 是近似的 通过

蒙特卡洛积分还用于计算没有积分的积分 特定的概率解释，但可以写为期望值。 假设要计算的积分 是 哪里 是任何可积函数。现在，随便 合法 概率密度函数 这样 对于 和 对于 要么 . 那我们可以 写 哪里 是具有概率密度函数的随机变量 . 如果我们能够产生计算机生成的抽奖样本 ，...， 从分布 , 那么积分可以近似为 如下：

计算机生成的样本

到目前为止，我们尚未弄清计算机生成的含义 给定分布的抽奖样本。虽然我们不会详细介绍， 我们想强调一些事实。

首先，存在几种允许使用计算机执行以下操作的算法： 产生数字序列，称为 伪随机 数字， 并不是真正随机的，但是可以很好地近似 真正随机的序列。如果统计学家观察到数字序列 这些算法所产生的结果不知道它们是如何产生的，她会 得出结论，他们确实是随机的（即使经过严格的测试 统计检验以检查其随机性）。请参阅Wikipedia上的文章 伪随机 数字生成器 更多细节。

第二，最常用的产生伪随机序列的算法 数字产生序列 独立 从 均匀分布 在间隔 . 然后，将这些均匀随机数序列以某种方式转换为 为了获得从其他分布绘制的序列。例如，如果 是在上具有均匀分布的伪随机数 和 是可逆分布函数，则 数 具有 分配功能 .

这种从非均匀分布生成伪随机数的方法 叫做 逆变换法。很多其他 存在方法（例如，参见Wikipedia的文章 不均匀 伪随机变量生成 ）。

第三，所有常用的统计软件包均包括高效和 经过全面测试的伪随机数生成器，用于提取随机数 来自的样本 最重要的 概率分布。因此，如果您需要从 这些分布来计算蒙特卡洛近似，您需要做的所有事情 了解如何使用随附的伪随机数生成器 您最喜欢的统计软件。

近似误差

通过近似感兴趣的数量 与它的蒙特卡洛近似 , 我们提出一个近似值 错误

通常，此近似误差的属性（均值，方差， 渐近收敛）取决于插件估算器的属性 . 但是，正如关于 插件原理 ，这些 属性可能很难研究 一般 条款。 但是，事情相对简单 特定 案件 蒙特卡洛积分，即何时 是整数（期望值）。在这个 案件， 和

什么时候 ，...， 是独立的，并且具有相同的分布 , 然后 几乎可以肯定地收敛到 由Kolmogorov的《强大数定律》（提供 ）。 但这意味着样本的近似误差收敛到零 尺寸 变大。此外，期望值和方差 近似误差很容易 计算：

从这些公式可以清楚地看出近似误差的方差 可以通过增加样本数量来使尺寸尽可能小 计算机生成的样本的数量（以增加计算量为代价 近似强度，即所需的计算机时间和内存 计算近似值）。

还请注意，由于 通常是未知的，可以通过 样品 方差 和 估计近似误差的方差 通过

最后，让我们提到存在几种可以使用的技术 减少蒙特卡洛近似的方差。这些技术是 叫 方差 还原技术。这些技术中最流行的一种是 在演讲中介绍 重要抽样.

如何引用

请引用为：

Taboga, Marco (2017). "蒙特卡罗方法", 列克特 ures on 可能性 的 要么 y 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/Monte-Carlo-method.