在Statlect上搜索概率和统计术语
统计 列克特
指数 > 渐近理论

蒙特卡罗方法

通过 博士

蒙特卡洛方法是一种计算方法,其中包括使用 从给定的概率分布中计算机生成的样本以产生 插件估算 一些中的 给定分布的特征(例如 时刻 或一个 分位数 )。

在下面的内容中,我们经常会参考插件原理。如果你 不熟悉该概念,建议您先阅读该讲座 有资格 插入 原理 .

目录

蒙特卡罗近似

X 是一个随机变量 分配功能 [eq1] 并假设我们可以(通过计算机)生成样本 [eq2] 的 的实现 n 随机变量 X_1, ...,  X_n 都有分配功能  $ F_ {X} $ .

表示为 [eq3]a 分布特征  $ F_ {X} $ (例如,其均值,方差或其分位数之一)。

表示为 [eq4] 经验 分配 样本  $ xi _ {n} $ (即分配概率的概率分布 $1/n$ 每个值 [eq5] )。

然后,插件 估计 [eq6] 是 a 蒙特卡罗近似[eq7].

换句话说,功能 [eq7] 原始分布的近似值由相同特征近似 [eq9] 计算机生成的样本的经验分布图。

X 是具有分布函数的随机变量  $ F_ {X} $ 然后让 [eq10] 是一个功能。假设我们要近似 [eq11] 哪里 我们已经写出了  克(x) 作为Riemann-Stieltjes积分(请参阅标题为“ 期望值 )在 为了强调这一事实,它取决于分布函数  $ F_ {X} $ . 现在,假设我们有一个计算机生成的样本 n 抽签  $ x_ {1} $ , ...,  $ x_ {n} $ 从分布  $ F_ {X} $ . 表示他们的经验分布函数  $ F_ {n} $ . 然后,蒙特卡罗近似 [eq12][eq13] 哪里 我们已经使用了经验分布的事实  $ F_ {n} $ 是离散的,离散随机变量的期望值为 可以取的值的加权总和,其权重等于它们各自的权重 概率(在这种情况下,权重都等于 $1/n$ )。换句话说,我们可以近似期望值 [eq14] 与计算机生成的抽奖的样本均值 [eq15].

蒙特卡洛积分

当使用蒙特卡洛方法近似期望值时(如 前面的示例),则该方法被调用 蒙特卡洛 积分 。它包括近似的期望值 随机变量 X 用计算机随机生成的观察样本的平均值 从分布 X:[eq16] 哪里  $ x_ {1} $ ,...,  $ x_ {n} $ 是由计算机生成的 X. 如果平局是 IID , 然后 Kolmogorov的强数定律适用并且近似 几乎可以肯定地收敛到 [eq17] 作为平局数 n 变大。但是,抽奖也可能不是IID(例如, 例如,在所谓的马尔可夫链蒙特卡罗方法中), 近似收敛到 [eq18] 因为适用于相关序列的大数定律(请参见 演讲题目 大数定律 更多 细节)。

这种近似方法称为Monte Carlo积分,因为 近似的期望值实际上是 积分: [eq19] 哪里 [eq20] 是...的分布函数 X, 积分是黎曼-斯蒂耶斯积分。而且,如果 X 是连续变量,积分可以写成普通的黎曼 积分: [eq21] 哪里 [eq22] 是个 可能性 密度函数X.

重要的是要注意,蒙特卡洛积分的方法是 常用时的分布函数 X 在分析上未知,但是 X 可以写成一个函数 $ gleft(Z
权)$ 随机向量 Z 而且很容易生成计算机生成的 Z. 在这种情况下, n 抽签  $ z_ {1} $ ,...,  $ z_ {n} $ 是从 Z, 然后转化为 n 从...的分布中得出  $ X $ :[eq23] 和 的期望值 X 是近似的 通过 [eq24]

蒙特卡洛积分还用于计算没有积分的积分 特定的概率解释,但可以写为期望值。 假设要计算的积分 是 [eq25] 哪里 [eq26] 是任何可积函数。现在,随便 合法 概率密度函数 $ fleft(x
权)$ 这样 [eq27] 对于 $ aleq xleq b $[eq28] 对于 $x<a$ 要么 $x>b$. 那我们可以 写 [eq29] 哪里 X 是具有概率密度函数的随机变量 $ fleft(x
权)$. 如果我们能够产生计算机生成的抽奖样本  $ x_ {1} $ ,...,  $ x_ {n} $ 从分布 X, 那么积分可以近似为 如下: [eq30]

计算机生成的样本

到目前为止,我们尚未弄清计算机生成的含义 给定分布的抽奖样本。虽然我们不会详细介绍, 我们想强调一些事实。

首先,存在几种允许使用计算机执行以下操作的算法: 产生数字序列,称为 伪随机 数字, 并不是真正随机的,但是可以很好地近似 真正随机的序列。如果统计学家观察到数字序列 这些算法所产生的结果不知道它们是如何产生的,她会 得出结论,他们确实是随机的(即使经过严格的测试 统计检验以检查其随机性)。请参阅Wikipedia上的文章 伪随机 数字生成器 更多细节。

第二,最常用的产生伪随机序列的算法 数字产生序列 独立 均匀分布 在间隔 $ left [0,1
权] $. 然后,将这些均匀随机数序列以某种方式转换为 为了获得从其他分布绘制的序列。例如,如果  美元 是在上具有均匀分布的伪随机数 $ left [0,1
权] $ $ F_ {X} $ 是可逆分布函数,则 数 [eq31] 具有 分配功能  $ F_ {X} $ .

证明

我们 有 [eq32]

这种从非均匀分布生成伪随机数的方法 叫做 逆变换法。很多其他 存在方法(例如,参见Wikipedia的文章 不均匀 伪随机变量生成 )。

第三,所有常用的统计软件包均包括高效和 经过全面测试的伪随机数生成器,用于提取随机数 来自的样本 最重要的 概率分布。因此,如果您需要从 这些分布来计算蒙特卡洛近似,您需要做的所有事情 了解如何使用随附的伪随机数生成器 您最喜欢的统计软件。

近似误差

通过近似感兴趣的数量 [eq7] 与它的蒙特卡洛近似 [eq9], 我们提出一个近似值 错误 [eq35]

通常,此近似误差的属性(均值,方差, 渐近收敛)取决于插件估算器的属性 [eq36]. 但是,正如关于 插件原理 ,这些 属性可能很难研究 一般 条款。 但是,事情相对简单 特定 案件 蒙特卡洛积分,即何时  $ T $ 是整数(期望值)。在这个 案件, [eq37][eq38]

什么时候 X_1 ,...,  X_n 是独立的,并且具有相同的分布 X, 然后 [eq9] 几乎可以肯定地收敛到 [eq40] 由Kolmogorov的《强大数定律》(提供 [eq41] )。 但这意味着样本的近似误差收敛到零 尺寸 n 变大。此外,期望值和方差 近似误差很容易 计算: [eq42]

证明

期望值 是 [eq43] 和 方差 是 [eq44]

从这些公式可以清楚地看出近似误差的方差 可以通过增加样本数量来使尺寸尽可能小 n 计算机生成的样本的数量(以增加计算量为代价 近似强度,即所需的计算机时间和内存 计算近似值)。

还请注意,由于 [eq45] 通常是未知的,可以通过 样品 方差 [eq46] 和 估计近似误差的方差 通过 [eq47]

最后,让我们提到存在几种可以使用的技术 减少蒙特卡洛近似的方差。这些技术是 叫 方差 还原技术。这些技术中最流行的一种是 在演讲中介绍 重要抽样.

如何引用

请引用为:

Taboga, Marco (2017). "蒙特卡罗方法", 列克特 ures on 可能性 的 要么 y 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/Monte-Carlo-method.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。