蒙特卡洛方法是一种计算方法,其中包括使用 从给定的概率分布中计算机生成的样本以产生 插件估算 一些中的 给定分布的特征(例如 时刻 或一个 分位数 )。
在下面的内容中,我们经常会参考插件原理。如果你 不熟悉该概念,建议您先阅读该讲座 有资格 插入 原理 .
让
是一个随机变量
分配功能
并假设我们可以(通过计算机)生成样本
的
的实现
随机变量
,
...,
都有分配功能
.
表示为
a
分布特征
(例如,其均值,方差或其分位数之一)。
表示为
的 经验
分配 样本
(即分配概率的概率分布
每个值
)。
然后,插件
估计 是
a 蒙特卡罗近似 的
.
换句话说,功能
原始分布的近似值由相同特征近似
计算机生成的样本的经验分布图。
例
让
是具有分布函数的随机变量
然后让
是一个功能。假设我们要近似
哪里
我们已经写出了
作为Riemann-Stieltjes积分(请参阅标题为“
期望值 )在
为了强调这一事实,它取决于分布函数
.
现在,假设我们有一个计算机生成的样本
抽签
,
...,
从分布
.
表示他们的经验分布函数
.
然后,蒙特卡罗近似
是
哪里
我们已经使用了经验分布的事实
是离散的,离散随机变量的期望值为
可以取的值的加权总和,其权重等于它们各自的权重
概率(在这种情况下,权重都等于
)。换句话说,我们可以近似期望值
与计算机生成的抽奖的样本均值
.
当使用蒙特卡洛方法近似期望值时(如
前面的示例),则该方法被调用 蒙特卡洛
积分 。它包括近似的期望值
随机变量
用计算机随机生成的观察样本的平均值
从分布
:
哪里
,...,
是由计算机生成的
.
如果平局是 IID , 然后
Kolmogorov的强数定律适用并且近似
几乎可以肯定地收敛到
作为平局数
变大。但是,抽奖也可能不是IID(例如,
例如,在所谓的马尔可夫链蒙特卡罗方法中),
近似收敛到
因为适用于相关序列的大数定律(请参见
演讲题目 大数定律 更多
细节)。
这种近似方法称为Monte Carlo积分,因为
近似的期望值实际上是
积分: 哪里
是...的分布函数
,
积分是黎曼-斯蒂耶斯积分。而且,如果
是连续变量,积分可以写成普通的黎曼
积分:
哪里
是个 可能性
密度函数 的
.
重要的是要注意,蒙特卡洛积分的方法是
常用时的分布函数
在分析上未知,但是
可以写成一个函数
随机向量
而且很容易生成计算机生成的
.
在这种情况下,
抽签
,...,
是从
,
然后转化为
从...的分布中得出
:
和
的期望值
是近似的
通过
蒙特卡洛积分还用于计算没有积分的积分
特定的概率解释,但可以写为期望值。
假设要计算的积分
是 哪里
是任何可积函数。现在,随便
合法
概率密度函数
这样
对于
和
对于
要么
.
那我们可以
写
哪里
是具有概率密度函数的随机变量
.
如果我们能够产生计算机生成的抽奖样本
,...,
从分布
,
那么积分可以近似为
如下:
到目前为止,我们尚未弄清计算机生成的含义 给定分布的抽奖样本。虽然我们不会详细介绍, 我们想强调一些事实。
首先,存在几种允许使用计算机执行以下操作的算法: 产生数字序列,称为 伪随机 数字, 并不是真正随机的,但是可以很好地近似 真正随机的序列。如果统计学家观察到数字序列 这些算法所产生的结果不知道它们是如何产生的,她会 得出结论,他们确实是随机的(即使经过严格的测试 统计检验以检查其随机性)。请参阅Wikipedia上的文章 伪随机 数字生成器 更多细节。
第二,最常用的产生伪随机序列的算法
数字产生序列
独立
从 均匀分布 在间隔
.
然后,将这些均匀随机数序列以某种方式转换为
为了获得从其他分布绘制的序列。例如,如果
是在上具有均匀分布的伪随机数
和
是可逆分布函数,则
数
具有
分配功能
.
我们
有
这种从非均匀分布生成伪随机数的方法 叫做 逆变换法。很多其他 存在方法(例如,参见Wikipedia的文章 不均匀 伪随机变量生成 )。
第三,所有常用的统计软件包均包括高效和 经过全面测试的伪随机数生成器,用于提取随机数 来自的样本 最重要的 概率分布。因此,如果您需要从 这些分布来计算蒙特卡洛近似,您需要做的所有事情 了解如何使用随附的伪随机数生成器 您最喜欢的统计软件。
通过近似感兴趣的数量
与它的蒙特卡洛近似
,
我们提出一个近似值
错误
通常,此近似误差的属性(均值,方差,
渐近收敛)取决于插件估算器的属性
.
但是,正如关于
插件原理 ,这些
属性可能很难研究 一般 条款。
但是,事情相对简单 特定 案件
蒙特卡洛积分,即何时
是整数(期望值)。在这个
案件,
和
什么时候
,...,
是独立的,并且具有相同的分布
,
然后
几乎可以肯定地收敛到
由Kolmogorov的《强大数定律》(提供
)。
但这意味着样本的近似误差收敛到零
尺寸
变大。此外,期望值和方差
近似误差很容易
计算:
期望值
是 和
方差
是
从这些公式可以清楚地看出近似误差的方差
可以通过增加样本数量来使尺寸尽可能小
计算机生成的样本的数量(以增加计算量为代价
近似强度,即所需的计算机时间和内存
计算近似值)。
还请注意,由于
通常是未知的,可以通过
样品
方差
和
估计近似误差的方差
通过
最后,让我们提到存在几种可以使用的技术 减少蒙特卡洛近似的方差。这些技术是 叫 方差 还原技术。这些技术中最流行的一种是 在演讲中介绍 重要抽样.
请引用为:
Taboga, Marco (2017). "蒙特卡罗方法", 列克特 ures on 可能性 的 要么 y 和 mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/asymptotic-theory/Monte-Carlo-method.