贝叶斯推断是一种进行统计推断的方法,其中 统计学家将主观概率分配给可以 生成数据。这些主观概率形成所谓的先验 分配。观察数据后, 贝叶斯法则 习惯于 更新先验,即修改分配给 可能的数据生成分布。这些修正的概率构成了 所谓后验分布。
请记住, 统计 推论 问题如下:
我们观察到一些数据(样本);
我们将样本写为向量
;
我们不知道
(即生成我们样本的分布);
我们定义一个统计模型,即一个集合
可能产生数据的概率分布;
可选地,我们对模型进行参数化,也就是说,我们将
对应于一组称为参数的实向量;
我们使用样本和统计模型进行陈述(推论) 关于未知数据生成分布(或关于 对应)。
在贝叶斯推理中,我们将主观分布分配给
,
然后我们使用这些数据得出后验分布。
在参数贝叶斯推理中,主观分布被分配给
的 参数 被放入
与...的元素相对应
.
参数贝叶斯模型的第一个构建块是
可能性哪一个
等于 可能性
密度 的
当真实数据生成分布的参数等于
.
请注意,目前我们假设
和
是 连续.
稍后,我们将讨论如何放宽此假设。
例
假设样本
是
一个向量
独立且分布均匀
抽签
从一个 正常
分配。均值
的分布未知,而其方差
是众所周知的。这是模型的两个参数。概率密度
通用抽奖的功能
是
哪里
我们使用符号
强调以下事实
未知,密度
取决于此未知参数。因为观察
是
独立,
我们可以将可能性写为
贝叶斯模型的第二个组成部分是
事前哪一个
等于分配给参数的主观概率密度
数据生成分布。
例
让我们继续前面的示例。统计学家认为
参数
最有可能等于
并且那个值
离很远
不太可能。她表达了对参数的信念
通过为其分配具有均值的正态分布
和方差
.
所以先
是
指定先验和可能性后,我们可以得出
边缘
密度 的
:
哪里:
在步
我们执行了所谓的边缘化(请参阅
随机向量);在
步
我们已经利用了一个事实
关节密度 能够
表示为条件密度和边际密度的乘积(请参见
讲座
有条件的
概率分布)。
的
符号是
倍数的简写
积分
哪里
是参数向量的维数
.
边际密度
,
以上述方式得出的通常称为 事先预测
分配。粗略地说,这是我们的概率分布
分配给数据
在观察之前。
例
给定前两个示例中指定的先验和后验,
可以证明先验的预测分布是
哪里
是一个
一个的向量,和
是个
单位矩阵因此,先前的预测分布
是
多变量
正常 刻薄
和 协方差
矩阵
从而,
在先前的预测分布下,平局
有意思
,
方差
与其他平局的协方差等于
.
协方差是由以下事实引起的:
,
随机的,所有抽签都一样。
观察数据后
,
统计人员可以使用贝叶斯规则来更新有关该参数的先验
:
条件密度
称为参数的后验分布。
通过使用上面得出的边际密度公式,我们
获得哪一个
明确表明后验取决于指定的两个分布
由统计学家,先验
和可能性
.
例
在前面例子的普通模型中,可以证明
后部
是哪里
从而,
的后验分布
均值是正常的
和方差
.
注意后均值
是观测数据平均值的加权平均值
(
)
和先验均值
.
权重与两个均值的方差成反比:
先验方差
高,那么先验均值
体重减轻;同样,如果样本方差是
(等于
)
高,则样本均值获得的权重很小,而权重更大
分配给前一个。样本均值和先验均值均提供
相关信息
.
它们组合在一起,但对具有
精度更高(方差较小)。另请注意,当样本量
变得非常大(达到无穷大),然后将所有权重赋予
信息来自样本(样本均值),没有权重
先验。这是典型的贝叶斯推断。
给定任何后验
密度我们
可以执行任何功能
的数据,这不取决于
,
并用它来建造另一个
功能
我们
写
那
是的
与...成正比
,
为了强调
等于
倍常数
(
;
请记住,观察到的数据是常数。
可以从后方恢复
如
如下:
哪里:
在步
我们使用了这样一个事实
不依赖
结果,它可以从积分中取出来;在步
我们已经利用了这样一个事实:密度的积分(在整个支撑上)
等于
.
总之,将后验乘以任何常数(不依赖于
上
,
但可能取决于
),
我们获得一个功能
与后部成比例。如果我们将新功能除以积分
之间
和
,
然后我们获得先验。
注意在后
式的
边缘
密度
确实
不依赖
(因为
是“整合出”)。因此,通过使用前面介绍的符号
部分,我们可以
写
那
是,后
与先验成正比
乘以可能性
.
注意两者
和
是已知的(由统计学家指定),所以我们说
后验(我们要计算)与两个已知量成正比。
与两个已知量的比例非常重要:
允许利用它来计算后验的各种方法
当无法计算(2)从而无法直接计算(1)时。
假设第二个数据样本由表示
,
观察样品后观察
并更新有关参数的先验
,
也就是说,之后
计算
假设还有
依赖于取决于
,
但独立于
有条件的
:
然后分配
给定
是
的分布
给定
,
以上述方式得出的通常称为 后验预测
分配.
例
在先前示例的普通模型中,先验更新为
抽签
.
考虑新的抽奖
来自相同的正态分布。可以证明
的预测分布
是具有均值的正态分布
(后验均值
)
和方差
,在哪里
是后验方差
.
更新先验后,我们可以对
参数
通过使用其后验分布;一般而言,我们可以发表声明
关于数量取决于
通过使用先前的介绍中的后验预测分布
部分。这些数量,我们想要声明的数量,通常
叫 感兴趣的数量.
贝叶斯方法为我们提供了后验概率分布 我们的兴趣量。我们可以自由总结该分布在任何 我们认为方便或适合我们目的的方式。例如,我们可以:
绘制我们感兴趣的数量的概率密度(或质量);
报告分布的平均值(作为我们对的真实值的最佳猜测 利息数量)及其 标准偏差 (作为衡量 后验信念的分散性);
报告感兴趣的数量(例如参数)为 等于(或非常接近)以前确定的某个值 假设的(类似于在 假设 测试)。
据我们所知
和
是连续的。当它们是离散的时,没有实质性的变化,但是
概率密度函数被替换为
概率质量函数
积分被求和代替。
例如,如果
是离散的
是连续的:
边际密度
变成
哪里
是的概率质量函数
,
并且总和超过的所有可能值
的后验概率质量函数的公式
与连续
案件:
我们常常无法应用贝叶斯规则
因为
我们不能得出边际分布
分析地。
但是,鉴于联合
分配如果
我们能够表达它
如
哪里
是仅依赖于
,
和
是的概率密度(或质量)函数
(对于任何固定
),
然后
请参阅有关 因式分解 概率密度函数 为了证明这一事实(以及详细 举例说明)。
有几种贝叶斯模型可以计算后验
分析参数分布。但是,这通常不是
可能。当没有分析解决方案时,可以使用以下方法
通过数字得出后验分布的最常用方法是
所谓的马尔可夫链蒙特卡罗方法。他们是
蒙特卡洛方法 那
允许从后部生成大量相关抽签
只需使用
相称性的
经验
分配 产生的样品中的一部分可用于生产
插件估算 的
感兴趣的数量。
观看有关的讲座 MCMC 方法 更多细节。
请引用为:
Taboga, Marco (2017). "贝叶斯推理", 列克特ures 上 可能性 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-inference.