在Statlect上搜索概率和统计术语
统计 列克特
指数 > 的基本原理 统计

正态分布参数的贝叶斯估计

通过 博士

本讲座说明如何将贝叶斯推理的基本原理应用于 估计的问题 参数 (均值和方差)的正态分布。

目录

未知均值和已知方差

用于进行推断的观察样本是一个向量 [eq1] 谁的 条目是 n 独立且分布均匀 抽签 [eq2] 从一个 正常 分配.

本节,我们将假设均值  亩 的分布是未知的,而 方差  sigma ^ 2 是众所周知的。

在里面 下一节 ,也  sigma ^ 2 将被视为未知。

可能性

概率密度 功能 通用抽签  $ x_ {i} $ [eq3] 哪里 我们使用符号 [eq4] 强调密度取决于未知参数的事实  亩 .

以来 [eq5] 独立, 可能性是 [eq6]

先验

先验 是 [eq7] 那 是的  亩 具有均值的正态分布 $  亩  _ {0} $ 和方差 $ au _ {0} ^ {2} $.

这个先验用来表达统计学家的信念,即未知 参数  亩 最有可能等于 $  亩  _ {0} $ 并且那个值  亩 离很远 $  亩  _ {0} $ 不太可能(取决于差异的可能性如何) $ au _ {0} ^ {2} $ )。

后部

给定以上指定的先验和可能性,后验 是 [eq8] 哪里 [eq9]

证明

将联合分布写为

[eq10] 哪里 我们有 定义的 [eq11] 注意 那 [eq12] 哪里 在步 $ rame {A} $ 我们加减样本均值 [eq13] 和 在步 $ rame {B} $ 我们用这样的事实 [eq14] 我们 可以用这个结果写 [eq15] 哪里 在步 $ rame {A} $ 我们有 定义的 [eq16] 我们 可以将到目前为止获得的结果放在一起 得到 [eq17] 哪里 [eq18] 是 一个取决于 x 但不在  亩 , 和 [eq19] 是 概率密度函数,如果被认为是  亩 对于任何给定 x (注意  $ g $ 依赖于取决于 x 通过 $  亩  _ {n} $ )。 事实上, [eq20] 是具有均值的正态分布的密度 $  亩  _ {n} $ 和方差 $ au _ {n} ^ {2} $. 通过标准结果 因式分解 概率密度s (另请参见 介绍 贝叶斯推理),我们有 [eq21]因此, 后验分布 [eq22] 是具有均值的正态分布 $  亩  _ {n} $ 和方差 $ sigma _ {n} ^ {2} $. 我们还没有弄清楚什么 $pleft( x
ight) $ 是。这将在下一个证明中完成。

因此,后验分布  亩 是具有均值的正态分布 $  亩  _ {n} $ 和方差 $ au _ {n} ^ {2} $.

注意后均值 $  亩  _ {n} $ 是两个信号的加权平均值:

  1. 样本均值 [eq23] 观察数据;

  2. 先验均值 $  亩  _ {0} $.

越大 精确 的 信号,其重量越高。先验和样本均值均表示 有关的一些信息(信号)  亩 . 信号被组合(线性),但是赋予信号更多的权重 精度更高(方差较小)。

赋予样本均值的权重随 n, 而赋予先前均值的权重则不然。结果,当 样本量 n 样本量越大,权重就越来越大。在极限 所有权重都赋予来自样本的信息,没有权重是 给予先验。

先前的预测分布

先前的预测分布为 [eq24] 哪里 i 是一个 $尼姆1 $ 一个的向量,和 I 是个 $尼姆n $ 单位矩阵

证明

根据先前的证明,我们知道 那 [eq25] 哪里 我们有 定义的 [eq26] 通过 定义 [eq27], 我们可以写 [eq28] 哪里 在步 $ rame {A} $ 我们已经使用了事实 那 [eq29]

[eq30] 和 在步 $ rame {B} $ 我们使用了这样一个事实 [eq31] 所以 那 [eq32] 现在, 注意

[eq33] 哪里 在步 $ rame {A} $ 我们已经使用了 矩阵 行列式 引理 [eq34] 现在, 放在一起,我们 有 [eq35]

因此,先前的预测分布 x 多变量 正常 刻薄 $  亩  _ {0} i $ 协方差 矩阵 [eq36]

在这种分布下,平局  $ x_ {i} $ 事先有平均值 $  亩  _ {0} $, 方差 [eq37] 与其他平局的协方差等于 $ au ^ {2} $. 协方差是正的,因为平局  $ x_ {i} $ , 尽管有独立的条件  亩 , 都具有相同的均值参数  亩 , 这是随机的。

后验预测分布

假使,假设  $ m $ 新观察 [eq38] 独立于相同的正态分布绘制 [eq39] 已被提取。

的后验预测分布 向量 [eq40][eq41] 哪里 I 是个 $ mime m $ 单位矩阵和 i 是一个 $ mimes 1 $ 向量的。

所以, $ widetilde {x} $ 具有多元正态分布,均值 $  亩  _ {n} i $ (哪里 $  亩  _ {n} $ 是...的后均值  亩 ) 和协方差矩阵 [eq42] (哪里 $ au _ {n} ^ {2} $ 是后验方差  亩 )。

证明

推导几乎与 的先验预测分布的推导 x. 后部 [eq43] 是 用作新的先验。可能性 [eq44] 是 与...相同 [eq45] 因为 $ widetilde {x} $ 独立于 x 有条件的  亩 . 因此,我们可以执行 因式分解[eq46] 和 派生 [eq47] 通过遵循我们遵循的相同步骤 $pleft( x
ight) $. 主要区别在于我们需要替换先前的均值 $  亩  _ {0} $ 后均值 $  亩  _ {n} $ 和先验方差 $ au _ {0} ^ {2} $ 后验方差 $ au _ {n} ^ {2} $.

未知均值和未知方差

与上一节一样,该示例 [eq1] 是 假设是IID的向量,则从正态分布中得出。

但是,我们现在假设  亩 , 而且还有方差  sigma ^ 2 未知。

可能性

通用抽奖的概率密度函数  $ x_ {i} $ [eq49] 的 符号 [eq50] 强调了密度取决于两个未知参数的事实  亩  sigma ^ 2 .

以来 [eq51] 是独立的,可能性是 [eq52]

先验

先验是 等级制.

首先,我们在均值之前指定以下条件,并以方差为条件: [eq53] 那 是的  亩 具有标准的正态分布,均值 $  亩  _ {0} $ 和方差 [eq54].

请注意,参数的方差  亩 假定与未知方差成正比  sigma ^ 2 数据点。比例常数 $
u $ 确定先验的紧度,即我们认为的可能性  亩 非常接近先前的均值 $  亩  _ {0} $.

然后,我们在 方差:[eq55] 那 是的 [eq56] 具有参数的反伽玛分布 k$ 1 / sigma _ {0} ^ {2} $ (即 精确 $ 1 / sigma ^ {2} $ 有一个 伽玛 分配 带参数 k$ 1 / sigma _ {0} ^ {2} $ )。

根据Gamma分布的性质,精度的先验平均值 是 [eq57] 和 它的方差是 [eq58]

我们可以想到 $ 1 / sigma _ {0} ^ {2} $ 作为我们对数据生成分布精度的最佳猜测。 k 是用来表达我们对猜测的信心程度的参数 关于精度。更棒的 k, 我们的事前越紧 $ 1 / sigma ^ {2} $ 是的,而且我们认为更多的是 $ 1 / sigma ^ {2} $ 接近 $ 1 / sigma _ {0} ^ {2} $.

平均条件的后验分布 on 方差

有条件的  sigma ^ 2 , 的后验分布  亩 [eq59] 哪里 [eq60]

证明

这可以从以下情况得出:  sigma ^ 2 是已知的(见上文)。在那里面 案件 [eq9] 现在, [eq62]. 所以, [eq63][eq64]

因此,有条件的  sigma ^ 2 x,  亩 均值是正常的 $  亩  _ {n} $ 和方差 $ au _ {n} ^ {2} $.

条件为条件的先验预测分布 the 方差

有条件的  sigma ^ 2 , 的先验预测分布 x[eq65] 哪里 i 是一个 $尼姆1 $ 一个的向量,和 I 是个 $尼姆n $ 单位矩阵

证明

这可以从以下情况得出:  sigma ^ 2 是已知的(见上文)。在那里面 案件 [eq66] 哪里 [eq62]. 所以, [eq68]

方差的后验分布

方差的后验分布 是 [eq69] 哪里 [eq70]

证明

考虑联合分配 [eq71] 哪里 我们有 定义的 [eq70] 我们 可以写 [eq73] 哪里 [eq74] 是 一个取决于 x (通过 $ sigma _ {n} ^ {2} $) 但不在  sigma ^ 2 , 和 [eq75] 是 概率密度函数,如果被认为是 $ sigma ^ {2} $ 对于任何给定 x (注意  $ g $ 依赖于取决于 x 通过 $ sigma _ {n} ^ {2} $ )。 尤其是, [eq76] 是具有参数的反伽马分布的密度  $ n + k $ $ 1 / sigma _ {n} ^ {2} $. 因此,通过 知名 结果 关于联合概率密度函数的因式分解,我们 有那个 [eq77]因此, 后验分布 [eq78] 是反伽玛参数  $ n + k $ $ 1 / sigma _ {n} ^ {2} $ 。什么分布 $pleft( x
ight) $ 将在下一个证明中显示。

从而, $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布  $ n + k $ $ 1 / sigma _ {n} ^ {2} $ .

先前的预测分布

的先验预测分布 x[eq79] 那 是,一个 多变量 学生的t分布 刻薄 $  亩  _ {0} i $, 比例矩阵 [eq80]k 自由程度。

证明

先前的预测分布具有 在先前的证明中已经得出。我们只需要做一点 代数清楚地表明它是多元学生t分布 刻薄 $  亩  _ {0} i $, 比例矩阵 [eq81]k 自由程度: [eq82]

均值的后验分布

均值的后验分布 是 [eq83] 哪里 $Bleft( {}
ight) $ 是个 贝塔.

证明

我们已经证明,有条件的  sigma ^ 2 x,  亩 均值是正常的 $  亩  _ {n} $ 和方差 [eq84] 我们 也证明,有条件的 x, $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布  $ n + k $ $ 1 / sigma _ {n} ^ {2} $. 因此,我们可以 写 [eq85] 哪里 Z 是标准正常条件 x sigma ^ 2 , 和 $伽马_ {1} $ 具有带有参数的Gamma分布  $ n + k $ $ 1 / sigma _ {n} ^ {2} $. 现在,请注意,通过Gamma的属性 分配,[eq86] 具有 具有参数的Gamma分布  $ n + k $ 1. 我们可以 写 [eq87][eq88] 具有 一个标准的学生t分布  $ n + k $ 自由度(请参阅 关于t的演讲 分配)。作为结果,  亩 的学生t分布均值 $  亩  _ {n} $, 比例参数 [eq89] $ n + k $ 自由程度。因此,它的密度 是 [eq83] 哪里 $Bleft( {}
ight) $ 是Beta版。

换一种说法,  亩 有一个 t 分配 刻薄 $  亩  _ {n} $, 比例参数 [eq91] $ n + k $ 自由程度。

如何引用

请引用为:

Taboga, Marco (2017). "正态分布参数的贝叶斯估计", 列克特 ures on probability theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/normal-distribution-Bayesian-estimation.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。