在Statlect上搜索概率和统计术语
统计 列克特
指数 > 的基本原理 统计

正态分布参数的贝叶斯估计

通过 博士

本讲座说明如何将贝叶斯推理的基本原理应用于 估计的问题 参数 （均值和方差）的正态分布。

目录

目录

  1. 未知均值和已知方差

    1. 可能性

    2. 先验

    3. 后部

    4. 先前的预测分布

    5. 后验预测分布

  2. 未知均值和未知方差

    1. 可能性

    2. 先验

    3. 以方差为条件的均值的后验分布

    4. 以方差为条件的先验预测分布

    5. 方差的后验分布

    6. 先前的预测分布

    7. 均值的后验分布

未知均值和已知方差

用于进行推断的观察样本是一个向量 [eq1] 谁的 条目是 n 独立且分布均匀 抽签 [eq2] 从一个 正常 分配.

在 本节，我们将假设均值 亩 的分布是未知的，而 方差 sigma ^ 2 是众所周知的。

在里面 下一节 ，也 sigma ^ 2 将被视为未知。

可能性

的 概率密度 功能 通用抽签 $ x_ {i} $ 是 [eq3] 哪里 我们使用符号 [eq4] 强调密度取决于未知参数的事实 亩 .

以来 [eq5] 是 独立, 可能性是 [eq6]

先验

先验 是 [eq7] 那 是的 亩 具有均值的正态分布 $ 亩 _ {0} $ 和方差 $ au _ {0} ^ {2} $.

这个先验用来表达统计学家的信念，即未知 参数 亩 最有可能等于 $ 亩 _ {0} $ 并且那个值 亩 离很远 $ 亩 _ {0} $ 不太可能（取决于差异的可能性如何） $ au _ {0} ^ {2} $ ）。

后部

给定以上指定的先验和可能性，后验 是 [eq8] 哪里 [eq9]

证明

将联合分布写为

[eq10] 哪里 我们有 定义的 [eq11] 注意 那 [eq12] 哪里 在步 $ rame {A} $ 我们加减样本均值 [eq13] 和 在步 $ rame {B} $ 我们用这样的事实 [eq14] 我们 可以用这个结果写 [eq15] 哪里 在步 $ rame {A} $ 我们有 定义的 [eq16] 我们 可以将到目前为止获得的结果放在一起 得到 [eq17] 哪里 [eq18] 是 一个取决于 x 但不在 亩 , 和 [eq19] 是 概率密度函数，如果被认为是 亩 对于任何给定 x （注意 $ g $ 依赖于取决于 x 通过 $ 亩 _ {n} $ ）。 事实上， [eq20] 是具有均值的正态分布的密度 $ 亩 _ {n} $ 和方差 $ au _ {n} ^ {2} $. 通过标准结果 因式分解 概率密度s （另请参见 介绍 贝叶斯推理），我们有 [eq21]因此， 后验分布 [eq22] 是具有均值的正态分布 $ 亩 _ {n} $ 和方差 $ sigma _ {n} ^ {2} $. 我们还没有弄清楚什么 $pleft( x ight) $ 是。这将在下一个证明中完成。

因此，后验分布 亩 是具有均值的正态分布 $ 亩 _ {n} $ 和方差 $ au _ {n} ^ {2} $.

注意后均值 $ 亩 _ {n} $ 是两个信号的加权平均值：

  1. 样本均值 [eq23] 观察数据；

  2. 先验均值 $ 亩 _ {0} $.

越大 精确 的 信号，其重量越高。先验和样本均值均表示 有关的一些信息（信号） 亩 . 信号被组合（线性），但是赋予信号更多的权重 精度更高（方差较小）。

赋予样本均值的权重随 n, 而赋予先前均值的权重则不然。结果，当 样本量 n 样本量越大，权重就越来越大。在极限 所有权重都赋予来自样本的信息，没有权重是 给予先验。

先前的预测分布

先前的预测分布为 [eq24] 哪里 i 是一个 $尼姆1 $ 一个的向量，和 I 是个 $尼姆n $ 单位矩阵

证明

根据先前的证明，我们知道 那 [eq25] 哪里 我们有 定义的 [eq26] 通过 定义 [eq27], 我们可以写 [eq28] 哪里 在步 $ rame {A} $ 我们已经使用了事实 那 [eq29] 和

[eq30] 和 在步 $ rame {B} $ 我们使用了这样一个事实 [eq31] 所以 那 [eq32] 现在， 注意

[eq33] 哪里 在步 $ rame {A} $ 我们已经使用了 矩阵 行列式 引理 [eq34] 现在， 放在一起，我们 有 [eq35]

因此，先前的预测分布 x 是 多变量 正常 刻薄 $ 亩 _ {0} i $ 和 协方差 矩阵 [eq36]

在这种分布下，平局 $ x_ {i} $ 事先有平均值 $ 亩 _ {0} $, 方差 [eq37] 与其他平局的协方差等于 $ au ^ {2} $. 协方差是正的，因为平局 $ x_ {i} $ , 尽管有独立的条件 亩 , 都具有相同的均值参数 亩 , 这是随机的。

后验预测分布

假使，假设 $ m $ 新观察 [eq38] 独立于相同的正态分布绘制 [eq39] 已被提取。

的后验预测分布 向量 [eq40] 是 [eq41] 哪里 I 是个 $ mime m $ 单位矩阵和 i 是一个 $ mimes 1 $ 向量的。

所以， $ widetilde {x} $ 具有多元正态分布，均值 $ 亩 _ {n} i $ （哪里 $ 亩 _ {n} $ 是...的后均值 亩 ) 和协方差矩阵 [eq42] （哪里 $ au _ {n} ^ {2} $ 是后验方差 亩 ）。

证明

推导几乎与 的先验预测分布的推导 x. 后部 [eq43] 是 用作新的先验。可能性 [eq44] 是 与...相同 [eq45] 因为 $ widetilde {x} $ 独立于 x 有条件的 亩 . 因此，我们可以执行 因式分解[eq46] 和 派生 [eq47] 通过遵循我们遵循的相同步骤 $pleft( x ight) $. 主要区别在于我们需要替换先前的均值 $ 亩 _ {0} $ 后均值 $ 亩 _ {n} $ 和先验方差 $ au _ {0} ^ {2} $ 后验方差 $ au _ {n} ^ {2} $.

未知均值和未知方差

与上一节一样，该示例 [eq1] 是 假设是IID的向量，则从正态分布中得出。

但是，我们现在假设 亩 , 而且还有方差 sigma ^ 2 未知。

可能性

通用抽奖的概率密度函数 $ x_ {i} $ 是 [eq49] 的 符号 [eq50] 强调了密度取决于两个未知参数的事实 亩 和 sigma ^ 2 .

以来 [eq51] 是独立的，可能性是 [eq52]

先验

先验是 等级制.

首先，我们在均值之前指定以下条件，并以方差为条件： [eq53] 那 是的 亩 具有标准的正态分布，均值 $ 亩 _ {0} $ 和方差 [eq54].

请注意，参数的方差 亩 假定与未知方差成正比 sigma ^ 2 数据点。比例常数 $ u $ 确定先验的紧度，即我们认为的可能性 亩 非常接近先前的均值 $ 亩 _ {0} $.

然后，我们在 方差：[eq55] 那 是的 [eq56] 具有参数的反伽玛分布 k 和 $ 1 / sigma _ {0} ^ {2} $ （即 精确 $ 1 / sigma ^ {2} $ 有一个 伽玛 分配 带参数 k 和 $ 1 / sigma _ {0} ^ {2} $ ）。

根据Gamma分布的性质，精度的先验平均值 是 [eq57] 和 它的方差是 [eq58]

我们可以想到 $ 1 / sigma _ {0} ^ {2} $ 作为我们对数据生成分布精度的最佳猜测。 k 是用来表达我们对猜测的信心程度的参数 关于精度。更棒的 k, 我们的事前越紧 $ 1 / sigma ^ {2} $ 是的，而且我们认为更多的是 $ 1 / sigma ^ {2} $ 接近 $ 1 / sigma _ {0} ^ {2} $.

平均条件的后验分布 on 方差

有条件的 sigma ^ 2 , 的后验分布 亩 是 [eq59] 哪里 [eq60]

证明

这可以从以下情况得出： sigma ^ 2 是已知的（见上文）。在那里面 案件 [eq9] 现在， [eq62]. 所以， [eq63] 和 [eq64]

因此，有条件的 sigma ^ 2 和 x, 亩 均值是正常的 $ 亩 _ {n} $ 和方差 $ au _ {n} ^ {2} $.

条件为条件的先验预测分布 the 方差

有条件的 sigma ^ 2 , 的先验预测分布 x 是 [eq65] 哪里 i 是一个 $尼姆1 $ 一个的向量，和 I 是个 $尼姆n $ 单位矩阵

证明

这可以从以下情况得出： sigma ^ 2 是已知的（见上文）。在那里面 案件 [eq66] 哪里 [eq62]. 所以， [eq68]

方差的后验分布

方差的后验分布 是 [eq69] 哪里 [eq70]

证明

考虑联合分配 [eq71] 哪里 我们有 定义的 [eq70] 我们 可以写 [eq73] 哪里 [eq74] 是 一个取决于 x （通过 $ sigma _ {n} ^ {2} $) 但不在 sigma ^ 2 , 和 [eq75] 是 概率密度函数，如果被认为是 $ sigma ^ {2} $ 对于任何给定 x （注意 $ g $ 依赖于取决于 x 通过 $ sigma _ {n} ^ {2} $ ）。 尤其是， [eq76] 是具有参数的反伽马分布的密度 $ n + k $ 和 $ 1 / sigma _ {n} ^ {2} $. 因此，通过 知名 结果 关于联合概率密度函数的因式分解，我们 有那个 [eq77]因此， 后验分布 [eq78] 是反伽玛参数 $ n + k $ 和 $ 1 / sigma _ {n} ^ {2} $ 。什么分布 $pleft( x ight) $ 将在下一个证明中显示。

从而， $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布 $ n + k $ 和 $ 1 / sigma _ {n} ^ {2} $ .

先前的预测分布

的先验预测分布 x 是 [eq79] 那 是，一个 多变量 学生的t分布 刻薄 $ 亩 _ {0} i $, 比例矩阵 [eq80] 和 k 自由程度。

证明

先前的预测分布具有 在先前的证明中已经得出。我们只需要做一点 代数清楚地表明它是多元学生t分布 刻薄 $ 亩 _ {0} i $, 比例矩阵 [eq81] 和 k 自由程度： [eq82]

均值的后验分布

均值的后验分布 是 [eq83] 哪里 $Bleft( {} ight) $ 是个 贝塔.

证明

我们已经证明，有条件的 sigma ^ 2 和 x, 亩 均值是正常的 $ 亩 _ {n} $ 和方差 [eq84] 我们 也证明，有条件的 x, $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布 $ n + k $ 和 $ 1 / sigma _ {n} ^ {2} $. 因此，我们可以 写 [eq85] 哪里 Z 是标准正常条件 x 和 sigma ^ 2 , 和 $伽马_ {1} $ 具有带有参数的Gamma分布 $ n + k $ 和 $ 1 / sigma _ {n} ^ {2} $. 现在，请注意，通过Gamma的属性 分配，[eq86] 具有 具有参数的Gamma分布 $ n + k $ 和 1. 我们可以 写 [eq87] 但 [eq88] 具有 一个标准的学生t分布 $ n + k $ 自由度（请参阅 关于t的演讲 分配）。作为结果， 亩 的学生t分布均值 $ 亩 _ {n} $, 比例参数 [eq89] 和 $ n + k $ 自由程度。因此，它的密度 是 [eq83] 哪里 $Bleft( {} ight) $ 是Beta版。

换一种说法， 亩 有一个 t 分配 刻薄 $ 亩 _ {n} $, 比例参数 [eq91] 和 $ n + k $ 自由程度。

如何引用

请引用为：

Taboga, Marco (2017). "正态分布参数的贝叶斯估计", 列克特 ures on probability theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/normal-distribution-Bayesian-estimation.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享