本讲座说明如何将贝叶斯推理的基本原理应用于 估计的问题 参数 (均值和方差)的正态分布。
用于进行推断的观察样本是一个向量
谁的
条目是
独立且分布均匀
抽签
从一个 正常
分配.
在 本节,我们将假设均值
的分布是未知的,而
方差
是众所周知的。
在里面 下一节 ,也
将被视为未知。
的 概率密度
功能 通用抽签
是
哪里
我们使用符号
强调密度取决于未知参数的事实
.
以来
是
独立,
可能性是
先验
是 那
是的
具有均值的正态分布
和方差
.
这个先验用来表达统计学家的信念,即未知
参数
最有可能等于
并且那个值
离很远
不太可能(取决于差异的可能性如何)
)。
给定以上指定的先验和可能性,后验
是 哪里
将联合分布写为
哪里
我们有
定义的
注意
那
哪里
在步
我们加减样本均值
和
在步
我们用这样的事实
我们
可以用这个结果写
哪里
在步
我们有
定义的
我们
可以将到目前为止获得的结果放在一起
得到
哪里
是
一个取决于
但不在
,
和
是
概率密度函数,如果被认为是
对于任何给定
(注意
依赖于取决于
通过
)。
事实上,
是具有均值的正态分布的密度
和方差
.
通过标准结果
因式分解
概率密度s (另请参见
介绍
贝叶斯推理),我们有
因此,
后验分布
是具有均值的正态分布
和方差
.
我们还没有弄清楚什么
是。这将在下一个证明中完成。
因此,后验分布
是具有均值的正态分布
和方差
.
注意后均值
是两个信号的加权平均值:
样本均值
观察数据;
先验均值
.
越大 精确 的
信号,其重量越高。先验和样本均值均表示
有关的一些信息(信号)
.
信号被组合(线性),但是赋予信号更多的权重
精度更高(方差较小)。
赋予样本均值的权重随
,
而赋予先前均值的权重则不然。结果,当
样本量
样本量越大,权重就越来越大。在极限
所有权重都赋予来自样本的信息,没有权重是
给予先验。
先前的预测分布为
哪里
是一个
一个的向量,和
是个
单位矩阵
根据先前的证明,我们知道
那 哪里
我们有
定义的
通过
定义
,
我们可以写
哪里
在步
我们已经使用了事实
那
和
和
在步
我们使用了这样一个事实
所以
那
现在,
注意
哪里
在步
我们已经使用了
矩阵
行列式
引理
现在,
放在一起,我们
有
因此,先前的预测分布
是
多变量
正常 刻薄
和 协方差
矩阵
在这种分布下,平局
事先有平均值
,
方差
与其他平局的协方差等于
.
协方差是正的,因为平局
,
尽管有独立的条件
,
都具有相同的均值参数
,
这是随机的。
假使,假设
新观察
独立于相同的正态分布绘制
已被提取。
的后验预测分布
向量 是
哪里
是个
单位矩阵和
是一个
向量的。
所以,
具有多元正态分布,均值
(哪里
是...的后均值
)
和协方差矩阵
(哪里
是后验方差
)。
推导几乎与
的先验预测分布的推导
.
后部
是
用作新的先验。可能性
是
与...相同
因为
独立于
有条件的
.
因此,我们可以执行
因式分解
和
派生
通过遵循我们遵循的相同步骤
.
主要区别在于我们需要替换先前的均值
后均值
和先验方差
后验方差
.
与上一节一样,该示例
是
假设是IID的向量,则从正态分布中得出。
但是,我们现在假设
,
而且还有方差
未知。
通用抽奖的概率密度函数
是
的
符号
强调了密度取决于两个未知参数的事实
和
.
以来
是独立的,可能性是
先验是 等级制.
首先,我们在均值之前指定以下条件,并以方差为条件:
那
是的
具有标准的正态分布,均值
和方差
.
请注意,参数的方差
假定与未知方差成正比
数据点。比例常数
确定先验的紧度,即我们认为的可能性
非常接近先前的均值
.
然后,我们在
方差: 那
是的
具有参数的反伽玛分布
和
(即 精确
有一个 伽玛
分配 带参数
和
)。
根据Gamma分布的性质,精度的先验平均值
是 和
它的方差是
我们可以想到
作为我们对数据生成分布精度的最佳猜测。
是用来表达我们对猜测的信心程度的参数
关于精度。更棒的
,
我们的事前越紧
是的,而且我们认为更多的是
接近
.
有条件的
,
的后验分布
是
哪里
这可以从以下情况得出:
是已知的(见上文)。在那里面
案件
现在,
.
所以,
和
因此,有条件的
和
,
均值是正常的
和方差
.
有条件的
,
的先验预测分布
是
哪里
是一个
一个的向量,和
是个
单位矩阵
这可以从以下情况得出:
是已知的(见上文)。在那里面
案件
哪里
.
所以,
方差的后验分布
是 哪里
考虑联合分配
哪里
我们有
定义的
我们
可以写
哪里
是
一个取决于
(通过
)
但不在
,
和
是
概率密度函数,如果被认为是
对于任何给定
(注意
依赖于取决于
通过
)。
尤其是,
是具有参数的反伽马分布的密度
和
.
因此,通过
知名
结果 关于联合概率密度函数的因式分解,我们
有那个
因此,
后验分布
是反伽玛参数
和
。什么分布
将在下一个证明中显示。
从而,
具有带有参数的Gamma分布
和
.
的先验预测分布
是
那
是,一个
多变量
学生的t分布 刻薄
,
比例矩阵
和
自由程度。
先前的预测分布具有
在先前的证明中已经得出。我们只需要做一点
代数清楚地表明它是多元学生t分布
刻薄
,
比例矩阵
和
自由程度:
均值的后验分布
是 哪里
是个 贝塔.
我们已经证明,有条件的
和
,
均值是正常的
和方差
我们
也证明,有条件的
,
具有带有参数的Gamma分布
和
.
因此,我们可以
写
哪里
是标准正常条件
和
,
和
具有带有参数的Gamma分布
和
.
现在,请注意,通过Gamma的属性
分配,
具有
具有参数的Gamma分布
和
.
我们可以
写
但
具有
一个标准的学生t分布
自由度(请参阅
关于t的演讲
分配)。作为结果,
的学生t分布均值
,
比例参数
和
自由程度。因此,它的密度
是
哪里
是Beta版。
换一种说法,
有一个 t
分配 刻薄
,
比例参数
和
自由程度。
请引用为:
Taboga, Marco (2017). "正态分布参数的贝叶斯估计", 列克特 ures on probability theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/normal-distribution-Bayesian-estimation.