该模型是
正常
线性回归模型:
哪里:
是个
因变量的观测向量;
是个
假设具有最高等级的回归矩阵;
是个
回归系数向量;
是个
误差向量,假定具有
多元正态分布 有条件的
,
刻薄
和协方差矩阵
哪里
是一个正常数,
是个
单位矩阵
假设协方差矩阵为
等于
暗示
的条目
相互独立(即,
独立于
对于
)
的所有条目
具有相同的方差(即,
对于任何
)。
在 本节,我们将假设
回归系数
未知,而
方差 错误的
条款
是众所周知的。
在里面 下一节,也
将被视为未知。
有条件的
,
是多元正态的(是
线性的
法线向量的变换
)。
它的可能性是
之前的
假设是多元的
正常:
那
是的
具有多元正态分布,均值
和协方差矩阵
,
哪里
是一个
对称正定矩阵。
此先验用于表达以下信念:
最有可能等于
.
信念的离散度由协方差矩阵给出
.
给定上面显示的先验和可能性,后验
是哪里
那
是,后验分布
是具有均值的多元正态分布
和协方差矩阵
.
联合分布是
我们
可以写
如
哪里
和
哪里
是个
单位矩阵现在定义一个新矩阵
(称为旋转矩阵)为
如下:
我们
有那个
此外,
和
此外,
的决定因素
是
哪里
我们已经使用了
式
用于块的行列式
矩阵
我们
现在可以使用有关的结果
改写关节
密度:
我们
上面已经表明
是块对角线。因此,通过将上面得出的表达式用于
的块
和
,
我们
获得
从而,
我们已经计算了关节密度
如
哪里
是
功能取决于
但不在
,
和
是
概率密度函数,如果被认为是
对于任何给定
(注意
依赖于取决于
通过
)。
进一步来说,
是具有均值的多元正态分布的密度
和协方差矩阵
.
通过标准结果
因式分解
概率密度函数 (另请参见
介绍
贝叶斯推理),我们有
因此,
后验分布
是具有均值的多元正态分布
和协方差矩阵
.
请注意,后均值可以写为
哪里
是
的 普通
最小二乘估计 回归系数。就这样
的后均值
是的加权平均值
从观察到的数据得出的OLS估计值;
先验均值
.
请记住,法线线性中OLS估计量的协方差矩阵
回归模型
是而
先验的协方差矩阵
是
因此,我们可以
写
从数据得出的先验均值和OLS估计量都传达了一些信息
相关信息
.
两种信息来源被线性组合以产生
后均值
,
但是权重越高的信号
精确 (较小的协方差
矩阵)。
另请注意
样本大小趋于无穷大
去无穷大。结果,赋予
随着增加
.
换句话说,样本量越大,权重就越大
到OLS估计,也就是从观测到的信息
样品。在限制中,所有权重都赋予后者,而没有权重
到以前。粗略地说,贝叶斯回归和常客(OLS)
当样本量较大时,回归提供的结果几乎相同。
先前的预测分布为
哪里
是个
单位矩阵
因此,观测向量的先验预测分布
因变量
是多元正态的均值
和 协方差
矩阵
请参阅先前的证明。
假设观察样品后
并更新先前的新样本
大小
由相同的回归生成。进一步假设我们仅观察到
回归器
我们要预测
.
这是通过后验预测完成的
分配
哪里
是个
单位矩阵
所以,
具有多元正态分布,均值
(哪里
是...的后均值
)
和协方差矩阵
(哪里
是的后协方差矩阵
)。
推导几乎与此相同
的先前预测分布
(看上面)。后部
是
用作新的先验。可能性
是
与...相同
因为
独立于
和
有条件的
.
因此,我们可以执行
因式分解
和
派生
通过使用与查找相同的过程
.
主要区别在于我们需要替换先前的均值
与后
和先验协方差矩阵
与后
.
一切与上一节相同,除了以下事实:
回归系数的向量
,
而且还有误差项
假定是未知的。
的可能性
是
注意
现在,我们强调了一个事实,那就是我们同时对两个未知数
参数
和
.
先验是 等级制.
如上一节所述,我们在
回归系数,条件为
:
哪里
的协方差矩阵
假定与
.
然后,我们在
方差:那
是的
具有参数的反伽玛分布
和
(即 精确
有一个 伽玛
分配 带参数
和
)。
根据Gamma分布的性质,精度的先验平均值
是和
它的方差是
我们可以想到
作为我们对回归精度(即误差的精确度)的最佳猜测
条款)。我们使用 参数
表达我们对精度猜测的信心。的
大一点
,
先验越紧
是的,而且我们认为更多的是
接近
.
有条件的
,
的后验分布
是
哪里
上一节已经证明了这一点
(已知方差)。实际上,条件是
,
我们可以治疗
好像是众所周知的。
有条件的
,
的先验预测分布
是
哪里
是个
单位矩阵
请参阅上一节。
方差的后验分布
是哪里
换一种说法,
具有带有参数的Gamma分布
和
.
考虑联合分配
哪里
我们有
定义的
我们
可以写
哪里
是
功能取决于
(通过
)
但不在
,
和
是
概率密度函数,如果被认为是
对于任何给定
(注意
依赖于取决于
通过
)。
尤其是,
是具有参数的反伽马分布的密度
和
.
因此,通过
知名
结果 关于联合概率密度函数的因式分解,我们
有那个
因此,
后验分布
是反伽玛参数
和
。什么分布
将在下一个证明中显示。
因变量的先验预测分布
是
那
是,一个
多变量
学生的t分布 刻薄
,
比例矩阵
和
自由程度。
先前的预测分布具有
在先前的证明中已经得出。我们只需要执行一些
代数操作以清楚地表明它是一个多元变量
学生的t均值分布
,
比例矩阵
和
自由程度:
回归系数的后验分布
是那
是的
多元t分布均值
,
比例矩阵
和
自由程度。
如上所述,我们具有:1)
有条件的
和数据
,
是多元正态的均值
和方差
;
2)以数据为条件
,
具有带有参数的Gamma分布
和
.
因此,我们可以
写
哪里
是标准多元法线向量,
现在
定义一个新变量
哪一个,
根据Gamma分布的性质,具有
参数
和
.
我们现在可以
写
但
具有
的标准多元学生t分布
自由度(请参阅
演讲
在多元t分布上)。作为结果,
有多元学生t分布,均值
,
比例矩阵
和
自由程度。因此,它的密度
是
请引用为:
Taboga, Marco (2017). "贝叶斯线性回归", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-regression.