在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

贝叶斯线性回归

通过 博士

本讲座介绍了贝叶斯估计的 参数 线性回归 模型.

目录

该模型

该模型是 正常 线性回归模型: [eq1]

哪里:

假设协方差矩阵为 ε 等于 $ sigma ^ {2} I $ 暗示

  1. 的条目 ε 相互独立(即, $ arepsilon _ {i} $ 独立于 $ arepsilon _ {j} $ 对于 $i
eq j$)

  2. 的所有条目 ε 具有相同的方差(即, [eq3] 对于任何 i)。

未知回归系数和已知方差

本节,我们将假设 回归系数 $ eta $ 未知,而 方差 错误的 条款 sigma ^ 2 是众所周知的。

在里面 下一节,也 sigma ^ 2 将被视为未知。

可能性

有条件的 X, $ y $ 是多元正态的(是 线性的 法线向量的变换 ε)。 它的可能性是 [eq4]

先验

之前的 $ eta $ 假设是多元的 正常:[eq5]那 是的 $ eta $ 具有多元正态分布,均值 $ eta _ {0} $ 和协方差矩阵 $ sigma ^ {2} V_ {0} $, 哪里 $ V_ {0} $ 是一个 $ Kimes K $ 对称正定矩阵。

此先验用于表达以下信念: $ eta $ 最有可能等于 $ eta _ {0} $. 信念的离散度由协方差矩阵给出 $ sigma ^ {2} V_ {0} $.

后部

给定上面显示的先验和可能性,后验 是[eq6]哪里 [eq7]那 是,后验分布 $ eta $ 是具有均值的多元正态分布 $ eta _ {N} $ 和协方差矩阵 $ sigma ^ {2} V_ {N} $.

证明

联合分布是

[eq8]我们 可以写 如 [eq9]哪里[eq10][eq11]哪里 I 是个 $尼姆N $ 单位矩阵现在定义一个新矩阵 A (称为旋转矩阵)为 如下:[eq12]我们 有那个 [eq13]此外,[eq14][eq15]此外, 的决定因素 A[eq16]哪里 我们已经使用了 式 用于块的行列式 矩阵[eq17]我们 现在可以使用有关的结果 A 改写关节 密度:[eq18]我们 上面已经表明 [eq19] 是块对角线。因此,通过将上面得出的表达式用于 的块 $一个$[eq19], 我们 获得[eq21]从而, 我们已经计算了关节密度 如 [eq22]哪里[eq23]是 功能取决于 $ y $ 但不在 $ eta $, 和 [eq24]是 概率密度函数,如果被认为是 $ eta $ 对于任何给定 $ y $ (注意 $ g $ 依赖于取决于 $ y $ 通过 $ eta _ {N} $)。 进一步来说, [eq25] 是具有均值的多元正态分布的密度 $ eta _ {N} $ 和协方差矩阵 $ sigma ^ {2} V_ {N} $. 通过标准结果 因式分解 概率密度函数 (另请参见 介绍 贝叶斯推理),我们有 [eq26]因此, 后验分布 [eq27] 是具有均值的多元正态分布 $ eta _ {N} $ 和协方差矩阵 $ sigma ^ {2} V_ {N} $.

请注意,后均值可以写为 [eq28]哪里[eq29]是 的 普通 最小二乘估计 回归系数。就这样 的后均值 $ eta $ 是的加权平均值

  1. 从观察到的数据得出的OLS估计值;

  2. 先验均值 $ eta _ {0} $.

请记住,法线线性中OLS估计量的协方差矩阵 回归模型 是[eq30]而 先验的协方差矩阵 是[eq31]

因此,我们可以 写[eq32]

从数据得出的先验均值和OLS估计量都传达了一些信息 相关信息 $ eta $. 两种信息来源被线性组合以产生 后均值 $ eta _ {N} $, 但是权重越高的信号 精确 (较小的协方差 矩阵)。

另请注意 $(X ^ {op} X)$ 样本大小趋于无穷大 $ N $ 去无穷大。结果,赋予 $ eta _ {OLS} $ 随着增加 n. 换句话说,样本量越大,权重就越大 到OLS估计,也就是从观测到的信息 样品。在限制中,所有权重都赋予后者,而没有权重 到以前。粗略地说,贝叶斯回归和常客(OLS) 当样本量较大时,回归提供的结果几乎相同。

先前的预测分布

先前的预测分布为 [eq33]哪里 I 是个 $尼姆N $ 单位矩阵

因此,观测向量的先验预测分布 因变量 $ y $ 是多元正态的均值 $ X eta _ {0} $ 协方差 矩阵 [eq34]

证明

请参阅先前的证明。

后验预测分布

假设观察样品后 $left( y,X
ight) $ 并更新先前的新样本 [eq35] 大小 $ M $ 由相同的回归生成。进一步假设我们仅观察到 回归器 $ widetilde {X} $ 我们要预测 $ widetilde {y} $. 这是通过后验预测完成的 分配[eq36]哪里 I 是个 $ Mimes M $ 单位矩阵

所以, $ widetilde {y} $ 具有多元正态分布,均值 [eq37] (哪里 $ eta _ {N} $ 是...的后均值 $ eta $) 和协方差矩阵 [eq38] (哪里 $ V_ {N} $ 是的后协方差矩阵 $ eta $)。

证明

推导几乎与此相同 的先前预测分布 $ y $ (看上面)。后部 [eq39]是 用作新的先验。可能性 [eq40]是 与...相同 [eq41]因为 $ widetilde {y} $ 独立于 $ y $X 有条件的 $ eta $. 因此,我们可以执行 因式分解[eq42]和 派生 [eq43] 通过使用与查找相同的过程 [eq44]. 主要区别在于我们需要替换先前的均值 $ eta _ {0} $ 与后 $ eta _ {N} $ 和先验协方差矩阵 $ sigma ^ {2} V_ {0} $ 与后 $ sigma ^ {2} V_ {N} $.

未知回归系数和未知方差

一切与上一节相同,除了以下事实: 回归系数的向量 $ eta $, 而且还有误差项 sigma ^ 2 假定是未知的。

可能性

的可能性 $ y $[eq45]注意 现在,我们强调了一个事实,那就是我们同时对两个未知数 参数 亩sigma ^ 2.

先验

先验是 等级制.

如上一节所述,我们在 回归系数,条件为 sigma ^ 2: [eq46]哪里 的协方差矩阵 $ eta $ 假定与 sigma ^ 2.

然后,我们在 方差:[eq47]那 是的 [eq48] 具有参数的反伽玛分布 $ L $$ sigma _ {0} ^ {2} $ (即 精确 $ 1 / sigma ^ {2} $ 有一个 伽玛 分配 带参数 $ L $$ 1 / sigma _ {0} ^ {2} $)。

根据Gamma分布的性质,精度的先验平均值 是[eq49]和 它的方差是 [eq50]

我们可以想到 $ 1 / sigma _ {0} ^ {2} $ 作为我们对回归精度(即误差的精确度)的最佳猜测 条款)。我们使用 参数 $ L $ 表达我们对精度猜测的信心。的 大一点 $ L $, 先验越紧 $ 1 / sigma ^ {2} $ 是的,而且我们认为更多的是 $ 1 / sigma ^ {2} $ 接近 $ 1 / sigma _ {0} ^ {2} $.

回归的后验分布 条件系数

有条件的 sigma ^ 2, 的后验分布 $ eta $[eq51]哪里 [eq7]

证明

上一节已经证明了这一点 (已知方差)。实际上,条件是 sigma ^ 2, 我们可以治疗 sigma ^ 2 好像是众所周知的。

条件为条件的先验预测分布 the 方差

有条件的 sigma ^ 2, 的先验预测分布 $ y $[eq53]哪里 I 是个 $尼姆N $ 单位矩阵

证明

请参阅上一节。

方差的后验分布

方差的后验分布 是[eq54]哪里[eq55]

换一种说法, $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布 $ N + L $$ 1 / sigma _ {N} ^ {2} $ .

证明

考虑联合分配 [eq56]哪里 我们有 定义的[eq55]我们 可以写 [eq58]哪里 [eq59]是 功能取决于 $ y $ (通过 $ sigma _ {N} ^ {2} $) 但不在 sigma ^ 2, 和 [eq60]是 概率密度函数,如果被认为是 $ sigma ^ {2} $ 对于任何给定 $ y $ (注意 $ g $ 依赖于取决于 $ y $ 通过 $ sigma _ {N} ^ {2} $)。 尤其是, [eq61] 是具有参数的反伽马分布的密度 $ N + L $$ 1 / sigma _ {N} ^ {2} $. 因此,通过 知名 结果 关于联合概率密度函数的因式分解,我们 有那个 [eq62]因此, 后验分布 [eq63] 是反伽玛参数 $ N + L $$ 1 / sigma _ {N} ^ {2} $ 。什么分布 [eq64] 将在下一个证明中显示。

先前的预测分布

因变量的先验预测分布 $ y $[eq65]那 是,一个 多变量 学生的t分布 刻薄 $ X eta _ {0} $ , 比例矩阵 [eq66]$ L $ 自由程度。

证明

先前的预测分布具有 在先前的证明中已经得出。我们只需要执行一些 代数操作以清楚地表明它是一个多元变量 学生的t均值分布 $ X eta _ {0} $ , 比例矩阵 [eq67]$ L $ 自由程度: [eq68]

回归系数的后验分布

回归系数的后验分布 是[eq69]那 是的 $ eta $ 多元t分布均值 $ eta _ {N} $, 比例矩阵 [eq70]$ N + L $ 自由程度。

证明

如上所述,我们具有:1) 有条件的 sigma ^ 2 和数据 $left( y,X
ight) $, $ eta $ 是多元正态的均值 $ eta _ {N} $ 和方差 $ sigma ^ {2} V_ {N} $; 2)以数据为条件 $left( y,X
ight) $, $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布 $ N + L $$ 1 / sigma _ {N} ^ {2} $. 因此,我们可以 写[eq71]哪里 Z 是标准多元法线向量, [eq72]现在 定义一个新变量 [eq73]哪一个, 根据Gamma分布的性质,具有 参数 $ N + L $1. 我们现在可以 写[eq74][eq75]具有 的标准多元学生t分布 $ N + L $ 自由度(请参阅 演讲 在多元t分布上)。作为结果, $ eta $ 有多元学生t分布,均值 $ eta _ {N} $, 比例矩阵 [eq76]$ N + L $ 自由程度。因此,它的密度 是[eq69]

如何引用

请引用为:

Taboga, Marco (2017). "贝叶斯线性回归", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-regression.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。