在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

贝叶斯线性回归

通过 博士

本讲座介绍了贝叶斯估计的 参数 的 线性回归 模型.

目录

目录

  1. 该模型

  2. 未知回归系数和已知方差

    1. 可能性

    2. 先验

    3. 后部

    4. 先前的预测分布

    5. 后验预测分布

  3. 未知回归系数和未知方差

    1. 可能性

    2. 先验

    3. 回归的后验分布

    4. 以方差为条件的先验预测分布

    5. 方差的后验分布

    6. 先前的预测分布

    7. 回归系数的后验分布

该模型

该模型是 正常 线性回归模型: [eq1]

哪里：

假设协方差矩阵为 ε 等于 $ sigma ^ {2} I $ 暗示

  1. 的条目 ε 相互独立（即， $ arepsilon _ {i} $ 独立于 $ arepsilon _ {j} $ 对于 $i eq j$)

  2. 的所有条目 ε 具有相同的方差（即， [eq3] 对于任何 i）。

未知回归系数和已知方差

在 本节，我们将假设 回归系数 $ eta $ 未知，而 方差 错误的 条款 sigma ^ 2 是众所周知的。

在里面 下一节，也 sigma ^ 2 将被视为未知。

可能性

有条件的 X, $ y $ 是多元正态的（是 线性的 法线向量的变换 ε）。 它的可能性是 [eq4]

先验

之前的 $ eta $ 假设是多元的 正常：[eq5]那 是的 $ eta $ 具有多元正态分布，均值 $ eta _ {0} $ 和协方差矩阵 $ sigma ^ {2} V_ {0} $, 哪里 $ V_ {0} $ 是一个 $ Kimes K $ 对称正定矩阵。

此先验用于表达以下信念： $ eta $ 最有可能等于 $ eta _ {0} $. 信念的离散度由协方差矩阵给出 $ sigma ^ {2} V_ {0} $.

后部

给定上面显示的先验和可能性，后验 是[eq6]哪里 [eq7]那 是，后验分布 $ eta $ 是具有均值的多元正态分布 $ eta _ {N} $ 和协方差矩阵 $ sigma ^ {2} V_ {N} $.

证明

联合分布是

[eq8]我们 可以写 如 [eq9]哪里[eq10]和[eq11]哪里 I 是个 $尼姆N $ 单位矩阵现在定义一个新矩阵 A （称为旋转矩阵）为 如下：[eq12]我们 有那个 [eq13]此外，[eq14]和[eq15]此外， 的决定因素 A 是[eq16]哪里 我们已经使用了 式 用于块的行列式 矩阵[eq17]我们 现在可以使用有关的结果 A 改写关节 密度：[eq18]我们 上面已经表明 [eq19] 是块对角线。因此，通过将上面得出的表达式用于 的块 $一个$ 和 [eq19], 我们 获得[eq21]从而， 我们已经计算了关节密度 如 [eq22]哪里[eq23]是 功能取决于 $ y $ 但不在 $ eta $, 和 [eq24]是 概率密度函数，如果被认为是 $ eta $ 对于任何给定 $ y $ （注意 $ g $ 依赖于取决于 $ y $ 通过 $ eta _ {N} $）。 进一步来说， [eq25] 是具有均值的多元正态分布的密度 $ eta _ {N} $ 和协方差矩阵 $ sigma ^ {2} V_ {N} $. 通过标准结果 因式分解 概率密度函数 （另请参见 介绍 贝叶斯推理），我们有 [eq26]因此， 后验分布 [eq27] 是具有均值的多元正态分布 $ eta _ {N} $ 和协方差矩阵 $ sigma ^ {2} V_ {N} $.

请注意，后均值可以写为 [eq28]哪里[eq29]是 的 普通 最小二乘估计 回归系数。就这样 的后均值 $ eta $ 是的加权平均值

  1. 从观察到的数据得出的OLS估计值；

  2. 先验均值 $ eta _ {0} $.

请记住，法线线性中OLS估计量的协方差矩阵 回归模型 是[eq30]而 先验的协方差矩阵 是[eq31]

因此，我们可以 写[eq32]

从数据得出的先验均值和OLS估计量都传达了一些信息 相关信息 $ eta $. 两种信息来源被线性组合以产生 后均值 $ eta _ {N} $, 但是权重越高的信号 精确 （较小的协方差 矩阵）。

另请注意 $（X ^ {op} X）$ 样本大小趋于无穷大 $ N $ 去无穷大。结果，赋予 $ eta _ {OLS} $ 随着增加 n. 换句话说，样本量越大，权重就越大 到OLS估计，也就是从观测到的信息 样品。在限制中，所有权重都赋予后者，而没有权重 到以前。粗略地说，贝叶斯回归和常客（OLS） 当样本量较大时，回归提供的结果几乎相同。

先前的预测分布

先前的预测分布为 [eq33]哪里 I 是个 $尼姆N $ 单位矩阵

因此，观测向量的先验预测分布 因变量 $ y $ 是多元正态的均值 $ X eta _ {0} $ 和 协方差 矩阵 [eq34]

证明

请参阅先前的证明。

后验预测分布

假设观察样品后 $left( y,X ight) $ 并更新先前的新样本 [eq35] 大小 $ M $ 由相同的回归生成。进一步假设我们仅观察到 回归器 $ widetilde {X} $ 我们要预测 $ widetilde {y} $. 这是通过后验预测完成的 分配[eq36]哪里 I 是个 $ Mimes M $ 单位矩阵

所以， $ widetilde {y} $ 具有多元正态分布，均值 [eq37] （哪里 $ eta _ {N} $ 是...的后均值 $ eta $) 和协方差矩阵 [eq38] （哪里 $ V_ {N} $ 是的后协方差矩阵 $ eta $）。

证明

推导几乎与此相同 的先前预测分布 $ y $ （看上面）。后部 [eq39]是 用作新的先验。可能性 [eq40]是 与...相同 [eq41]因为 $ widetilde {y} $ 独立于 $ y $ 和 X 有条件的 $ eta $. 因此，我们可以执行 因式分解[eq42]和 派生 [eq43] 通过使用与查找相同的过程 [eq44]. 主要区别在于我们需要替换先前的均值 $ eta _ {0} $ 与后 $ eta _ {N} $ 和先验协方差矩阵 $ sigma ^ {2} V_ {0} $ 与后 $ sigma ^ {2} V_ {N} $.

未知回归系数和未知方差

一切与上一节相同，除了以下事实： 回归系数的向量 $ eta $, 而且还有误差项 sigma ^ 2 假定是未知的。

可能性

的可能性 $ y $ 是 [eq45]注意 现在，我们强调了一个事实，那就是我们同时对两个未知数 参数 亩 和 sigma ^ 2.

先验

先验是 等级制.

如上一节所述，我们在 回归系数，条件为 sigma ^ 2: [eq46]哪里 的协方差矩阵 $ eta $ 假定与 sigma ^ 2.

然后，我们在 方差：[eq47]那 是的 [eq48] 具有参数的反伽玛分布 $ L $ 和 $ sigma _ {0} ^ {2} $ （即 精确 $ 1 / sigma ^ {2} $ 有一个 伽玛 分配 带参数 $ L $ 和 $ 1 / sigma _ {0} ^ {2} $）。

根据Gamma分布的性质，精度的先验平均值 是[eq49]和 它的方差是 [eq50]

我们可以想到 $ 1 / sigma _ {0} ^ {2} $ 作为我们对回归精度（即误差的精确度）的最佳猜测 条款）。我们使用 参数 $ L $ 表达我们对精度猜测的信心。的 大一点 $ L $, 先验越紧 $ 1 / sigma ^ {2} $ 是的，而且我们认为更多的是 $ 1 / sigma ^ {2} $ 接近 $ 1 / sigma _ {0} ^ {2} $.

回归的后验分布 条件系数

有条件的 sigma ^ 2, 的后验分布 $ eta $ 是[eq51]哪里 [eq7]

证明

上一节已经证明了这一点 （已知方差）。实际上，条件是 sigma ^ 2, 我们可以治疗 sigma ^ 2 好像是众所周知的。

条件为条件的先验预测分布 the 方差

有条件的 sigma ^ 2, 的先验预测分布 $ y $ 是 [eq53]哪里 I 是个 $尼姆N $ 单位矩阵

证明

请参阅上一节。

方差的后验分布

方差的后验分布 是[eq54]哪里[eq55]

换一种说法， $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布 $ N + L $ 和 $ 1 / sigma _ {N} ^ {2} $ .

证明

考虑联合分配 [eq56]哪里 我们有 定义的[eq55]我们 可以写 [eq58]哪里 [eq59]是 功能取决于 $ y $ （通过 $ sigma _ {N} ^ {2} $) 但不在 sigma ^ 2, 和 [eq60]是 概率密度函数，如果被认为是 $ sigma ^ {2} $ 对于任何给定 $ y $ （注意 $ g $ 依赖于取决于 $ y $ 通过 $ sigma _ {N} ^ {2} $）。 尤其是， [eq61] 是具有参数的反伽马分布的密度 $ N + L $ 和 $ 1 / sigma _ {N} ^ {2} $. 因此，通过 知名 结果 关于联合概率密度函数的因式分解，我们 有那个 [eq62]因此， 后验分布 [eq63] 是反伽玛参数 $ N + L $ 和 $ 1 / sigma _ {N} ^ {2} $ 。什么分布 [eq64] 将在下一个证明中显示。

先前的预测分布

因变量的先验预测分布 $ y $ 是 [eq65]那 是，一个 多变量 学生的t分布 刻薄 $ X eta _ {0} $ , 比例矩阵 [eq66] 和 $ L $ 自由程度。

证明

先前的预测分布具有 在先前的证明中已经得出。我们只需要执行一些 代数操作以清楚地表明它是一个多元变量 学生的t均值分布 $ X eta _ {0} $ , 比例矩阵 [eq67] 和 $ L $ 自由程度： [eq68]

回归系数的后验分布

回归系数的后验分布 是[eq69]那 是的 $ eta $ 多元t分布均值 $ eta _ {N} $, 比例矩阵 [eq70] 和 $ N + L $ 自由程度。

证明

如上所述，我们具有：1） 有条件的 sigma ^ 2 和数据 $left( y,X ight) $, $ eta $ 是多元正态的均值 $ eta _ {N} $ 和方差 $ sigma ^ {2} V_ {N} $; 2）以数据为条件 $left( y,X ight) $, $ 1 / sigma ^ {2} $ 具有带有参数的Gamma分布 $ N + L $ 和 $ 1 / sigma _ {N} ^ {2} $. 因此，我们可以 写[eq71]哪里 Z 是标准多元法线向量， [eq72]现在 定义一个新变量 [eq73]哪一个， 根据Gamma分布的性质，具有 参数 $ N + L $ 和 1. 我们现在可以 写[eq74]但[eq75]具有 的标准多元学生t分布 $ N + L $ 自由度（请参阅 演讲 在多元t分布上）。作为结果， $ eta $ 有多元学生t分布，均值 $ eta _ {N} $, 比例矩阵 [eq76]和 $ N + L $ 自由程度。因此，它的密度 是[eq69]

如何引用

请引用为：

Taboga, Marco (2017). "贝叶斯线性回归", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-regression.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。

精选页面
探索
主要部分
关于
词汇表条目
分享