搜索Statlect上的概率和统计信息
统计章程
指数 > Fundamentals of statistics

贝叶斯线性回归

经过 ，博士学位

这次讲座提供了贝叶斯估计的介绍 parameters of a 线性 regression model.

目录

目录

  1. 该模型

  2. 未知的回归系数和已知方差

    1. 可能性

    2. 之前

    3. 后面

    4. 先前的预测分配

    5. 后预测分布

  3. 未知的回归系数和未知方差

    1. 可能性

    2. 之前

    3. 回归的后部分布

    4. 现有预测分布对方差的条件

    5. 方差的后部分布

    6. 先前的预测分配

    7. 回归系数的后部分布

该模型

The model is the normal 线性回归模型: [eq1]

where:

假设协方差矩阵 埃斯利昂 is equal to $ sigma ^ {2} i $ implies that

  1. the entries of 埃斯利昂 是相互独立的（即， $ arepsilon _ {i} $ is independent of $ arepsilon _ {j} $ for $i eq j$)

  2. all the entries of 埃斯利昂 具有相同的方差（即， [eq3] for any i）。

未知的回归系数和已知方差

In 这个部分，我们将假设传染媒介 回归系数 $ eta $ 是未知的，而且 variance of the error terms 西格玛^ 2. is known.

In the 下一节， 还 西格玛^ 2. 将被视为未知。

可能性

Conditional on X, $ y $ 多元普通（是一个 linear 转化正常矢量 埃斯利昂）。 Its likelihood is [eq4]

之前

The prior on $ eta $ 被认为是多变量 normal:[eq5]那 is, $ eta $ 具有多变量的正态分布与平均值 $ eta _ {0} $ 和协方差矩阵 $ sigma ^ {2} v_ {0} $, where $ v_ {0} $ is a $ kimes k $ 对称正定矩阵。

此前用于表达信仰 $ eta $ 最有可能等于 $ eta _ {0} $. 信仰的分散由协方差矩阵给出 $ sigma ^ {2} v_ {0} $.

后面

鉴于上面所示的前后和可能性，后部 is[eq6]在哪里 [eq7]那 是，后部分布 $ eta $ 是一种与平均值的多变量正态分布 $ eta _ {n} $ 和协方差矩阵 $ sigma ^ {2} v_ {n} $.

证明

联合分配是

[eq8]我们 can write it as[eq9]在哪里[eq10]和[eq11]在哪里 I is the $ n $ 身份矩阵。现在定义一个新的矩阵 A （称为旋转矩阵）为 follows:[eq12]我们 have that [eq13]此外，[eq14]和[eq15]而且， the determinant of A is[eq16]在哪里 we have used the formula 对于块的决定因素 matrix[eq17]我们 现在可以使用结果 A to rewrite the joint density:[eq18]我们 已经显示在上面 [eq19] 是块对角线。因此，通过使用上面导出的表达式 blocks of $ a lpha $ and [eq19], we obtain[eq21]因此， 我们已经分解了关节密度 as[eq22]在哪里[eq23]是 一个依赖的函数 $ y $ but not on $ eta $, and [eq24]是 概率密度函数如果考虑为一个函数 $ eta $ for any given $ y $ (note that $ g $ depends on $ y $ through $ eta _ {n} $）。 More specifically, [eq25] 是多变量正态分布的密度，平均值 $ eta _ {n} $ 和协方差矩阵 $ sigma ^ {2} v_ {n} $. 通过标准结果 factorization 概率密度函数 (see also the introduction to Bayesian inference），我们有那个 [eq26]所以， 后部分布 [eq27] 是一种与平均值的多变量正态分布 $ eta _ {n} $ 和协方差矩阵 $ sigma ^ {2} v_ {n} $.

请注意，后平均可以写为 [eq28]在哪里[eq29]是 the ordinary 最小二乘估计 回归系数。就这样 posterior mean of $ eta $ 是加权平均值

  1. OLS估计来自观察到的数据;

  2. the prior mean $ eta _ {0} $.

请记住，正常线性中OLS估计的协方差矩阵 regression model is[eq30]尽管 先前的协方差矩阵 is[eq31]

Therefore, we can write[eq32]

来自数据的先前平均值和OLS估计器都传达了一些 information about $ eta $. 两个信息来源是线性组合的，以便产生 posterior mean $ eta _ {n} $, 但更多的重量被给出了更高的信号 precision (smaller covariance matrix).

Note also that $（x ^ {op} x）$ 样品大小倾向于无限 $ n $ 走向无限。因此，给予的重量 $ eta _ {ols} $ increases with n. 换句话说，样品尺寸变得越大，重量越多 到OLS估计，即来自观察到的信息 样本。在极限中，所有重量都给后者给出，没有给出重量 到之前。粗略地说，贝叶斯回归和频繁的思考（OLS） 回归在样本大小大时提供几乎相同的结果。

先前的预测分配

先前的预测分配是 [eq33]在哪里 I is the $ n $ identity matrix.

因此，预测到观察的载体的预测分布 dependent variable $ y $ 多变量正常与平均值 $ x eta _ {0} $ and covariance matrix [eq34]

证明

看到以前的证明。

后预测分布

假设观察样本后 $left( y,X ight) $ 并更新之前的新样本 [eq35] of size $ m $ 由相同的回归生成。进一步假设我们只观察到 regressors $ widetilde {x} $ 我们想要预测 $ widetilde {y} $. 这是通过后验预测完成的 distribution[eq36]在哪里 I is the $哑法m $ identity matrix.

So, $ widetilde {y} $ 具有多变量的正态分布与平均值 [eq37] (where $ eta _ {n} $ 是后思的 $ eta $) 和协方差矩阵 [eq38] (where $ v_ {n} $ 是后协方差矩阵 $ eta $）。

证明

衍生几乎与此相同 以前的预测分配 $ y $ （看上面）。后面 [eq39]是 用作新的先前。可能性 [eq40]是 the same as [eq41]因为 $ widetilde {y} $ is independent of $ y $ and X conditional on $ eta $. 所以，我们可以执行 factorization[eq42]和 derive [eq43] 通过使用用于查找的相同程序 [eq44]. 主要区别在于我们需要更换先前的平均值 $ eta _ {0} $ with the posterior $ eta _ {n} $ 和先前的协方差矩阵 $ sigma ^ {2} v_ {0} $ with the posterior $ sigma ^ {2} v_ {n} $.

未知的回归系数和未知方差

一切都像上一节一样，除了不仅的事实 回归系数的矢量 $ eta $, 但也是错误术语的方差 西格玛^ 2. 被认为是未知的。

可能性

The likelihood of $ y $ is [eq45]笔记 我们现在突出了我们在未知的两种情况下调节的事实 parameters 亩 and 西格玛^ 2..

之前

The prior is hierarchical.

与上一节一样，我们在此之前分配多元正常 回归系数，有条件的 西格玛^ 2.: [eq46]在哪里 协方差矩阵 $ eta $ 被认为是成比例的 西格玛^ 2..

然后，我们之前分配以下内容 variance:[eq47]那 is, [eq48] 具有参数的逆伽马分布 $ l $ and $ sigma _ {0} ^ {2} $ (i.e., the precision $ 1 / sigma ^ {2} $ has a Gamma distribution with parameters $ l $ and $ 1 / sigma _ {0} ^ {2} $）。

通过伽玛分布的性质，预先平均精度 is[eq49]和 its variance is [eq50]

We can think of $ 1 / sigma _ {0} ^ {2} $ 作为我们最佳猜测回归的精度（即，其错误 terms). We use the parameter $ l $ 在猜测对精确度的猜测中表达了我们的信心。这 larger $ l $, 在之前更紧凑 $ 1 / sigma ^ {2} $ 是，我们认为可能的越多 $ 1 / sigma ^ {2} $ is close to $ 1 / sigma _ {0} ^ {2} $.

回归的后部分布 系数在方差上有条件

Conditional on 西格玛^ 2., 后部分布 $ eta $ is[eq51]在哪里 [eq7]

证明

这已在上一节证明 （已知的差异）。事实上，有条件的 西格玛^ 2., we can treat 西格玛^ 2. as if it was known.

先前的预测分配条件 the variance

Conditional on 西格玛^ 2., 之前的预测分配 $ y $ is [eq53]在哪里 I is the $ n $ identity matrix.

证明

请参阅上一节。

方差的后部分布

方差的后部分布 is[eq54]在哪里[eq55]

In other words, $ 1 / sigma ^ {2} $ 具有参数的伽玛分布 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $ .

证明

考虑联合分布 [eq56]在哪里 we have defined[eq55]我们 can write [eq58]在哪里 [eq59]是 一个依赖的函数 $ y $ (via $ sigma _ {n} ^ {2} $) but not on 西格玛^ 2., and [eq60]是 概率密度函数如果考虑为一个函数 $ sigma ^ {2} $ for any given $ y $ (note that $ g $ depends on $ y $ through $ sigma _ {n} ^ {2} $）。 In particular, [eq61] 是具有参数的逆伽马分布的密度 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $. Thus, by a well-known result 关于联合概率密度函数的分解，我们 have that [eq62]所以， 后部分布 [eq63] 是与参数的逆伽马 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $ . What distribution [eq64] 将在下一个证明中显示。

先前的预测分配

从属变量的先前预测分布 $ y $ is [eq65]那 is, a multivariate 学生的T分配 with mean $ x eta _ {0} $, scale matrix [eq66] and $ l $ degrees of freedom.

证明

先前的预测分配有 已经在以前的证据中得出。我们只需要执行一些 代数操纵为了清楚地表明它是多变量 学生的T分布与平均值 $ x eta _ {0} $, scale matrix [eq67] and $ l $ degrees of freedom: [eq68]

回归系数的后部分布

回归系数的后部分布 is[eq69]那 is, $ eta $ 具有与平均值的多变量t分布 $ eta _ {n} $, scale matrix [eq70] and $ n + l $ degrees of freedom.

证明

如上所述，我们有：1） conditional on 西格玛^ 2. and the data $left( y,X ight) $, $ eta $ 多变量正常与平均值 $ eta _ {n} $ and variance $ sigma ^ {2} v_ {n} $; 2）数据上的条件 $left( y,X ight) $, $ 1 / sigma ^ {2} $ 具有参数的伽玛分布 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $. Thus, we can write[eq71]在哪里 Z 是标准多元常规矢量和 [eq72]现在 定义一个新变量 [eq73]哪一个， 通过伽玛分布的性质，具有伽马分布 parameters $ n + l $ and 1. We can now write[eq74]但[eq75]具有 标准多元学生的T分配 $ n + l $ 自由度（见 lecture 关于多元T分布）。作为结果， $ eta $ 有一个多变量学生的t分布，意思是 $ eta _ {n} $, scale matrix [eq76]和 $ n + l $ 自由程度。因此，它的密度 is[eq69]

如何引用

请引用：

Taboga, Marco (2017). "贝叶斯线性回归", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-regression.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。

特色页面
探索
主要部分
关于
词汇表参赛作品
分享