搜索Statlect上的概率和统计信息
统计章程
指数 > Fundamentals of statistics

贝叶斯线性回归

经过 ,博士学位

这次讲座提供了贝叶斯估计的介绍 parameters of a 线性 regression model.

目录

该模型

The model is the normal 线性回归模型: [eq1]

where:

假设协方差矩阵 埃斯利昂 is equal to $ sigma ^ {2} i $ implies that

  1. the entries of 埃斯利昂 是相互独立的(即, $ arepsilon _ {i} $ is independent of $ arepsilon _ {j} $ for $i
eq j$)

  2. all the entries of 埃斯利昂 具有相同的方差(即, [eq3] for any i)。

未知的回归系数和已知方差

In 这个部分,我们将假设传染媒介 回归系数 $ eta $ 是未知的,而且 variance of the error terms 西格玛^ 2. is known.

In the 下一节, 还 西格玛^ 2. 将被视为未知。

可能性

Conditional on X, $ y $ 多元普通(是一个 linear 转化正常矢量 埃斯利昂)。 Its likelihood is [eq4]

之前

The prior on $ eta $ 被认为是多变量 normal:[eq5]那 is, $ eta $ 具有多变量的正态分布与平均值 $ eta _ {0} $ 和协方差矩阵 $ sigma ^ {2} v_ {0} $, where $ v_ {0} $ is a $ kimes k $ 对称正定矩阵。

此前用于表达信仰 $ eta $ 最有可能等于 $ eta _ {0} $. 信仰的分散由协方差矩阵给出 $ sigma ^ {2} v_ {0} $.

后面

鉴于上面所示的前后和可能性,后部 is[eq6]在哪里 [eq7]那 是,后部分布 $ eta $ 是一种与平均值的多变量正态分布 $ eta _ {n} $ 和协方差矩阵 $ sigma ^ {2} v_ {n} $.

证明

联合分配是

[eq8]我们 can write it as[eq9]在哪里[eq10][eq11]在哪里 I is the $ n $ 身份矩阵。现在定义一个新的矩阵 A (称为旋转矩阵)为 follows:[eq12]我们 have that [eq13]此外,[eq14][eq15]而且, the determinant of A is[eq16]在哪里 we have used the formula 对于块的决定因素 matrix[eq17]我们 现在可以使用结果 A to rewrite the joint density:[eq18]我们 已经显示在上面 [eq19] 是块对角线。因此,通过使用上面导出的表达式 blocks of $ a lpha $ and [eq19], we obtain[eq21]因此, 我们已经分解了关节密度 as[eq22]在哪里[eq23]是 一个依赖的函数 $ y $ but not on $ eta $, and [eq24]是 概率密度函数如果考虑为一个函数 $ eta $ for any given $ y $ (note that $ g $ depends on $ y $ through $ eta _ {n} $)。 More specifically, [eq25] 是多变量正态分布的密度,平均值 $ eta _ {n} $ 和协方差矩阵 $ sigma ^ {2} v_ {n} $. 通过标准结果 factorization 概率密度函数 (see also the introduction to Bayesian inference),我们有那个 [eq26]所以, 后部分布 [eq27] 是一种与平均值的多变量正态分布 $ eta _ {n} $ 和协方差矩阵 $ sigma ^ {2} v_ {n} $.

请注意,后平均可以写为 [eq28]在哪里[eq29]是 the ordinary 最小二乘估计 回归系数。就这样 posterior mean of $ eta $ 是加权平均值

  1. OLS估计来自观察到的数据;

  2. the prior mean $ eta _ {0} $.

请记住,正常线性中OLS估计的协方差矩阵 regression model is[eq30]尽管 先前的协方差矩阵 is[eq31]

Therefore, we can write[eq32]

来自数据的先前平均值和OLS估计器都传达了一些 information about $ eta $. 两个信息来源是线性组合的,以便产生 posterior mean $ eta _ {n} $, 但更多的重量被给出了更高的信号 precision (smaller covariance matrix).

Note also that $(x ^ {op} x)$ 样品大小倾向于无限 $ n $ 走向无限。因此,给予的重量 $ eta _ {ols} $ increases with n. 换句话说,样品尺寸变得越大,重量越多 到OLS估计,即来自观察到的信息 样本。在极限中,所有重量都给后者给出,没有给出重量 到之前。粗略地说,贝叶斯回归和频繁的思考(OLS) 回归在样本大小大时提供几乎相同的结果。

先前的预测分配

先前的预测分配是 [eq33]在哪里 I is the $ n $ identity matrix.

因此,预测到观察的载体的预测分布 dependent variable $ y $ 多变量正常与平均值 $ x eta _ {0} $ and covariance matrix [eq34]

证明

看到以前的证明。

后预测分布

假设观察样本后 $left( y,X
ight) $ 并更新之前的新样本 [eq35] of size $ m $ 由相同的回归生成。进一步假设我们只观察到 regressors $ widetilde {x} $ 我们想要预测 $ widetilde {y} $. 这是通过后验预测完成的 distribution[eq36]在哪里 I is the $哑法m $ identity matrix.

So, $ widetilde {y} $ 具有多变量的正态分布与平均值 [eq37] (where $ eta _ {n} $ 是后思的 $ eta $) 和协方差矩阵 [eq38] (where $ v_ {n} $ 是后协方差矩阵 $ eta $)。

证明

衍生几乎与此相同 以前的预测分配 $ y $ (看上面)。后面 [eq39]是 用作新的先前。可能性 [eq40]是 the same as [eq41]因为 $ widetilde {y} $ is independent of $ y $ and X conditional on $ eta $. 所以,我们可以执行 factorization[eq42]和 derive [eq43] 通过使用用于查找的相同程序 [eq44]. 主要区别在于我们需要更换先前的平均值 $ eta _ {0} $ with the posterior $ eta _ {n} $ 和先前的协方差矩阵 $ sigma ^ {2} v_ {0} $ with the posterior $ sigma ^ {2} v_ {n} $.

未知的回归系数和未知方差

一切都像上一节一样,除了不仅的事实 回归系数的矢量 $ eta $, 但也是错误术语的方差 西格玛^ 2. 被认为是未知的。

可能性

The likelihood of $ y $ is [eq45]笔记 我们现在突出了我们在未知的两种情况下调节的事实 parameters 亩 and 西格玛^ 2..

之前

The prior is hierarchical.

与上一节一样,我们在此之前分配多元正常 回归系数,有条件的 西格玛^ 2.: [eq46]在哪里 协方差矩阵 $ eta $ 被认为是成比例的 西格玛^ 2..

然后,我们之前分配以下内容 variance:[eq47]那 is, [eq48] 具有参数的逆伽马分布 $ l $ and $ sigma _ {0} ^ {2} $ (i.e., the precision $ 1 / sigma ^ {2} $ has a Gamma distribution with parameters $ l $ and $ 1 / sigma _ {0} ^ {2} $)。

通过伽玛分布的性质,预先平均精度 is[eq49]和 its variance is [eq50]

We can think of $ 1 / sigma _ {0} ^ {2} $ 作为我们最佳猜测回归的精度(即,其错误 terms). We use the parameter $ l $ 在猜测对精确度的猜测中表达了我们的信心。这 larger $ l $, 在之前更紧凑 $ 1 / sigma ^ {2} $ 是,我们认为可能的越多 $ 1 / sigma ^ {2} $ is close to $ 1 / sigma _ {0} ^ {2} $.

回归的后部分布 系数在方差上有条件

Conditional on 西格玛^ 2., 后部分布 $ eta $ is[eq51]在哪里 [eq7]

证明

这已在上一节证明 (已知的差异)。事实上,有条件的 西格玛^ 2., we can treat 西格玛^ 2. as if it was known.

先前的预测分配条件 the variance

Conditional on 西格玛^ 2., 之前的预测分配 $ y $ is [eq53]在哪里 I is the $ n $ identity matrix.

证明

请参阅上一节。

方差的后部分布

方差的后部分布 is[eq54]在哪里[eq55]

In other words, $ 1 / sigma ^ {2} $ 具有参数的伽玛分布 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $ .

证明

考虑联合分布 [eq56]在哪里 we have defined[eq55]我们 can write [eq58]在哪里 [eq59]是 一个依赖的函数 $ y $ (via $ sigma _ {n} ^ {2} $) but not on 西格玛^ 2., and [eq60]是 概率密度函数如果考虑为一个函数 $ sigma ^ {2} $ for any given $ y $ (note that $ g $ depends on $ y $ through $ sigma _ {n} ^ {2} $)。 In particular, [eq61] 是具有参数的逆伽马分布的密度 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $. Thus, by a well-known result 关于联合概率密度函数的分解,我们 have that [eq62]所以, 后部分布 [eq63] 是与参数的逆伽马 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $ . What distribution [eq64] 将在下一个证明中显示。

先前的预测分配

从属变量的先前预测分布 $ y $ is [eq65]那 is, a multivariate 学生的T分配 with mean $ x eta _ {0} $, scale matrix [eq66] and $ l $ degrees of freedom.

证明

先前的预测分配有 已经在以前的证据中得出。我们只需要执行一些 代数操纵为了清楚地表明它是多变量 学生的T分布与平均值 $ x eta _ {0} $, scale matrix [eq67] and $ l $ degrees of freedom: [eq68]

回归系数的后部分布

回归系数的后部分布 is[eq69]那 is, $ eta $ 具有与平均值的多变量t分布 $ eta _ {n} $, scale matrix [eq70] and $ n + l $ degrees of freedom.

证明

如上所述,我们有:1) conditional on 西格玛^ 2. and the data $left( y,X
ight) $, $ eta $ 多变量正常与平均值 $ eta _ {n} $ and variance $ sigma ^ {2} v_ {n} $; 2)数据上的条件 $left( y,X
ight) $, $ 1 / sigma ^ {2} $ 具有参数的伽玛分布 $ n + l $ and $ 1 / sigma _ {n} ^ {2} $. Thus, we can write[eq71]在哪里 Z 是标准多元常规矢量和 [eq72]现在 定义一个新变量 [eq73]哪一个, 通过伽玛分布的性质,具有伽马分布 parameters $ n + l $ and 1. We can now write[eq74][eq75]具有 标准多元学生的T分配 $ n + l $ 自由度(见 lecture 关于多元T分布)。作为结果, $ eta $ 有一个多变量学生的t分布,意思是 $ eta _ {n} $, scale matrix [eq76]$ n + l $ 自由程度。因此,它的密度 is[eq69]

如何引用

请引用:

Taboga, Marco (2017). "贝叶斯线性回归", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/Bayesian-regression.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。