在Statlect上搜索概率和统计术语
统计 列克特
指数 > 的基本原理 统计 > 最大似然

线性回归-最大似然估计

通过 博士

本讲座将说明如何执行最大似然估计 线性回归模型(即线性回归模型)的参数 误差项通常以条件为条件分布的回归模型 回归器。

为了完全理解本讲座中介绍的材料,可能需要 对修订有关的讲座很有用 最大 似然估计 并在 正常 线性回归模型.

目录

假设条件

目的是估计线性回归的参数 模型 [eq1]

哪里  $ y_ {i} $ 是因变量,  $ x_ {i} $ 是一个  $ 1imes K $ 回归向量  $ eta _ {0} $ 是个 Kx1 要估计的回归系数向量和 $  是 psilon _ {i} $ 是一个不可观察的错误项。

我们假设我们的样本由  $ N $ IID 观察 [eq2].

回归方程可以矩阵形式编写 如 [eq3]

在哪里  $尼姆1 $ 因变量的观测向量由表示  $ y $ , 的  $尼姆K $ 回归矩阵表示为 X, 和  $尼姆1 $ 错误项的向量由表示  ε .

我们还假设误差的向量  ε 有一个 多元正态分布 有条件的 上 X, 平均等于 0 和协方差矩阵相等 至 [eq4] 哪里 I 是个  $尼姆N $ 单位矩阵和 [eq5]

注意也 $ sigma _ {0} ^ {2} $ 是要估计的参数。

此外,假设回归矩阵 X 有完整的排名。

假设协方差矩阵为  ε 对角线表示  ε 相互独立(即, $  是 psilon _ {i} $ 独立于 $  是 psilon _ {j} $ 对于 $i
eq j$ )。 而且,它们都具有正态分布,均值 0 和方差 $ sigma _ {0} ^ {2} $.

通过属性 线性的 正常随机变量的变换,我们也有 因变量  $ y_ {i} $ 有条件地正常,平均 $ x_ {i} eta _ {0} $ 和方差 $ sigma _ {0} ^ {2} $. 因此, 有条件的 概率密度函数 的因变量是 [eq6]

似然函数

似然函数 是 [eq7]

证明

由于来自样本的观察是 独立的,样本的可能性等于 单身的可能性 观察结果: [eq8]

对数似然函数

对数似然函数是 [eq9]

证明

它是通过服用天然 似然的对数 功能: [eq10]

最大似然估计

回归系数和的最大似然估计 误差项的方差 是 [eq11]

证明

估计器解决以下问题 最大化问题 [eq12] 的 一阶条件最大 [eq13] 哪里 $
abla _{eta }$ 表示相对于  $ eta $ , 也就是对数似然的偏导数的向量 关于...的条目  $ eta $ . 渐变是 [eq14] 哪一个 仅等于零 如果 [eq15] 因此, 如果满足,则满足两个方程式中的第一个 [eq16] 哪里 我们使用的假设是 X 拥有全职,因此,  $ X ^ {op} X $ 是可逆的。对数似然相对于的偏导数 方差是 [eq17] 哪一个, 如果我们假设 $sigma ^{2}
eq 0$, 仅等于零 如果 [eq18] 从而, 一阶条件系统 通过 [eq19] 注意 那 [eq20] 不依赖 [eq21], 因此这是一个明确的解决方案。

因此,最大似然估计值为:

  1. 对于回归系数,通常使用OLS估计器;

  2. 对于误差项的方差, 未经调整的样本 方差 残差 [eq22].

渐近方差

的向量 参数 [eq23] 是 渐近均值相等的渐近正态 至 [eq24] 和 渐近的 协方差矩阵 等于 至 [eq25]

证明

首先 K 得分向量的条目 [eq26][eq27]$ left(K + 1
权)$ -th 得分向量的输入 是 [eq28] 的 粗麻布,即二阶导数矩阵,可以写成一个块 矩阵 [eq29] 让 我们计算 块: [eq30][eq31] 最后, [eq32] 因此,黑森州 是 [eq33] 通过 信息平等,我们有 那 [eq34][eq35] 和, 通过迭代法 期望, [eq36] 从而, [eq37] 如 结果,渐近协方差矩阵 是 [eq38]

这意味着参数向量的概率分布 估计 [eq39] 能够 近似为 多元正态 分配 刻薄 [eq40] 和 协方差 矩阵 [eq41]

如何引用

请引用为:

Taboga, Marco (2017). "线性回归-最大似然估计", 列克特 ures 上 probability 的 ory 和 mathematical 统计 , Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/linear-regression-maximum-likelihood.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。