在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

逻辑分类模型-最大真人在线斗地主估计

通过 博士

本讲座涉及物流的最大真人在线斗地主估计 分类模型(也称为logit模型或logistic回归)。

在阅读本讲座之前,您可能需要修改以下内容的讲座 最大 可能性 估计和 Logit 模型.

目录

型号和符号

请记住,在logit模型中,输出变量 $ y_ {i} $ 是一个 贝努利 随机变量 (只能接受两个值,即1或0) 和[eq1]哪里 [eq2]是 后勤职能, $ x_ {i} $ 是一个 $ 1imes K $ 输入向量和 $ eta $ 是一个 Kx1 系数向量。

此外,[eq3]

系数向量 $ eta $ 是要通过最大真人在线斗地主估计的参数。

我们假设估算是通过 IID样本 包括 $ N $ 数据点 [eq4]

可能性

观察的可能性 [eq5] 可以写 如 [eq6]

如果您想知道指数 $ y_ {i} $$ 1-y_ {i} $ 或者,更一般而言,关于该可能性的公式,建议您 修改关于 分类 模型及其最大真人在线斗地主估计.

表示 $尼姆1 $ 所有输出的向量 $ y $$尼姆K $ 所有输入的矩阵 X. 由于观测值是IID,因此整个样本的可能性为 等于单身可能性的乘积 观察结果:[eq7]

对数真人在线斗地主

逻辑模型的对数真人在线斗地主 是[eq8]

证明

计算方法如下:

[eq9]

分数

得分向量,即的向量 关于参数的对数真人在线斗地主的一阶导数 $ eta $, 是[eq10]

证明

这是作为获得 如下:[eq11]

黑森州

黑森州,即二阶导数的矩阵, 是[eq12]

证明

可以证明为 如下:[eq13]哪里 我们使用了逻辑函数的导数的事实 $ Sleft(t
权)$[eq14]

一阶条件

最大真人在线斗地主估计 $ widehat {heta} $ 参数的 $ heta $ 解决[eq15]

通常,没有针对该最大化问题的解析解决方案, 解决方案必须以数字形式找到(请参阅标题为“ 最大 真人在线斗地主算法 介绍的数值最大化 可能性)。

而且,不能保证这个最大化问题有解决方案 因为可能会出现一些病理情况,其中对数真人在线斗地主是 参数的无界函数。在这些情况下 通过适当地选择所期望数真人在线斗地主可以制成大 $ eta $. 当残差可以根据需要减小到最小时,就会发生这种情况 完全分开的课程)。这是不常见的情况。这意味着 该模型可以完美地拟合观察到的类别。在所有其他情况下, 最大化问题有一个解,最大分数向量 满足一阶条件 [eq16]那 是的[eq17]

注意 [eq18] 是使用提交的错误 [eq19] 作为...的预测因子 $ y_ {i} $. 它类似于回归残差(请参阅 线性的 回归)。此外,上面的一阶条件类似于 估计线性回归模型时发现的一阶条件 用普通最小二乘法表示:残差必须与 预测变量 $ x_ {i} $.

牛顿-拉夫森法

上面的一阶条件没有明确的解决方案。在大多数统计中 软件包可以通过使用 牛顿-拉夫森 方法。方法非常简单:我们从解决方案的猜测开始 [eq20] (例如。, [eq21]), 然后我们递归地使用 方程[eq22]直到 数值收敛 [eq23] 解决方案 $ widehat {eta} $)。

表示为 $ widehat {y} _ {t} $$尼姆1 $ 通过使用以下公式计算的输出的条件概率向量 [eq23] 如 参数:[eq25]

表示为 $ W_ {t} $$尼姆N $ 对角矩阵(即所有非对角元素等于 0) 这样对角线上的元素是 [eq26], ..., [eq27]:[eq28]

$尼姆K $ 的矩阵 输入[eq29]

称为设计矩阵(如线性回归),假定为 全等级矩阵。

通过使用这种表示法,牛顿-拉夫森递归公式中的分数可以是 书面 如 [eq30]和 黑森州 如 [eq31]

因此,牛顿-拉夫森公式 变成[eq32]哪里 逆的存在 [eq33] 由以下假设保证 X 具有最高排名(该假设还保证对数真人在线斗地主是 凹和最大真人在线斗地主问题有一个独特的解决方案)。

迭代加权最小二乘法

如果您处理logit模型,您通常会读到它们可以估计 通过迭代加权最小二乘(IRLS)。牛顿-拉夫森公式 以上相当于IRLS公式 [eq34]那 通过执行加权最小二乘(WLS)估算获得 重量 $ W_ {t-1} $ 因变量的线性回归 [eq35] 在回归者上 X.

证明

[eq36][eq37]然后, 我们可以将Newton Raphson公式重写为 如下:[eq38]

IRLS公式也可以写成 如 [eq39]

估计量的协方差矩阵

最大真人在线斗地主估计量的渐近协方差矩阵 $ widehat {eta} $ 通常是用粗麻布估算的(请参阅有关 协方差 MLE估计量矩阵), 如下: [eq40]哪里 [eq41]$ W = W_ {T} $ ($ T $ 是用于最大化可能性的迭代过程的最后一步)。 结果, $ widehat {eta} $ 可以用均值等于真实值的正态分布来近似 参数值和方差相等 至[eq42]

如何引用

请引用为:

Taboga, Marco (2017). "逻辑分类模型-最大真人在线斗地主估计", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/logistic-model-maximum-likelihood.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。