逻辑分类模型-最大真人在线斗地主估计

通过 马可·塔波加（Marco Taboga）博士

本讲座涉及物流的最大真人在线斗地主估计 分类模型（也称为logit模型或logistic回归）。

在阅读本讲座之前，您可能需要修改以下内容的讲座 最大 可能性 估计和 Logit 模型.

型号和符号

请记住，在logit模型中，输出变量 是一个 贝努利 随机变量 （只能接受两个值，即1或0） 和哪里 是 后勤职能， 是一个 输入向量和 是一个 系数向量。

此外，

系数向量 是要通过最大真人在线斗地主估计的参数。

我们假设估算是通过 IID样本 包括 数据点

可能性

观察的可能性 可以写 如

如果您想知道指数 和 或者，更一般而言，关于该可能性的公式，建议您 修改关于 分类 模型及其最大真人在线斗地主估计.

表示 所有输出的向量 和 所有输入的矩阵 . 由于观测值是IID，因此整个样本的可能性为 等于单身可能性的乘积 观察结果：

对数真人在线斗地主

逻辑模型的对数真人在线斗地主 是

分数

的 得分向量，即的向量 关于参数的对数真人在线斗地主的一阶导数 , 是

黑森州

黑森州，即二阶导数的矩阵， 是

一阶条件

最大真人在线斗地主估计 参数的 解决

通常，没有针对该最大化问题的解析解决方案， 解决方案必须以数字形式找到（请参阅标题为“ 最大 真人在线斗地主算法 介绍的数值最大化 可能性）。

而且，不能保证这个最大化问题有解决方案 因为可能会出现一些病理情况，其中对数真人在线斗地主是 参数的无界函数。在这些情况下 通过适当地选择所期望数真人在线斗地主可以制成大 . 当残差可以根据需要减小到最小时，就会发生这种情况 完全分开的课程）。这是不常见的情况。这意味着 该模型可以完美地拟合观察到的类别。在所有其他情况下， 最大化问题有一个解，最大分数向量 满足一阶条件 那 是的

注意 是使用提交的错误 作为...的预测因子 . 它类似于回归残差（请参阅 线性的 回归）。此外，上面的一阶条件类似于 估计线性回归模型时发现的一阶条件 用普通最小二乘法表示：残差必须与 预测变量 .

牛顿-拉夫森法

上面的一阶条件没有明确的解决方案。在大多数统计中 软件包可以通过使用 牛顿-拉夫森 方法。方法非常简单：我们从解决方案的猜测开始 （例如。， ）， 然后我们递归地使用 方程直到 数值收敛 解决方案 ）。

表示为 的 通过使用以下公式计算的输出的条件概率向量 如 参数：

表示为 的 对角矩阵（即所有非对角元素等于 ) 这样对角线上的元素是 , ...， :

的 的矩阵 输入

称为设计矩阵（如线性回归），假定为 全等级矩阵。

通过使用这种表示法，牛顿-拉夫森递归公式中的分数可以是 书面 如 和 黑森州 如

因此，牛顿-拉夫森公式 变成哪里 逆的存在 由以下假设保证 具有最高排名（该假设还保证对数真人在线斗地主是 凹和最大真人在线斗地主问题有一个独特的解决方案）。

迭代加权最小二乘法

如果您处理logit模型，您通常会读到它们可以估计 通过迭代加权最小二乘（IRLS）。牛顿-拉夫森公式 以上相当于IRLS公式 那 通过执行加权最小二乘（WLS）估算获得 重量 因变量的线性回归 在回归者上 .

IRLS公式也可以写成 如

估计量的协方差矩阵

最大真人在线斗地主估计量的渐近协方差矩阵 通常是用粗麻布估算的（请参阅有关 协方差 MLE估计量矩阵）， 如下： 哪里 和 ( 是用于最大化可能性的迭代过程的最后一步）。 结果， 可以用均值等于真实值的正态分布来近似 参数值和方差相等 至

如何引用

请引用为：

Taboga, Marco (2017). "逻辑分类模型-最大真人在线斗地主估计", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/logistic-model-maximum-likelihood.