本讲座涉及物流的最大真人在线斗地主估计 分类模型(也称为logit模型或logistic回归)。
在阅读本讲座之前,您可能需要修改以下内容的讲座 最大 可能性 估计和 Logit 模型.
请记住,在logit模型中,输出变量
是一个 贝努利
随机变量 (只能接受两个值,即1或0)
和
哪里
是
后勤职能,
是一个
输入向量和
是一个
系数向量。
此外,
系数向量
是要通过最大真人在线斗地主估计的参数。
我们假设估算是通过
IID样本 包括
数据点
观察的可能性
可以写
如
如果您想知道指数
和
或者,更一般而言,关于该可能性的公式,建议您
修改关于
分类
模型及其最大真人在线斗地主估计.
表示
所有输出的向量
和
所有输入的矩阵
.
由于观测值是IID,因此整个样本的可能性为
等于单身可能性的乘积
观察结果:
逻辑模型的对数真人在线斗地主
是
计算方法如下:
的 得分向量,即的向量
关于参数的对数真人在线斗地主的一阶导数
,
是
这是作为获得
如下:
黑森州,即二阶导数的矩阵,
是
可以证明为
如下:哪里
我们使用了逻辑函数的导数的事实
是
最大真人在线斗地主估计
参数的
解决
通常,没有针对该最大化问题的解析解决方案, 解决方案必须以数字形式找到(请参阅标题为“ 最大 真人在线斗地主算法 介绍的数值最大化 可能性)。
而且,不能保证这个最大化问题有解决方案
因为可能会出现一些病理情况,其中对数真人在线斗地主是
参数的无界函数。在这些情况下
通过适当地选择所期望数真人在线斗地主可以制成大
.
当残差可以根据需要减小到最小时,就会发生这种情况
完全分开的课程)。这是不常见的情况。这意味着
该模型可以完美地拟合观察到的类别。在所有其他情况下,
最大化问题有一个解,最大分数向量
满足一阶条件
那
是的
注意
是使用提交的错误
作为...的预测因子
.
它类似于回归残差(请参阅
线性的
回归)。此外,上面的一阶条件类似于
估计线性回归模型时发现的一阶条件
用普通最小二乘法表示:残差必须与
预测变量
.
上面的一阶条件没有明确的解决方案。在大多数统计中
软件包可以通过使用
牛顿-拉夫森
方法。方法非常简单:我们从解决方案的猜测开始
(例如。,
),
然后我们递归地使用
方程
直到
数值收敛
解决方案
)。
表示为
的
通过使用以下公式计算的输出的条件概率向量
如
参数:
表示为
的
对角矩阵(即所有非对角元素等于
)
这样对角线上的元素是
,
...,
:
的
的矩阵
输入
称为设计矩阵(如线性回归),假定为 全等级矩阵。
通过使用这种表示法,牛顿-拉夫森递归公式中的分数可以是
书面
如 和
黑森州
如
因此,牛顿-拉夫森公式
变成哪里
逆的存在
由以下假设保证
具有最高排名(该假设还保证对数真人在线斗地主是
凹和最大真人在线斗地主问题有一个独特的解决方案)。
如果您处理logit模型,您通常会读到它们可以估计
通过迭代加权最小二乘(IRLS)。牛顿-拉夫森公式
以上相当于IRLS公式
那
通过执行加权最小二乘(WLS)估算获得
重量
因变量的线性回归
在回归者上
.
写
如
然后,
我们可以将Newton Raphson公式重写为
如下:
IRLS公式也可以写成
如
最大真人在线斗地主估计量的渐近协方差矩阵
通常是用粗麻布估算的(请参阅有关
协方差
MLE估计量矩阵), 如下:
哪里
和
(
是用于最大化可能性的迭代过程的最后一步)。
结果,
可以用均值等于真实值的正态分布来近似
参数值和方差相等
至
请引用为:
Taboga, Marco (2017). "逻辑分类模型-最大真人在线斗地主估计", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/logistic-model-maximum-likelihood.