真人在线斗地主分类模型-最大似然

通过 马可·塔波加（Marco Taboga）博士

本讲座说明了如何执行最大似然估计 真人在线斗地主模型的系数（也称为真人在线斗地主回归）。

在阅读本讲座之前，阅读介绍可能会有所帮助 关于的讲座 最大似然 估算 关于 真人在线斗地主 模型.

主要假设和符号

在真人在线斗地主模型中，输出变量 是一个 贝努利 随机变量 （即，仅可以使用两个值的离散变量， 要么 要么 ）。

有条件的 输入向量 , 我们有 那哪里 是个 累积分布 功能 的 标准正常 分配 和 是一个 系数向量。

我们假设 独立和 分布均匀 输入输出对 , 对于 , 被观察并用于估计向量 .

可能性

单次观察的可能性 是

实际上，请注意

• 什么时候 , 然后 和 ;

• 什么时候 , 然后 和 ;

由于观测值是IID，因此整个样本的可能性为 等于单身可能性的乘积 观察结果：哪里 是个 所有输出的向量和 是个 所有输入的矩阵。

现在，定义 以便

• 如果 ;

• 如果 .

通过使用新定义的变量 , 我们也可以在以下更紧凑的形式中写出可能性 形成：

对数似然

对数似然 是

通过使用 变量，对数似然也可以写成 如

分数

的 得分向量，即的向量 关于参数的对数似然的一阶导数 , 是哪里 是个 真人在线斗地主密度 功能 标准正态分布的

通过使用 变量，分数也可以写成 如 哪里

黑森州

黑森州，即二阶导数的矩阵， 是

可以证明（例如， 雨宫1985） 数量是 总是积极的。

一阶条件

最大似然估计 参数的 获得以下最大化的解决方案 问题：

对于logit模型，对于probit模型，最大问题是 不能保证有一个解决方案，但是当有一个解决方案时，最大 分数向量满足一阶 健康）状况那 是的

数量 是残差，即使用 预测 . 注意关于logit模型的区别：

• 在logit模型中，残差需要与预测变量正交 ;

• 在真人在线斗地主模型中，正交条件满足 加权的 残渣分配给每个残差的权重 是

通过使用 变量和上面得出的分数的第二个表达式，第一个 订单条件也可以写成 哪里

牛顿-拉夫森法

没有一阶条件的解析解。其中最...之一 数值求解的常见方法是使用 牛顿-拉夫森 方法。这是一种迭代方法。从最初的猜测开始 解 （例如。， ）， 我们生成一个序列 猜测和 当达到数值收敛时，我们停止（请参阅 最大 似然算法 介绍数值优化方法 和数值收敛）。

定义

和 向量

表示为 的 对角矩阵（即所有非对角元素等于 ) 这样对角线上的元素是 , ...， :的 矩阵 是正定的，因为其所有对角线项均为正（请参见 有关上述黑森州的评论）。

最后， 定义的输入矩阵（设计矩阵） 通过是 假设拥有全职。

有了刚刚介绍的符号，我们可以写分数 如 和 黑森州 如

因此，Newton-Raphson递归公式 变成

假设 有全等级保证逆的存在 . 此外，它可以确保黑森州为负定，因此 对数似然是凹的。

迭代加权最小二乘法

对于logit分类模型，对于真人在线斗地主模型也是如此 直接证明Newton-Raphson迭代等于 迭代加权最小二乘（IRLS）迭代： 哪里 我们使用权重执行加权最小二乘（WLS）估计 因变量的线性回归 在回归者上 .

估计量的协方差矩阵

上面导出的Hessian矩阵通常用于估算 渐近的 协方差 矩阵 最大似然估计的 :哪里 和 ( 是用于最大化可能性的迭代过程的最后一步）。

负黑森州的逆数除以 样本量，收敛到渐近协方差矩阵可以在 讲座 估计 MLE估计量的协方差矩阵.

鉴于以上对渐近协方差矩阵的估计，分布 的 可以用均值等于真实值的正态分布来近似 参数和协方差矩阵

参考文献

Amemiya，T.（1985年） 高级 计量经济学，哈佛大学出版社。

如何引用

请引用为：

Taboga, Marco (2017). "真人在线斗地主分类模型-最大似然", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/probit-model-maximum-likelihood.