本讲座说明了如何执行最大似然估计 真人在线斗地主模型的系数(也称为真人在线斗地主回归)。
在阅读本讲座之前,阅读介绍可能会有所帮助 关于的讲座 最大似然 估算 关于 真人在线斗地主 模型.
在真人在线斗地主模型中,输出变量
是一个 贝努利
随机变量 (即,仅可以使用两个值的离散变量,
要么
要么
)。
有条件的
输入向量
,
我们有
那
哪里
是个 累积分布
功能 的
标准正常
分配 和
是一个
系数向量。
我们假设 独立和
分布均匀 输入输出对
,
对于
,
被观察并用于估计向量
.
单次观察的可能性
是
实际上,请注意
什么时候
,
然后
和
;
什么时候
,
然后
和
;
由于观测值是IID,因此整个样本的可能性为
等于单身可能性的乘积
观察结果:哪里
是个
所有输出的向量和
是个
所有输入的矩阵。
现在,定义
以便
如果
;
如果
.
通过使用新定义的变量
,
我们也可以在以下更紧凑的形式中写出可能性
形成:
首先要注意的是
,
然后
和
此外,
什么时候
,
然后
和
以来
只能取两个值
(
和
),
(a)和(b)暗示
那
对于
所有
.
而且,周围的标准正态分布的对称性
暗示
所以,
什么时候
,
然后
和
什么时候
,
然后
和
从而,
它来自(c)和(d)
那
对于
所有
.
由于这些事实,我们可以写出可能性
如
对数似然
是
计算方法如下:
通过使用
变量,对数似然也可以写成
如
这是从
可能性:
的 得分向量,即的向量
关于参数的对数似然的一阶导数
,
是
哪里
是个 真人在线斗地主密度
功能 标准正态分布的
这是作为获得
如下:哪里
在步
我们已经使用了真人在线斗地主密度函数是导数的事实
的累积分布函数
是的
通过使用
变量,分数也可以写成
如
哪里
这证明为
如下:
黑森州,即二阶导数的矩阵,
是
可以证明为
如下:
可以证明(例如, 雨宫1985)
数量是
总是积极的。
最大似然估计
参数的
获得以下最大化的解决方案
问题:
对于logit模型,对于probit模型,最大问题是
不能保证有一个解决方案,但是当有一个解决方案时,最大
分数向量满足一阶
健康)状况那
是的
数量
是残差,即使用
预测
.
注意关于logit模型的区别:
在logit模型中,残差需要与预测变量正交
;
在真人在线斗地主模型中,正交条件满足
加权的 残渣分配给每个残差的权重
是
通过使用
变量和上面得出的分数的第二个表达式,第一个
订单条件也可以写成
哪里
没有一阶条件的解析解。其中最...之一
数值求解的常见方法是使用
牛顿-拉夫森
方法。这是一种迭代方法。从最初的猜测开始
解
(例如。,
),
我们生成一个序列
猜测
和
当达到数值收敛时,我们停止(请参阅
最大
似然算法 介绍数值优化方法
和数值收敛)。
定义
和
向量
表示为
的
对角矩阵(即所有非对角元素等于
)
这样对角线上的元素是
,
...,
:
的
矩阵
是正定的,因为其所有对角线项均为正(请参见
有关上述黑森州的评论)。
最后,
定义的输入矩阵(设计矩阵)
通过
是
假设拥有全职。
有了刚刚介绍的符号,我们可以写分数
如 和
黑森州
如
因此,Newton-Raphson递归公式
变成
假设
有全等级保证逆的存在
.
此外,它可以确保黑森州为负定,因此
对数似然是凹的。
对于logit分类模型,对于真人在线斗地主模型也是如此
直接证明Newton-Raphson迭代等于
迭代加权最小二乘(IRLS)迭代:
哪里
我们使用权重执行加权最小二乘(WLS)估计
因变量的线性回归
在回归者上
.
写
如
然后,
牛顿-拉夫森公式可以写成
如
上面导出的Hessian矩阵通常用于估算
渐近的
协方差
矩阵 最大似然估计的
:
哪里
和
(
是用于最大化可能性的迭代过程的最后一步)。
负黑森州的逆数除以 样本量,收敛到渐近协方差矩阵可以在 讲座 估计 MLE估计量的协方差矩阵.
鉴于以上对渐近协方差矩阵的估计,分布
的
可以用均值等于真实值的正态分布来近似
参数和协方差矩阵
Amemiya,T.(1985年) 高级 计量经济学,哈佛大学出版社。
请引用为:
Taboga, Marco (2017). "真人在线斗地主分类模型-最大似然", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/probit-model-maximum-likelihood.