在Statlect上搜索真人在线斗地主和统计术语
统计列克特
指数 > 的基本原理 统计

真人在线斗地主分类模型-最大似然

通过 博士

本讲座说明了如何执行最大似然估计 真人在线斗地主模型的系数(也称为真人在线斗地主回归)。

在阅读本讲座之前,阅读介绍可能会有所帮助 关于的讲座 最大似然 估算 关于 真人在线斗地主 模型.

目录

主要假设和符号

在真人在线斗地主模型中,输出变量 $ y_ {i} $ 是一个 贝努利 随机变量 (即,仅可以使用两个值的离散变量, 要么 1 要么 0)。

有条件的 $ 1imes K $ 输入向量 $ x_ {i} $, 我们有 那[eq1]哪里 $Fleft( t
ight) $ 是个 累积分布 功能 标准正常 分配$ eta $ 是一个 Kx1 系数向量。

我们假设 独立和 分布均匀 输入输出对 [eq2], 对于 $ i = 1,ldots,N $, 被观察并用于估计向量 $ eta $.

可能性

单次观察的可能性 [eq3][eq4]

实际上,请注意

由于观测值是IID,因此整个样本的可能性为 等于单身可能性的乘积 观察结果:[eq7]哪里 $ y $ 是个 $尼姆1 $ 所有输出的向量和 X 是个 $尼姆K $ 所有输入的矩阵。

现在,定义 [eq8] 以便

通过使用新定义的变量 $ q_ {i} $, 我们也可以在以下更紧凑的形式中写出可能性 形成:[eq9]

证明

首先要注意的是 $ y_ {i} = 1 $, 然后 $ q_ {i} = 1 $[eq10]此外, 什么时候 $ y_ {i} = 0 $, 然后 $ q_ {i} =-1 $[eq11]以来 $ y_ {i} $ 只能取两个值 (01), (a)和(b)暗示 那[eq12]对于 所有 $ y_ {i} $. 而且,周围的标准正态分布的对称性 0 暗示 [eq13]所以, 什么时候 $ y_ {i} = 0 $, 然后 $ q_ {i} =-1 $[eq14]什么时候 $ y_ {i} = 1 $, 然后 $ q_ {i} = 1 $[eq15]从而, 它来自(c)和(d) 那[eq16]对于 所有 $ y_ {i} $. 由于这些事实,我们可以写出可能性 如 [eq17]

对数似然

对数似然 是[eq18]

证明

计算方法如下:

[eq19]

通过使用 $ q_ {i} $ 变量,对数似然也可以写成 如 [eq20]

证明

这是从 可能性:[eq21]

分数

得分向量,即的向量 关于参数的对数似然的一阶导数 $ eta $, 是[eq22]哪里 $fleft( t
ight) $ 是个 真人在线斗地主密度 功能 标准正态分布的

证明

这是作为获得 如下:[eq23]哪里 在步 $ rame {A} $ 我们已经使用了真人在线斗地主密度函数是导数的事实 的累积分布函数 是的[eq24]

通过使用 $ q_ {i} $ 变量,分数也可以写成 如 [eq25]哪里[eq26]

证明

这证明为 如下:[eq27]

黑森州

黑森州,即二阶导数的矩阵, 是[eq28]

证明

可以证明为 如下:[eq29]

可以证明(例如, 雨宫1985) 数量[eq30]是 总是积极的。

一阶条件

最大似然估计 $ widehat {heta} $ 参数的 $ heta $ 获得以下最大化的解决方案 问题:[eq31]

对于logit模型,对于probit模型,最大问题是 不能保证有一个解决方案,但是当有一个解决方案时,最大 分数向量满足一阶 健康)状况[eq32]那 是的[eq33]

数量 [eq34] 是残差,即使用 [eq35] 预测 $ y_ {i} $. 注意关于logit模型的区别:

通过使用 $ q_ {i} $ 变量和上面得出的分数的第二个表达式,第一个 订单条件也可以写成 [eq37]哪里[eq26]

牛顿-拉夫森法

没有一阶条件的解析解。其中最...之一 数值求解的常见方法是使用 牛顿-拉夫森 方法。这是一种迭代方法。从最初的猜测开始 解 [eq39] (例如。, [eq40]), 我们生成一个序列 猜测[eq41]和 当达到数值收敛时,我们停止(请参阅 最大 似然算法 介绍数值优化方法 和数值收敛)。

定义[eq42]

$尼姆1 $ 向量[eq43]

表示为 $ W_ {t} $$尼姆N $ 对角矩阵(即所有非对角元素等于 0) 这样对角线上的元素是 [eq44], ..., [eq45]:[eq46]的 矩阵 $ W_ {t} $ 是正定的,因为其所有对角线项均为正(请参见 有关上述黑森州的评论)。

最后, $尼姆K $ 定义的输入矩阵(设计矩阵) 通过[eq47]是 假设拥有全职。

有了刚刚介绍的符号,我们可以写分数 如 [eq48]和 黑森州 如 [eq49]

因此,Newton-Raphson递归公式 变成[eq50]

假设 X 有全等级保证逆的存在 [eq51]. 此外,它可以确保黑森州为负定,因此 对数似然是凹的。

迭代加权最小二乘法

对于logit分类模型,对于真人在线斗地主模型也是如此 直接证明Newton-Raphson迭代等于 迭代加权最小二乘(IRLS)迭代: [eq52]哪里 我们使用权重执行加权最小二乘(WLS)估计 $ W_ {t-1} $ 因变量的线性回归 [eq53] 在回归者上 X.

证明

[eq54][eq55]然后, 牛顿-拉夫森公式可以写成 如 [eq56]

估计量的协方差矩阵

上面导出的Hessian矩阵通常用于估算 渐近的 协方差 矩阵 最大似然估计的 $ widehat {eta} $:[eq57]哪里 [eq58]$ W = W_ {T} $ ($ T $ 是用于最大化可能性的迭代过程的最后一步)。

负黑森州的逆数除以 样本量,收敛到渐近协方差矩阵可以在 讲座 估计 MLE估计量的协方差矩阵.

鉴于以上对渐近协方差矩阵的估计,分布 的 $ widehat {eta} $ 可以用均值等于真实值的正态分布来近似 参数和协方差矩阵 [eq59]

参考文献

Amemiya,T.(1985年) 高级 计量经济学,哈佛大学出版社。

如何引用

请引用为:

Taboga, Marco (2017). "真人在线斗地主分类模型-最大似然", 列克特ures on probability 的ory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/probit-model-maximum-likelihood.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。