在Statlect上搜索概率和统计术语
统计 列克特
指数 > 的基本原理 统计

概率分类模型(或概率回归)

通过 博士

本讲讲的是概率模型 二元 分类模型 在其中 有条件的 可能性 两种可能之一 实现 的 输出变量等于输入的线性组合,由 的 累积分布 功能 标准正常 分配 .

目录

型号规格

假设数据样本 [eq1], 对于 $ i = 1,ldots,N $, 被观察到,其中:

输出的条件概率  $ y_ {i} $ 等于 1, 给定输入  $ x_ {i} $ , 被假定为 是 [eq2] 哪里 $ Fleft(t
权)$ 是标准正态分布的累积分布函数 和  $ eta $ 是一个 Kx1 系数向量。

而且,如果  $ y_ {i} $ 不等于 1, 那等于 0 (不可能有其他值),并且需要两个值的概率 总结到 1, 所以 那 [eq3]

解释

概率模型的解释与logit的解释非常相似 模型。建议您阅读有关解释的注释。 后者在演讲中 后勤 分类模型.

概率模型作为潜在变量模型

与logit一样,概率模型也可以写为潜在 可变模型。

定义一个潜在变量 [eq4] 哪里 $ arepsilon _ {i} $ 是具有标准正态分布的随机误差项。输出  $ y_ {i} $ 通过以下方式链接到潜在变量 关系: [eq5] 我们 有 那 [eq6] 所以 由(1)和(2)指定的潜变量模型分配给输入 概率模型分配的相同条件分布。

通过最大似然估计

系数向量  $ eta $ 可以通过 最大 可能性 (ML)。

我们假设观察 [eq1] 样本中的样本独立且相同地分布 ( IID ),而他  $尼姆K $ 定义的输入矩阵 通过 [eq8] 具有 全职。

在单独的演讲中 ( ML 概率模型的估计),我们证明了ML估计器 $ widehat {eta} $ 可以通过以下迭代过程找到(如果存在)。

从解决方案的初步猜测开始 [eq9] (例如。, [eq10] ), 我们生成一个序列 猜测 [eq11]

 $ W_ {t-1} $ 是一个  $尼姆N $ 对角矩阵和 $ lambda _ {t-1} $ 是一个  $尼姆1 $ 向量。它们的计算如下:

当达到数值收敛时,迭代过程停止,即, 当两个连续猜测之间的差异时 [eq16][eq17] 很小,我们可以忽略它。

如果  $ T $ 是迭代过程的最后一步,则最大似然 估计量 是 [eq18] 和 其渐近 协方差 矩阵 [eq19] 哪里  $ W = W_ {T} $ .

结果, $ widehat {eta} $ 可以用均值等于真实值的正态分布来近似 参数和协方差矩阵 [eq20].

假设检验

当我们最大估计概率分类模型的系数时 可能性(请参阅上一节),我们可以进行 假设 基于最大似然法的检验 (例如。, 沃尔德 , 可能性 比 , 拉格朗日 乘数 )测试 空值 假设 关于系数。

此外,我们可以设置z测试来测试单个 系数: [eq21] 哪里  $ eta _ {k} $ 是个 k -th 系数向量的输入  $ eta $ $ qin U {211d} $.

测试统计[eq22] 哪里 [eq23] 是个 k -th 进入 $ widehat {eta} $[eq24] 是个 k -th 矩阵对角线上的项 [eq25].

以来 $ widehat {eta} $ 渐近是正常的 [eq26] 是一个 一致估计 的 的渐近协方差矩阵 $ widehat {eta} $,  $ z $ 收敛到一个 标准正常 分配 (该证明与我们为 z统计量的渐近正态性 Logit 模型 )。

通过近似的分布  $ z $ 用它的渐近线(标准法线),我们可以 得出临界值 (取决于 所需 尺寸 )并执行 测试。

如何引用

请引用为:

Taboga, Marco (2017). "概率分类模型(或概率回归)", 列克特 ures on 可能性 的 要么 y 和 mathematical 统计 , Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/probit-classification-model.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。