搜索Statlect上的概率和统计信息
统计章程
指数 > Fundamentals of statistics

物流分类模型(Logit或Logistic回归)

经过 ,博士学位

物流分类模型(或Logit模型)是一个 binary classification model in which the conditional probability 两种可能之一 realizations of the 假设输出变量等于输入的线性组合 变量,由逻辑函数转换。

目录

分类与回归

通常调用Logit模型 Logistic回归模型. 但是,在这些讲义中,我们更愿意坚持“公约” (在机器学习社区中的广泛应用程序使用术语回归 仅适用于输出变量是连续的条件模型。所以我们 在此处使用术语分类,因为在Logit模型中输出是 discrete.

模型规格

假设我们观察数据样本 [eq1] for $ i = 1,ldots,n $. 样本中的每次观察都由:

假设输出 $ y_ {i} $ 可以只需要两个值,1或0(它是一个 Bernoulli random variable)。

输出的概率 $ y_ {i} $ 等于1,条件在输入上 $ x_ {i} $, is assumed to be[eq2]在哪里 [eq3]是 物流功能和 $ eta $ is a Kx1 系数矢量。

它立即看到了逻辑函数 $ sleft(t
Ight)$ 总是积极的。此外,它正在增加和 [eq4]所以 that it satisfies[eq5]

Thus, [eq6] 是一个明确的概率,因为它在0到1之间。

由于概率最多需要总结1,因此输出的概率 $ y_ {i} $ 等于0(唯一其他可能的实现 $ y_ {i} $) is[eq7]

解释

为什么以这种方式指定的物流分类模型?为什么是 用于转换输入线性组合的逻辑功能 $ x_ {i} eta $?

简单的答案是,我们想做与我们所做的事情相似的事情 in a linear regression model:使用输入的线性组合作为我们的预测 产出。但是,我们的预测需要是概率,并且有 无法保证线性组合 $ x_ {i} eta $ 因此,我们使用Logistic功能,因为它提供了一个 方便的改造方式 $ x_ {i} eta $ 并强迫它位于0到1之间的间隔。

我们可以使用其他享有类似的功能 物流功能。事实上,其他流行的分类模型 可以通过简单地用另一个物流函数来获得 函数并将其所有其他内容留在模型中不变。例如, 用累积分布函数替换Logit函数 标准正态分布,我们获得所谓的 probit model.

Logit模型作为潜在变量模型

另一种思考Logit模型的方法是定义潜在变量 (i.e., an unobserved variable)[eq8]在哪里 $ arepsilon _ {i} $ 是一个随机错误术语,为输入之间的关系添加噪音 $ x_ {i} $ and the variable $ z_ {i} $. The latent variable $ z_ {i} $ 然后假设确定输出 $ y_ {i} $ as follows:[eq9]从 这些假设和额外的假设 $ arepsilon _ {i} $ 周围有一个对称的分布 0 it follows that[eq10]在哪里 $ fleft({}
Ight)$ is the 累积分布 function 的 error $ arepsilon _ {i} $.

事实证明,用于定义Logit模型的逻辑函数是 对称概率分布的累积分布函数 称为标准物流分布。因此,Logit模型可以是 作为潜在的变量模型写成,由上面的等式(1)和(2)指定, in which the error $ arepsilon _ {i} $ 有一个物流分布。

通过为错误选择不同的分布 $ arepsilon _ {i} $, 我们获得其他二进制分类模型。例如,如果我们假设 $ arepsilon _ {i} $ 具有标准的正态分布,然后我们获得所谓的概率模型。

最大可能性估计

系数矢量 $ eta $ 经常估计 maximum likelihood methods.

假设观察 [eq1] in the sample are IID 和 denote the $尼姆1 $ 所有输出的矢量 $ y $ and the $尼姆k $ 所有输入的矩阵 X. 假设后者拥有完整的排名。

有可能证明(见讲座 Maximum Logit模型的可能性估计)最大可能性 estimator $ widehat {eta} $ (当存在时)可以通过执行简单来获得 Newton-Raphson 迭代如下:

最大可能性估计器的渐近协方差矩阵 $ widehat {eta} $ can be 始终如一 by [eq20]所以 那是估计者的分布 $ widehat {eta} $ 与平均等于的大致正常 $ eta $ and covariance matrix [eq21].

假设检验

如果使用最大似然程序估计Logit模型 上面的说明,任何一个古典 tests 基于最大可能性程序 (e.g., Wald, Likelihood Ratio, Lagrange Multiplier)可以用来 test an hypothesis 关于系数的矢量 $ eta $.

可以通过利用渐近常态来构建其他测试 最大似然估计器。例如,我们可以执行z测试以测试 null hypothesis [eq22]在哪里 $ eta _ {k} $ is the k - 系数矢量的进入 $ eta $ and $ qin u {211d} $.

The test statistic is[eq23]在哪里 [eq24] is the k - entry of $ widehat {eta} $ and [eq25] is the k - 进入矩阵的对角线 [eq26].

As the sample size $ n $ increases, $ z $ 收敛于分发到a standard normal distribution。后一分布可以使用 推导临界值 和 perform the test.

证明

我们 have[eq27]经过 最大似然估计器的渐近常态,分子 [eq28] converges in distribution 与平均值的正常随机变量 0. 此外,渐近协方差的估算者的一致性 matrix implies that[eq29]在哪里 [eq30] denotes convergence in probability。由这件事 Continuous Mapping theorem, [eq31]和, by Slutsky's theorem, $ z $ 收敛于分发到标准正常随机变量。

如何引用

请引用:

Taboga, Marco (2017). "物流分类模型(Logit或Logistic回归)", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/logistic-classification-model.

这本书

本网站上发现的大多数学习材料现在都以传统的教科书格式提供。