物流分类模型（Logit或Logistic回归）

经过 Marco Taboga.，博士学位

物流分类模型（或Logit模型）是一个 binary classification model in which the conditional probability 两种可能之一 realizations of the 假设输出变量等于输入的线性组合 变量，由逻辑函数转换。

分类与回归

通常调用Logit模型 Logistic回归模型. 但是，在这些讲义中，我们更愿意坚持“公约” （在机器学习社区中的广泛应用程序使用术语回归 仅适用于输出变量是连续的条件模型。所以我们 在此处使用术语分类，因为在Logit模型中输出是 discrete.

模型规格

假设我们观察数据样本 for . 样本中的每次观察都由：

• 输出变量表示 ;

• a 输入的矢量，表示 .

假设输出 可以只需要两个值，1或0（它是一个 Bernoulli random variable）。

输出的概率 等于1，条件在输入上 , is assumed to be在哪里 是 物流功能和 is a 系数矢量。

它立即看到了逻辑函数 总是积极的。此外，它正在增加和 所以 that it satisfies

Thus, 是一个明确的概率，因为它在0到1之间。

由于概率最多需要总结1，因此输出的概率 等于0（唯一其他可能的实现 ) is

解释

为什么以这种方式指定的物流分类模型？为什么是 用于转换输入线性组合的逻辑功能 ?

简单的答案是，我们想做与我们所做的事情相似的事情 in a linear regression model：使用输入的线性组合作为我们的预测 产出。但是，我们的预测需要是概率，并且有 无法保证线性组合 因此，我们使用Logistic功能，因为它提供了一个 方便的改造方式 并强迫它位于0到1之间的间隔。

我们可以使用其他享有类似的功能 物流功能。事实上，其他流行的分类模型 可以通过简单地用另一个物流函数来获得 函数并将其所有其他内容留在模型中不变。例如， 用累积分布函数替换Logit函数 标准正态分布，我们获得所谓的 probit model.

Logit模型作为潜在变量模型

另一种思考Logit模型的方法是定义潜在变量 (i.e., an unobserved variable)在哪里 是一个随机错误术语，为输入之间的关系添加噪音 and the variable . The latent variable 然后假设确定输出 as follows:从 这些假设和额外的假设 周围有一个对称的分布 it follows that在哪里 is the 累积分布 function 的 error .

事实证明，用于定义Logit模型的逻辑函数是 对称概率分布的累积分布函数 称为标准物流分布。因此，Logit模型可以是 作为潜在的变量模型写成，由上面的等式（1）和（2）指定， in which the error 有一个物流分布。

通过为错误选择不同的分布 , 我们获得其他二进制分类模型。例如，如果我们假设 具有标准的正态分布，然后我们获得所谓的概率模型。

最大可能性估计

系数矢量 经常估计 maximum likelihood methods.

假设观察 in the sample are IID 和 denote the 所有输出的矢量 and the 所有输入的矩阵 . 假设后者拥有完整的排名。

有可能证明（见讲座 Maximum Logit模型的可能性估计）最大可能性 estimator （当存在时）可以通过执行简单来获得 Newton-Raphson 迭代如下：

• start from a guess (e.g., ）;

• 递归更新 guess:在哪里：和 is an 对角线矩阵（即，具有等于的所有非对角线元素 ) 使得其对角线上的元素是

• 当实现数值趋同时，停止，即差异 between and 这么小，可以忽略不计;

• 设置最大可能性估计器 等于上次更新 （表示最后一次迭代 ）。

最大可能性估计器的渐近协方差矩阵 can be 始终如一 by 所以 那是估计者的分布 与平均等于的大致正常 and covariance matrix .

假设检验

如果使用最大似然程序估计Logit模型 上面的说明，任何一个古典 tests 基于最大可能性程序 (e.g., Wald, Likelihood Ratio, Lagrange Multiplier）可以用来 test an hypothesis 关于系数的矢量 .

可以通过利用渐近常态来构建其他测试 最大似然估计器。例如，我们可以执行z测试以测试 null hypothesis 在哪里 is the - 系数矢量的进入 and .

The test statistic is在哪里 is the - entry of and is the - 进入矩阵的对角线 .

As the sample size increases, 收敛于分发到a standard normal distribution。后一分布可以使用 推导临界值 和 perform the test.

如何引用

请引用：

Taboga, Marco (2017). "物流分类模型（Logit或Logistic回归）", Lectures on probability theory and mathematical statistics, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/logistic-classification-model.

<map id="CPKGXfK"><footer id="eio4d4M"></footer></map>