分类真人在线斗地主

通过 马可·塔波加（Marco Taboga）博士

分类真人在线斗地主属于 条件真人在线斗地主， 那是， 指定概率真人在线斗地主的概率真人在线斗地主 有条件的 可能性 给定输入的输出变量的分布。的 分类真人在线斗地主的独特之处在于，在这些真人在线斗地主中，输出具有 离散概率分布（与回归真人在线斗地主相对，其中 输出变量是连续的）。

分类真人在线斗地主的类型

分类真人在线斗地主有两种不同的风格：

• 二元分类 真人在线斗地主，其中输出变量具有 贝努利 分配 以输入为条件；

• 多项式分类真人在线斗地主，其中输出有一个 Multinoulli 分配 以输入为条件。

请记住，伯努利随机变量只能采用两个值，即1 或0。因此，当输出只能采用两个值时，将使用二进制真人在线斗地主。

Multinoulli分布更一般。可用于建模输出 可以采用两个或多个值。如果输出变量可以取 不同的值，则将其表示为 Multinoulli随机向量，即其 实现 有 所有条目等于0，除了对应于已实现的条目 输出值，等于 1

前面的示例还显示了一个二进制分类真人在线斗地主（Bernoulli 分布）总是可以写成多项式真人在线斗地主（Multinoulli 分配）。

主要假设和符号

现在，我们介​​绍主要假设，符号和术语 将用于介绍分类真人在线斗地主的基础。

我们假设数据样本 对于 由统计学家观察。输出变量表示为 , 以及相关的输入 向量，用 .

输出可以取 价值观 . 如果是二元真人在线斗地主， , 和 . 如果是多项式真人在线斗地主， 并且，对于 , 是一个 向量，除 -th 项，等于 .

我们假设有 职能 , ...， 这样 那对于 和 . 条件概率不仅取决于观察到的输出，而且还取决于 在参数向量上 .

概率必须为非负数，且总和为1（请参见 概率及其 属性）。结果，功能 必须以这种方式定义 那对于 任何一对 .

通过最大似然估计

多项式分类真人在线斗地主的参数可以通过 最大 可能性。观察的可能性 可以写 如 哪里 是个 -th Multinoulli向量的分量 . 注意 当输出变量属于 -th class，否则为0。因此，产品中只有一个术语（ 与观察到的类别相对应的术语可以不同于1。后者 下面的示例说明了事实。

表示 所有输出的向量 和 所有输入的矩阵 . 如果我们假设观察结果 在样本中 IID，然后 整个样本的可能性等于 单身 观察结果：和 对数似然 是

最大似然估计 参数的 解决

通常，没有针对该最大化问题的解析解决方案， 解决方案必须以数字形式找到（请参阅标题为“ 最大 似然算法 （有关如何完成此操作的详细说明）。 通常，使用基于导数的算法（请参见前面的讲座 进行解释）。对于多个分类真人在线斗地主（例如，多项式 上例中介绍的逻辑真人在线斗地主）使用基于导数 梯度（即 函数的导数） 关于 可以进行分析计算，从而也可以进行分析计算 使用链的对数似然函数的梯度 规则：

如何引用

请引用为：

Taboga, Marco (2017). "分类真人在线斗地主", 列克特ures on 可能性 theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/classification-models.