在Statlect上搜索概率和统计术语
统计列克特
指数 > 的基本原理 统计

分类真人在线斗地主

通过 博士

分类真人在线斗地主属于 条件真人在线斗地主, 那是, 指定概率真人在线斗地主的概率真人在线斗地主 有条件的 可能性 给定输入的输出变量的分布。的 分类真人在线斗地主的独特之处在于,在这些真人在线斗地主中,输出具有 离散概率分布(与回归真人在线斗地主相对,其中 输出变量是连续的)。

目录

分类真人在线斗地主的类型

分类真人在线斗地主有两种不同的风格:

请记住,伯努利随机变量只能采用两个值,即1 或0。因此,当输出只能采用两个值时,将使用二进制真人在线斗地主。

Multinoulli分布更一般。可用于建模输出 可以采用两个或多个值。如果输出变量可以取 $ J $ 不同的值,则将其表示为 $ 1imes J $ Multinoulli随机向量,即其 实现 有 所有条目等于0,除了对应于已实现的条目 输出值,等于 1$。$

如果输出变量是性别(女性为男性),则可以表示为 一个伯努利随机变量,男性为1,女性为0。它 也可以表示为 $ 1imes 2 $ 取值的Multinoulli随机向量 [eq1]对于 男性 和[eq2]对于 女性。

前面的示例还显示了一个二进制分类真人在线斗地主(Bernoulli 分布)总是可以写成多项式真人在线斗地主(Multinoulli 分配)。

如果输出变量可以属于三种类别之一(红色,绿色或 蓝色),则可以将其表示为Multinoulli随机向量, 实现 是[eq3]

主要假设和符号

现在,我们介​​绍主要假设,符号和术语 将用于介绍分类真人在线斗地主的基础。

我们假设数据样本 [eq4] 对于 $ i = 1,ldots,N $ 由统计学家观察。输出变量表示为 $ y_ {i} $, 以及相关的输入 $ 1imes K $ 向量,用 $ x_ {i} $.

输出可以取 $ J $ 价值观 [eq5]. 如果是二元真人在线斗地主, $J=2$, $ c_ {1} = 1 $$ c_ {2} = 0 $. 如果是多项式真人在线斗地主, $ Jgeq 2 $ 并且,对于 $ j = 1,ldots,J $, $ c_ {j} $ 是一个 $ 1imes J $ 向量,除 $ j $-th 项,等于 1.

我们假设有 $ J,$职能 $ f_ {1} $, ...,$ f_ {J} $ 这样 那[eq6]对于 $ i = 1,ldots,N $$ j = 1,ldots,J $. 条件概率不仅取决于观察到的输出,而且还取决于 在参数向量上 $ heta $.

概率必须为非负数,且总和为1(请参见 概率及其 属性)。结果,功能 $ f_ {j} $ 必须以这种方式定义 那[eq7]对于 任何一对 [eq8].

后勤 分类真人在线斗地主 是一个二进制真人在线斗地主,其中 有条件的 概率质量函数 输出的 $ y_ {i} $ 是输入的非线性函数 $ x_ {i} $:[eq9]哪里 $ eta $ 是一个 Kx1 系数向量和 [eq10] 是定义的逻辑函数 通过[eq11]从而, 有条件的 $ x_ {i} $, 输出 $ y_ {i} $ 有伯努利分布的可能性 [eq12]. 使用上面建议的一般符号并定义 $ heta = eta $, 我们 有:[eq13]它 可以很容易地检查出任何一个 $ x_ {i} $ 和任何 $ heta $.

多项式逻辑分类真人在线斗地主(也称为softmax真人在线斗地主)是 多项式真人在线斗地主,其中输出的条件概率为 为 $ j = 1,ldots,J $[eq14]哪里 到每个班级 $ j $ 对应一个 Kx1 系数向量 $ eta _ {j} $. 参数向量 $ heta $[eq15]从而, 有条件的 $ x_ {i} $, 输出 $ y_ {i} $ 具有概率的Multinoulli分布 [eq16]

通过最大似然估计

多项式分类真人在线斗地主的参数可以通过 最大 可能性。观察的可能性 [eq4] 可以写 如 [eq18]哪里 $ y_ {ij} $ 是个 $ j $-th Multinoulli向量的分量 $ y_ {i} $. 注意 $ y_ {ij} $ 当输出变量属于 $ j $-th class,否则为0。因此,产品中只有一个术语( 与观察到的类别相对应的术语可以不同于1。后者 下面的示例说明了事实。

当有两个班 ($J=2$) 并且输出变量属于第二类,我们有 Multinoulli随机向量的实现 是[eq19]的 向量的两个分量 是[eq20]和 可能性 是[eq21]

表示 $尼姆1 $ 所有输出的向量 $ y $$尼姆K $ 所有输入的矩阵 x. 如果我们假设观察结果 [eq22] 在样本中 IID,然后 整个样本的可能性等于 单身 观察结果:[eq23]和 对数似然 是[eq24]

最大似然估计 $ widehat {heta} $ 参数的 $ heta $ 解决[eq25]

通常,没有针对该最大化问题的解析解决方案, 解决方案必须以数字形式找到(请参阅标题为“ 最大 似然算法 (有关如何完成此操作的详细说明)。 通常,使用基于导数的算法(请参见前面的讲座 进行解释)。对于多个分类真人在线斗地主(例如,多项式 上例中介绍的逻辑真人在线斗地主)使用基于导数 梯度(即 函数的导数) [eq26] 关于 $ heta $ 可以进行分析计算,从而也可以进行分析计算 使用链的对数似然函数的梯度 规则:[eq27]

如何引用

请引用为:

Taboga, Marco (2017). "分类真人在线斗地主", 列克特ures on 可能性 theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/classification-models.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。