分类真人在线斗地主属于 条件真人在线斗地主, 那是, 指定概率真人在线斗地主的概率真人在线斗地主 有条件的 可能性 给定输入的输出变量的分布。的 分类真人在线斗地主的独特之处在于,在这些真人在线斗地主中,输出具有 离散概率分布(与回归真人在线斗地主相对,其中 输出变量是连续的)。
分类真人在线斗地主有两种不同的风格:
二元分类 真人在线斗地主,其中输出变量具有 贝努利 分配 以输入为条件;
多项式分类真人在线斗地主,其中输出有一个 Multinoulli 分配 以输入为条件。
请记住,伯努利随机变量只能采用两个值,即1 或0。因此,当输出只能采用两个值时,将使用二进制真人在线斗地主。
Multinoulli分布更一般。可用于建模输出
可以采用两个或多个值。如果输出变量可以取
不同的值,则将其表示为
Multinoulli随机向量,即其
实现 有
所有条目等于0,除了对应于已实现的条目
输出值,等于
1
例
如果输出变量是性别(女性为男性),则可以表示为
一个伯努利随机变量,男性为1,女性为0。它
也可以表示为
取值的Multinoulli随机向量
对于
男性
和
对于
女性。
前面的示例还显示了一个二进制分类真人在线斗地主(Bernoulli 分布)总是可以写成多项式真人在线斗地主(Multinoulli 分配)。
例
如果输出变量可以属于三种类别之一(红色,绿色或
蓝色),则可以将其表示为Multinoulli随机向量,
实现
是
现在,我们介绍主要假设,符号和术语 将用于介绍分类真人在线斗地主的基础。
我们假设数据样本
对于
由统计学家观察。输出变量表示为
,
以及相关的输入
向量,用
.
输出可以取
价值观
.
如果是二元真人在线斗地主,
,
和
.
如果是多项式真人在线斗地主,
并且,对于
,
是一个
向量,除
-th
项,等于
.
我们假设有
职能
,
...,
这样
那
对于
和
.
条件概率不仅取决于观察到的输出,而且还取决于
在参数向量上
.
概率必须为非负数,且总和为1(请参见
概率及其
属性)。结果,功能
必须以这种方式定义
那
对于
任何一对
.
例
的
后勤
分类真人在线斗地主 是一个二进制真人在线斗地主,其中
有条件的
概率质量函数 输出的
是输入的非线性函数
:
哪里
是一个
系数向量和
是定义的逻辑函数
通过
从而,
有条件的
,
输出
有伯努利分布的可能性
.
使用上面建议的一般符号并定义
,
我们
有:
它
可以很容易地检查出任何一个
和任何
.
例
多项式逻辑分类真人在线斗地主(也称为softmax真人在线斗地主)是
多项式真人在线斗地主,其中输出的条件概率为
为
如
哪里
到每个班级
对应一个
系数向量
.
参数向量
是
从而,
有条件的
,
输出
具有概率的Multinoulli分布
多项式分类真人在线斗地主的参数可以通过
最大
可能性。观察的可能性
可以写
如
哪里
是个
-th
Multinoulli向量的分量
.
注意
当输出变量属于
-th
class,否则为0。因此,产品中只有一个术语(
与观察到的类别相对应的术语可以不同于1。后者
下面的示例说明了事实。
例
当有两个班
()
并且输出变量属于第二类,我们有
Multinoulli随机向量的实现
是
的
向量的两个分量
是
和
可能性
是
表示
所有输出的向量
和
所有输入的矩阵
.
如果我们假设观察结果
在样本中 IID,然后
整个样本的可能性等于
单身
观察结果:
和
对数似然
是
最大似然估计
参数的
解决
通常,没有针对该最大化问题的解析解决方案,
解决方案必须以数字形式找到(请参阅标题为“
最大
似然算法 (有关如何完成此操作的详细说明)。
通常,使用基于导数的算法(请参见前面的讲座
进行解释)。对于多个分类真人在线斗地主(例如,多项式
上例中介绍的逻辑真人在线斗地主)使用基于导数
梯度(即
函数的导数)
关于
可以进行分析计算,从而也可以进行分析计算
使用链的对数似然函数的梯度
规则:
请引用为:
Taboga, Marco (2017). "分类真人在线斗地主", 列克特ures on 可能性 theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/classification-models.