在Statlect上搜索概率和统计术语
统计 列克特
指数 > 的基本原理 统计

选型标准

通过 博士

真人在线斗地主选择标准是用于选择真人在线斗地主的规则 统计真人在线斗地主 在一组 候选真人在线斗地主,基于观察到的数据。通常,条件会尝试 最小化预期的差异,由 Kullback-Leibler 分歧 ,介于所选真人在线斗地主和真实真人在线斗地主之间(即 生成数据的概率分布)。

在本讲座中,我们重点介绍已估算的真人在线斗地主的选择。 由 最大 似然法.

目录

竞争机型

首先,我们需要精确定义统计真人在线斗地主的含义。

统计真人在线斗地主是一组可能具有的概率分布 生成了我们正在分析的数据。

假设我们观察 n 数据点 [eq1] 这些都是从相同的概率分布中独立得出的 (从技术上讲,它们是 IID 抽签 )。如果我们假设抽奖来自正态分布,那么 我们正在制定统计真人在线斗地主:我们将注意力集中在 全部的集合 正常 分布 而且我们排除了所有的概率分布 不正常。请注意,正态分布有两个 参数, 均值  亩 方差  sigma ^ 2 , 这样我们正在考虑的一组分布(统计真人在线斗地主) 包括许多正态分布:每对可能的一对 [eq2]. 相反,如果我们假设数据是从 指数的 分配,那么我们正在制定替代真人在线斗地主。的 指数分布只有一个参数  $ lambda $ , 称为速率参数。我们的统计真人在线斗地主是一个包含许多可能的集合 分布:每个可能的参数值之一  $ lambda $ .

前面的示例虽然被认为是不现实的,但以简单的方式进行了介绍。 解决我们将要处理的问题:如何选择一种真人在线斗地主 (示例中的正态分布与指数分布),如果我们认为两个或 更多替代真人在线斗地主是否合理?

表示法和主要假设

让我们通过以下方式表示观测数据的向量  $ xi $ . 我们假设数据是连续的,并且  $ xi $ 是一个家庭 联合 概率密度 职能 [eq3]参数化 通过参数向量 $ heta _ {m} $ 对于每个真人在线斗地主 $ m = 1,ldots,M $.

为了简化讨论,我们专注于连续分布,但是 我们所说的一切对于离散分布也是有效的, 简单的修改(用概率代替概率密度 质量函数)。

在上面的例子中,向量  $ xi $ 包含 n 数据 要点: [eq4] 的 型号数量是 $M=2$. 两个参数向量 是 [eq5] 对于 正态分布 和 [eq6] 对于 指数分布。联合概率密度函数 第一个真人在线斗地主是 [eq7] 因为 关节 独立随机变量向量的密度等于 他们的边际密度。联合概率密度函数 第二种模式 是 [eq8] 哪里 [eq9] 是指标函数(如果为1,则等于1  $ x_ {j} >0$ 否则为0)。

我们假设真人在线斗地主参数是通过最大似然(ML)估算的。我们 用...表示 [eq10] ML 估计参数  $ M $ 楷模。

如果您想查看有关ML估计如何得出的一些示例,则可以 看一下这两个讲座:

最后,我们将用 [eq11] 生成数据的未知概率分布,并且  $ S $ 由真人在线斗地主选择标准选择的真人在线斗地主的索引。显然,  $ S $ 可以介于 1 $ M $ .

一般准则

赤池(1973) 是第一个提出将军的人 选择由最大似然估计的真人在线斗地主的标准。他提议 最小化所选真人在线斗地主之间的预期差异 [eq12] 在最大似然估计和真实分布 [eq13].

估计真人在线斗地主与真实分布之间的差异是 由 Kullback-Leibler 分歧 [eq14] 哪里 期望值是相对于真实密度 [eq15]

预期的差异计算为 [eq16] 哪里 期望超过了 [eq17], 取决于样本  $ xi $ , 被认为是随机的。

理想情况下,我们希望选择能够最大程度地减少期望值的真人在线斗地主 差异:[eq18]

但是,无法精确计算预期的相异性,因为 真实分布 [eq19] 和采样分布 [eq20] 未知。

赤池(1973) 提出了对预期的近似 可以很容易地计算出差异,从而产生了所谓的赤池 信息标准(AIC)。

事实证明,例如 伯纳姆和安德森 (2004),其他热门选择标准(例如AIC)已针对 小样本偏差(AICc; 杉浦1978, 赫尔维奇与蔡1989)和贝叶斯信息 标准(BIC; 施瓦茨1978年)基于不同 预期差异的相同度量的近似值。

流行标准

我们在这里简要介绍最受欢迎的选择标准。

赤池信息标准(AIC)

根据赤池信息准则,选定真人在线斗地主  $ S $ 解决最小化 问题 [eq21] 哪里 的价值  $ m $ -th 真人在线斗地主是 [eq22] 哪里 [eq23] 是要在中估算的参数数量  $ m $ -th 真人在线斗地主。

请注意,应用于所有真人在线斗地主值的任何线性变换都不会 更改所选真人在线斗地主。事实上,有许多参考文献定义了 的价值  $ m $ -th 真人在线斗地主 如 [eq24]

更正了赤池信息标准(AIC)

在小样本中更精确的近似是所谓的 更正了赤池信息准则(AICc),根据该准则 最小化 是 [eq25] 哪里  $ N $ 是用于估计的样本大小。

贝叶斯信息准则(BIC)

据称,另一个流行的标准是贝叶斯信息准则 所选真人在线斗地主是达到最小值的真人在线斗地主 的 [eq26]

复杂性的惩罚

您可能已经注意到,所有这些条件都会对 型号:参数数量越高  $ K_ {m} $ 是,更多的真人在线斗地主  $ m $ 被处罚。

这种对复杂性的惩罚是典型的真人在线斗地主选择标准: 参数很多的情况更可能过度拟合,即 的高价值 对数似然 [eq27]. 有关过度拟合的讨论,请参见关于 R 线性回归的平方.

复杂度损失也与所谓的 偏差方差 权衡:通过 随着真人在线斗地主复杂度的增加,我们通常会降低偏差并增加 方差;除了一定程度的复杂性,方差的增加是 大于减少偏见,因此,我们的质量 推论变得更糟。

参考文献

Akaike,H.,1973年。信息论作为 最大似然原理。在:BN的Petrov和F.的Csaki 国际信息理论研讨会。 Akademiai Kiado,布达佩斯,pp。 276-281.

伯纳姆(K.P.)和Anderson,D.R.,2004年。多真人在线斗地主 推论:了解AIC和BIC的真人在线斗地主选择。社会学方法 &研究,33(2),第261-304页。

Hurvich,C.M.和蔡(C.L。),1989年。回归与时间 小样本中选择系列真人在线斗地主。 Biometrika,76(2),第297-307页。

Schwarz,G.,1978年。估算真人在线斗地主的尺寸。的 统计年鉴,第6卷第2期,第461-464页。

Sugiura,N.,1978年。 统计中的赤池的信息准则和有限更正 理论与方法,第7卷第1期,第13-26页。

如何引用

请引用为:

Taboga, Marco (2017). "选型标准", 列克特 ures on probability theory 和 mathematical 统计, Third edition. Kindle Direct Publishing. Online appendix. //www.junruiqiche.com/fundamentals-of-statistics/model-selection-criteria.

这本书

该网站上提供的大多数学习材料现在都以传统教科书格式提供。