推广

NeurIPS 2020|基于能量的OOD检测

iseeyu2年前 (2025-01-04)推广132

原文:Energy-based Out-of-distribution Detection

文章链接:https://arxiv.org/abs/2010.03759

该文章收到了LeCun的点赞与转发,LeCun点赞华人女科学家--使用能量模型替代Softmax函数!_腾讯新闻

Motivation & Related Works

当机器学习模型看到与其训练不同的输入时,就会出现out-of-distribution (OOD) uncertainty,因此模型很难对他们进行正确预测(也即在与训练数据分布差距较大的数据点上表现极差)。对于将ML应用于安全关键的应用(如罕见疾病鉴定)而言,确定输入是否超出了分布范围是一个基本问题。 OOD(Out-of-distribution)检测的传统方法之一是基于softmax confidence。直觉上来看,对于in distribution的数据点,我们有高可信度给他们一个结果(就分类问题而言即将一张猫的图片分类为“猫”的概率很高),那么可信度低的就是OOD inputs。但是因为DNN在样本空间的过拟合,经常会对OOD的样本(比如对抗样本)一个很高的可信度。

另一种检测方法是基于生成模型的,这类方法从生成建模的角度推导出似然分数,主要利用 Variational Autoencoder 的 reconstruction error 或者其他度量方式来判断一个样本是否属于 ID 或 OOD 样本。主要的假设是,Autoencoder 的隐含空间(latent space) 能够学习出 ID 数据的明显特征(salient vector),而对于 OOD 样本则不行,因此OOD样本会产生较高的 reconstruction error. 这类方法的缺点在于生成模型难以优化而且不稳定,因为它需要对样本空间的归一化密度进行估计。

Contribution

在本文中,作者使用energy score来检测OOD输入,ID的数据energy score低,OOD的数据energy score高。作者详尽证明了energy score优于基于softmax的得分和基于生成模型的方法.相比于基于softmax可信度得分的方法,energy score不太受到NN在样本空间过拟合的影响。相比于基于生成模型的方法,energy score又不需要进行显式的密度估计。

Background:Energy-based model

基于能量的模型(EBM)的本质是构建一个函数,它将输入空间中的每个点映射到一个称为能量的单个non-probabilistic scalar。通过Gibbs分布我们可以将能量转化为概率密度


分母被称为配分函数,是温度参数。此时我们可以得到任意点的自由能为


我们可以轻易的联系分类模型与能量模型,考虑一个类的NN分类器将输入映射到个对数值,通过 softmax 归一化得到属于某一类别的概率,分类分布如下


这里的即的第个值,而此时我们可以定义能量为即负对数。同时我们可以得到关于的自由能


这里需要强调一下,这个能量已经与数据本身的标签无关了,可以看作是输出向量 的一种范数。

Energy-based Out-of-distribution Detection

我们知道OOD detection实际上就是一个二分类问题,判别模型的密度函数可以写作


其中配分函数是未知的归一化常数,是intractable的。幸运的是


因为是样本独立的,不影响总体能量得分分布,所以说和数据点的负对数似然是线性对齐的,低能量意味着高似然,即更有可能是ID数据,反之更有可能是OOD数据。这涉及到一个阈值,比较empirical,这里不多说。

此时我们可能会想到,这比softmax函数好在哪里呢?不妨写出softmax分类的形式


当的时候,这其实就是 如果再进行一步化简我们可以得到


后两项并不是一个常数,相反对于一个ID的数据,其负对数似然期望是更小的,但是这个分类置信度却是越大越好,二者冲突。这一定程度上解释了基于softmax confidence方法的问题。

那么能量模型如何进行训练呢——通过分配较低的能量给ID数据,和更高的能量给OOD数据,明确地创造一个能量差距。总体的损失函数如下


其中是分类模型的softmax输出,即标准的交叉熵分布加上一个能量约束项。



即用了两个平方的hinge loss来分别惩罚能量高于和能量低于的ID/OOD数据。这里也即该方法的另一个好处,可以利用没有标签的OOD数据帮助训练。一旦模型训练完成,我们就可以按照按照能量进行OOD检测。

Experimental Results

实验中有一点需要注意,作者采用了两个setting

  • No fine-tune: 使用backbone的输出,只是将softmax confidence换成能量得分。注意样本的能量我们定义为,其中即backbone的第维输出。
  • Fine-tune:使用上述的损失函数对backbone进行fine-tune,然后使用energy score进行OOD检测。

实验统一使用WideResNet作为预训练分类模型,在六种OOD数据集上的表现如下,可以看到在不进行fine-tune的情况下基本碾压了基于softmax confidence的方法。有fine-tune的情况下,也比目前的sota-OE好很多。不过这里需要指出表格中标注的应该指的是训练集,因为作者也提到了下表是"We use WideResNet to train on the in-distribution dataset CIFAR-10.".



作者进一步比较了各种方法之间的差距,可以看到即使不使用fine-tune,只是将softmax confidence换成energy score效果就已经很不错了,进行fine-tune之后更是惊为天人。



同样还有与生成模型的比较,metric是the area under the receiver operating characteristic curve (AUROC)--越高越好。



扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://www.0291.com.cn/post/130354.html

相关文章

西安企业做百度推广,一个月花三千和花三万到底差在哪?

4|最近跟几个西安的老板聊天,发现一个挺有意思的现象:同样做百度推广,有人一个月花三千块,询盘不断;有人一个月砸三万,水花都没见着。问他们区别在哪,大多数人说不清楚,只知道'钱花了,没效果'。 5| 6|百度推广这东西,说复杂也复杂,说简单也简单。核心就一件事:让你的潜在客户搜某个词的时候,你的信息...

我想当策划,大学应该选什么专业?

我想当策划,大学应该选什么专业?

学,广告,传播,公关,这些专业其实都可以。另外也可以学像汉语言文学,以及一些跟文学相关的一些专业,会对你找工作有帮助。但是,你想从事这个这份职业,除了专业的学习之外,更多的是,你要在上学的时候积极参与一些更营销策划相关的社会实践。比如说你可以做一些兼职,比如说帮别人去写稿,...

服装市场营销策略分析,“定位不慎满盘皆输”

服装市场营销策略分析,“定位不慎满盘皆输”

不同的区域需要不同的策略,而不同的营销策略需要不同的销售思路来配合。因此,在研究女装产品销售思路之前,最好先对于市场与营销策略做一次深入地了解。1.市场区域化(market segmentation):目标营销的第一步,是将整个市场拆分成若干个同性质的小市场。2.目标市场的...

晚间悦读丨你的思维方式,决定你的人生高度!

晚间悦读丨你的思维方式,决定你的人生高度!

越长大,越发现,能够决定你人生高度的,往往是你的认知层次。 你的认知在哪个层级,你的人生就处在什么状态。你认知的高度,决定了你人生的高度。 那如何才能升级方式、提升认知能力呢?可以从这三个方面做出改变。 NO. 1 改变态度 有人...

编写项目营销策划方案六大要点

编写项目营销策划方案六大要点

现在商业发展非常迅速,的需求非常的大,但是要做好营销策划是有一定难度的,我把自己做营销策划的一些体会在这里分享给朋友们。营销策划方案六大要点我们先说项目营销策划方案这个话题。大部分的营销策划人都是在企业里工作,大部分项目之初都是来源于一个想法,创始人、老板或者创始团队的一个...

【商场营销策划】如何进行商场营销策划?

【商场营销策划】如何进行商场营销策划?

商场是策划者们关注的永恒话题,那么究竟该如何作好商场营销策划呢?掌握以下这几点营销策略设计原则,至关重要!1.义利兼顾的原则。商场在获取利润的同时要充分考虑到消费者的合法利益和商场的长远利益。在作商场活动营销策略方案的时候应该将这一点作为首要的原则。对商场有利而对顾客不利的...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片