(Arxiv)LBL: Logarithmic Barrier Loss Function for One-class Classification 论文阅读

date

Nov 24, 2023

Last edited time

Nov 24, 2023 03:20 PM

status

Published

slug

(Arxiv)LBL: Logarithmic Barrier Loss Function for One-class Classification 论文阅读

Intro

本文首先提出了一种新型的基于对数障碍函数的OCC损失（LBL）。该损失通过平滑近似OCC目标，并将大梯度分配给边缘样本，从而得到更紧凑的超球。然而，LBL的优化可能不稳定，特别是当样本位于边界上时，可能导致无穷大的损失。为了解决这个问题，我们引入了一种单向松弛Sigmoid函数到LBL中，并提出了一种名为LBLSig的新型OCC损失。LBLSig可以看作是均方误差（MSE）和交叉熵（CE）的融合，由于单向松弛Sigmoid函数的引入，LBLSig的优化更加平滑。

Background

Ruff等人提出了两种OCC损失函数，分别是软边界损失（SBL）和基于均方误差的OCC损失（MSEOCL）。

SBL

给定一个包含个样本的OCC训练集，MSE-OCL 寻找一个以为中心的超球体，其形式为：

很容易看出，上式是基于MSE的多分类损失（MSE-MCL）的直接扩展。其中在OCC中期望输出变为常数c，因此MSE-OCL类似于回归。

与此不同的是，SBL明确地最小化了超球体的半径：

其中，λ₁和λ₂是权衡参数，R是超球体的半径。很明显，SBL明确地最小化超球体的半径，同时对位于超球体外部的目标数据输出进行惩罚。然而，值得指出的是，上式中的半径无法通过梯度优化。实际上，半径是通过从序列中选择某个分位数来更新每个小批量中的半径。因此，本质上，SBL是迭代的困难样本挖掘，其中半径是通过对距离从进行排名来确定，然后用于选择每个小批量中的困难样本。

HRN

Hu等人提出了一种新颖的OCC损失函数，称为HRN。它可以被看作是将交叉熵在OCC中的扩展。HRN由负对数似然(NLL)和具有2-范数示例级归一化的H-Regularization组成。

是 Sigmoid函数。实际上，NLL项本质上是多类分类中CE的直接扩展或退化，其中所有数据都是正样本。换句话说，在正常的多类分类中，我们使用独热标签向量来表示每个类别，而在异常检测中，我们将所有的标签都设置为常数1。然而，对于的值增长没有任何限制。当我们最小化NLL时，模型训练的权重可能具有很大的绝对值，以强制等于1。这样，异常数据也可能获得一个较大的输出，导致。为了解决这个问题，使用一种被称为H-regularization的正则化方法。

💡

实际上，我们发现HRN很难进行优化，并且在CNN上的性能较差。

Method

LBL

OCC 的目标始终可以表示为

其中，是指示函数的定义。

当模型输出超出超球面时，趋于无穷大。因此，通过最小化可以将保持在超球面内。然而，由于不可微分，损失函数很难进行优化。为了解决这个问题，引入了 LBL 来平滑逼近，使用对数障碍函数。

最后的损失变为：

在这里，控制了对数障碍函数对指示函数的逼近精度。图1展示了具有不同值的曲线。通过这种方式，边缘样本可以有效地聚类成。然而，当时，收敛速度会急剧减慢。因此，在训练过程中，使用固定不变的超球面半径可能会导致梯度消失。为解决这个问题，在训练过程中，手动重新确定半径。例如，每隔几个epochs，将重置为最大距离的两倍。