Unsupervised Domain Adaptive Salient Object Detection Through Uncertainty-Aware Pseudo-Label Learning 论文阅读
date
Nov 4, 2022
Last edited time
Mar 27, 2023 08:44 AM
status
Published
slug
Unsupervised_Domain_Adaptive_Salient_Object_Detection_Through_Uncertainty-Aware_Pseudo-Label_Learning论文阅读
tags
DL
CV
summary
type
Post
Field
Plat
AAAI 2022
AbstractBackgroundUnsupervised Domain AdaptionIntroductionProposed DatasetTrainingUncertainty-Aware Pseudo-Label LearningConsistency-Based Uncertainty EstimationImage-level Sample Selection (ISS)Pixel-wise Pseudo-Label Reweighting (PPR)ExperimentComparison with State-of-the-ArtAblation Study
Abstract
为了减轻劳动密集型标注的负担，人们提出了深度无监督的 SOD 方法，以利用手工设计的显著性检测方法产生的带噪声标签。然而，从粗糙的噪声标签中学习准确的显著性细节仍然是困难的。在本文中，我们提出从合成但干净的标签中学习显著性，这自然具有更高的像素标签质量，而不需要人工标注的努力。具体来说，我们首先通过一个简单的复制粘贴策略构建一个新的合成 SOD 数据集。考虑到合成场景和真实世界场景之间的巨大外观差异，直接用合成数据进行训练会导致真实世界场景的性能下降。为了缓解这个问题，我们提出了一种新型的无监督领域自适应 SOD 方法，通过不确定性感知的自训练来解决这个问题。实验结果表明，我们提出的方法在几个基准数据集上优于现有的最先进的深度无监督 SOD 方法，甚至可以与完全监督的方法相媲美。
Background
Unsupervised Domain Adaption
无监督领域适应(Unsupervised domain adaptation, UDA)的目的是将从标签丰富的源领域学到的知识转移到未标记的目标领域。
UDA 进行语义分割的主要方法是通过对抗性学习最小化两个域分布之间的差异，下图是 CyCADA 模型的示意图：
Pipeline of CycleGAN
另外有一些 Self-Training-Based 的UDA方法，将假标签分配给有信心的目标样本，直接使用假标签作为目标域监督，以减少域不匹配。本文采用的即是这种方法。
《Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-training》 《Confidence Regularized Self-Training》
Introduction
本文是一种无监督的显著目标方法。对于显著目标检测任务而言，无监督不是说不用任何形式的标签，而指的是不用人工标注的标签。具体来说，本文搞了个新数据集（基本上各无监督方法用的数据集都不同）。这个数据集比传统的逐像素数据集更容易获得，不需要人工标注，只不过与显著性检测任务的 domain gap 较大。而为了解决 domain gap，本文还引入了 domain adaption 的方法。
当前的 Deep USOD 方法所学习的伪标签是由传统 USOD 方法生成的，如图（a）所示。图（b）是合成的图像，即Source Domain。图（c）为要预测的 Target Domain 图像，（e）为只在 Source Domain 上训练的模型（未进行DA）在该图像的预测效果，（f）未进行 DA 后的该模型的表现效果，相较于（d）为当前效果最好的 Deep USOD 方法能够产生更精准的预测。
Proposed Dataset
在抠图任务中，数据集也是合成的，即找一些干净的无背景的前景物体图像，与各不包含前景的背景图像进行合成，从而得到大量的训练数据：
本文合成的数据集包含 11197 个不同的前景对象，与主流的训练集 DUTS-TR(10553) 大小相当。
与其他数据集的目标物体分布存在一定差异，Source Domain 与 Target Domain 存在较大的域差异。
Training
首先，网络直接在合成的数据集 (源域) 上训练一个EPOCH。然后，再将目标域的训练样本图像送入训练好的网络中，获得伪标签。显然，由于合成数据集的图像是有噪声的(由于是无监督所以不能去人工审查合成标签质量)，因此得到的目标域伪标签也是有噪声的。因此，我们需要仔细挑选目标域的样本与伪标签对，并且对每一个像素分配不同的权重。
Uncertainty-Aware Pseudo-Label Learning
我们通过一种不确定感知伪标签学习策略(UPL)来选择目标伪标签并分配不同权重的像素，而不是平均使用所有的伪标签。该策略包含以下三个主要步骤。
Consistency-Based Uncertainty Estimation
对输入网络的 Target Domain 图像进行几种形式的可逆图像变换（Horizontal Flipping, Rescale, Style Swap），然后将预测出来的伪标签 还原到未变换图像的形式，然后计算特征图的方差作为每个像素不确定的度量：
FDA: Style Swap（CVPR 2020）
提出了一个简单的无监督域适应方法，为了减少源域和目标域之间的分布差异，将两者的低频谱交换。
Image-level Sample Selection (ISS)
由于 Saliency Detector 在训练初期普遍较弱，在迭代训练中逐渐得到改进，我们建议
- 只选择不确定度低的伪标签
- 伪标签的数量应随着训练轮数的增加而缓慢增加
我们计算每个 Target Domain 图像的平均不确定性：
我们根据不确定度评分对所有目标域样本进行排序，每轮选取一定比例的不确定度较低的目标样本。
在所选源域和目标域样本的比例在 6 个 epoch 中分别设置为{1.0,0.5,0.25,0.125,0.0625,0.03125}和{0.0,0.1,0.2,0.4,0.6,0.6}。
Pixel-wise Pseudo-Label Reweighting (PPR)
虽然所选目标伪标签总体上反映了较低的不确定性水平，但在其方差图中仍然存在对象边界等高不确定性区域。虽然所选目标伪标签总体上反映了较低的不确定性水平，但在其方差图中仍然存在对象边界等高不确定性区域。本文提出了一种基于方差的伪标签像素级加权策略 。
这里的 根据实验设置为 20。
Experiment
Comparison with State-of-the-Art
我们将我们的方法与8种完全监督 Deep SOD 方法(R3Net、DGRL、Capsal、TSPOA、BASNet、MINet、GateNet、LDF)、两种 Hand Craft 的无监督方法(MB+、RBD)和5种深度弱/无监督方法(ASMO、MWS、SCRIB、USPS、EDNL)进行比较。我们的方法始终优于现有的弱监督和无监督SOD方法。
Ablation Study
- 与UPL相比，UPL w/o PPR 在5个数据集上的性能略有下降，说明所选的低不确定伪标签中仍然存在一些错误分类的像素，PPR模块可以通过调整像素的权重来缓解伪标签的噪声。
- UPL w/o ISS 使用所有目标伪标签进行迭代训练，而没有图像选择，因此与UPL相比性能下降严重。