Improving Camouflaged Object Detection with the Uncertainty of Pseudo-edge Labels 论文阅读

date

Apr 15, 2023

Last edited time

Apr 15, 2023 02:59 PM

status

Published

slug

Improving-Camouflaged-Object-Detection-with-the-Uncertainty-of-Pseudo-edge-Labels论文阅读

Abstract

本文主要关注伪装目标检测（COD），即检测隐藏在背景中的物体。目前大多数 COD 模型的目标是直接突出显示目标物体，同时输出模糊的伪装边界。另一方面，考虑边缘信息的模型表现尚不令人满意。为了解决这个问题，我们提出了一个新的框架，充分利用多个视觉线索，包括显着性和边缘，来精细化预测的伪装地图。我们的框架包括三个关键组件：Pseudo-Edge Generator, Pseudo-Map Generator 和 Uncertainty-Aware Refinement Module。伪边缘生成器估计输出伪边缘标签的边界，而传统的 COD 方法则作为伪地图生成器，输出伪地图标签。然后，我们提出了一个基于不确定性的模块，以减少这两个伪标签的不确定性和噪声，该模块将两个伪标签作为输入，并输出边缘准确的伪装地图。

INTRODUCTION

使用边缘信息可以提高性能，但最近的模型考虑到边缘信息的模型实现了比常规COD模型更低的性能。为了解决这个问题，我们旨在将边缘信息整合到COD过程中，通过参考单独预测的边缘来细化预测的伪装地图。

首先，我们引入了一个伪边缘标签的伪装边缘检测模块。其次，我们使用传统的COD模型生成一个粗糙的伪地图标签。然而，这些伪标签与地面真值标签相比更加嘈杂和不确定。为了解决这个问题，我们使用条件变分自编码器(CVAE)构建了一个不确定性感知的地图细化模块，即使输入嘈杂的伪标签，也能输出一个伪装地图。

Method

本研究的目的是从包含伪装物体的输入图像中预测伪装地图的明确定义边界。传统的COD方法缺乏考虑边缘信息的模型，导致边界模糊不清或输出的伪装地图不正确。为了解决这个问题，我们引入了一个伪装边缘检测模块，明确估计边界并考虑不确定性。我们把这个新框架称为 Uncertainty-Reduction COD (UR-COD)。

我们的框架由三个模块组成：伪图生成器（PMG）、伪边缘生成器（PEG）和不确定性感知地图细化（UAMR）模块。

Pseudo-Map Generator (PMG)

传统 COD 方法生成的伪装地图输出通常具有不清晰的边界。在这种方法中，使用传统 COD 方法从RGB图像中生成粗糙的伪装地图，并将其视为伪地图标签。

Pseudo-Edge Generator (PEG)

PEG 从 RGB 图像输出一个伪边缘标签。为了实现这一点，我们需要训练适用于伪装目标数据集的边缘检测模型。然而，现有的边缘检测模型处理的数据集中大多数对象都是显著的对象，它们不能很好地处理伪装对象。为了解决这个问题并实现伪装边缘检测，我们采用了 CENet 的方法。具体来说，我们使用 DAC 块和 RMP 块来提取输入图像的上下文。

Uncertainty-Aware Map Refinement Module (UAMR)

为了获得清晰的边界，我们引入了一个细化模块，用于细化从PMG和PEG生成的伪映射标签和伪边标签的模糊边界。然而，由于这些伪标签是由基于学习的模型预测的，它们包含不确定性。受 UCNet 的启发，我们提出了UAMR模块。我们假设伪映射和伪边标签具有类似于深度标签的属性，因为它们为目标检测提供线索。通过扩展UCNet以支持伪映射和伪边标签，我们构建了考虑不确定性的UAMR模块。UAMR模块的输入是RGB图像，伪映射标签和伪边标签，它们用于预测一个边缘精确的伪装地图。UAMR 模块包括 PriorNet，PosteriorNet和 RefinementNet。PriorNet将RGB图像，伪映射标签和伪边标签作为输入，并将它们映射到低维潜变量。另一方面，PosteriorNet 将来自 PriorNet 的所有输入与地面真实映射标签一起作为输入，并将它们映射到低维潜变量。

注意，PriorNet 和 PosteriorNet 形成一个CVAE，每个潜变量和从输出均值，和方差，的高斯分布中采样。对于CVAE损失，设表示，表示地面真实映射。PriorNet定义为，PosteriorNet 定义为，其中是PriorNet的参数集，是PosteriorNet的参数集。

CVAE损失的定义如下：

RefinementNet 将RGB图像、伪地图标签、伪边缘标签以及先验变量和后验变量作为输入。它的训练目标是估计伪装地图、修正后的伪边缘标签和修正后的伪地图标签。通过在CVAE中使用潜在变量，我们可以考虑伪地图和伪边缘标签的不确定性。这是通过学习使重建的伪地图标签更接近于真实值和重建的伪边缘标签更接近于真实边缘标签来实现的。

RefinementNet 使用均方误差损失、平滑损失和结构损失。平滑损失增强了图像的结构信息，而结构损失通过使用局部和全局特征来强制预测的空间一致性。