(CVPR2020-ScribbleSaliency)Weakly-Supervised Salient Object Detection via Scribble Annotations

我们提出了一个辅助边缘检测任务来明确定位对象边缘(EDN)，并提出了一个门控结构感知损失来限制要恢复的结构范围(gated Structure-aware Loss)。另外，我们设计了一个涂鸦增强方案来迭代地巩固我们的涂鸦注释(Scribble Boosting)，然后将其用作监督来学习高质量的显着图。

Comparison with Existing Scribble Models

语义分割方法主要针对特定类别的对象，可以探索特定类别之间的相似性。而显著目标检测不关注特定类别的对象，因此不存在对象类别相关信息。

因此，我们提出边缘引导的门控结构感知损失来从图像中获取结构信息，而不是依赖于图像类别。

之前的方法通常使用L2损失回归边界，而本文提出的方法则是最小化显着图和图像的一阶导数之间的差异，并导致显着图更好地与图像结构对齐。

Method

Edge detection network (EDN)

作者将 EDN 作为一个辅助任务引入到弱监督显著目标检测网络中，以帮助网络更好地学习显著性信息。边缘检测网络鼓励 SPN 产生具有丰富结构信息的显着特征。

其中由现有的边缘检测器预先计算。

Edge-enhanced saliency prediction module (ESPM)

Edge-enhanced saliency prediction module (ESPM) 是本文提出的一种用于增强显著性预测的模块。它通过结合边缘信息和粗略的显著性图像来生成更加精细和准确的显著性图像。

具体来说，ESPM 首先将 SPN 生成的粗略显著性图像和 EDN 生成的边缘图像进行拼接，然后将它们输入到一个 1x1 卷积层中，以生成一个增强后的显著性图像。这个过程可以帮助网络更好地捕捉到目标物体周围的边缘信息，从而提高显著性预测的准确度。

最终，ESPM 生成的增强后的显著性图像被作为网络输出，并被用作最终的显著性检测结果。

Gated structure-aware loss

尽管 ESPM 鼓励网络生成具有丰富结构的显着图，但对要恢复的结构范围没有限制，在整个图像区域强制执行平滑度损失将使显着性预测变得模糊。我们提出了一种门控结构感知损失，它鼓励预测显着图的结构与图像的显着区域相似。

Scribble Boosting

Scribble Boosting 是本文提出的一种用于增强弱监督显著性目标检测网络性能的方法。它通过引入用户手动标注的 scribble 信息来提高网络对目标物体的识别能力。

具体来说，Scribble Boosting 的过程包括两个步骤：第一步是使用 SPN 生成一个初始的显著性图像；在第二步中，使用 DenseCRF 应用于初始显着性预测，将 scribble 中标记为前景和背景的像素点作为 CRF 模型中的约束条件，并使用这些约束条件来优化显著性图像。

实验结果表明，通过使用 Scribble Boosting 方法，可以大大提高弱监督显著性目标检测网络的准确度。在经过一次 Scribble Boosting 步骤后，网络的表现已经接近于完全监督方法。