A2dele: Adaptive and Attentive Depth Distiller for Efficient RGB-D Salient Object Detection 论文阅读
date
Jan 17, 2023
Last edited time
Mar 27, 2023 08:37 AM
status
Published
slug
A2dele论文阅读
tags
DL
CV
summary
type
Post
Field
Plat
AbstractMethodThe Proposed Depth Distiller (A2dele)Adaptive Depth Distillation SchemeAttentive Depth Distillation SchemeOptimizationExperimentsAblation Study
Abstract
- Challenge of RGB-D Salient Object Detection
- RGB-D 方法不可避免地会产生额外的计算成本和内存消耗，RGB-D 网络的模型大小比 RGB 网络大 1.5 倍。
- 在测试期间使用深度信息可能会阻碍 RGB-D 显着性检测的实际应用。因为深度传感器很容易受到许多因素的影响，可能对准确的显着性检测造成拖累。
我们提出了一个深度蒸馏器（A2dele）来探索使用网络预测和注意力作为两个桥梁将深度知识从深度流传输到 RGB 流的方式。
- 通过自适应地最小化深度流和 RGB 流生成的预测之间的差异，我们实现了对传输到 RGB 流的像素深度知识的所需控制。
- 为了将定位知识转移到 RGB 特征，我们鼓励深度流的 dilated prediction 与 RGB 流的注意力图之间的一致性。
我们放弃尝试在成对的 RGB 和深度图像上训练和测试模型，而是仅在单一 RGB 模态上测试模型。我们的方法是设计一个深度蒸馏器，它使用网络预测和注意力作为连接 RGB 和深度模态的两个桥梁，同时在测试期间不使用深度图。
因此，我们的 A2dele 在测试时实现了一个不使用深度数据的轻量级架构。
Method
我们提出了一个深度蒸馏器 (A2dele)，其中采用两个桥连接 RGB 和深度模态，以将深度知识传输到 RGB 流。
RFB可以捕获适合深度流目标的全局对比度信息。最后，解码器将深度特征作为输入并进行最终预测。解码器的详细架构如图下所示。
The Proposed Depth Distiller (A2dele)
我们通过深度蒸馏器 (A2dele) 构建了两个连接 RGB 和深度模态的桥梁，用于将特权深度知识传输到 RGB 流。
Adaptive Depth Distillation Scheme
我们通过最小化深度流和 RGB 流产生的预测之间的损失来训练 RGB 网络。当我们从深度流中获得准确的预测时，这种策略将有效地帮助 RGB 流轻松地将显着对象与背景区分开来。相反，如果由于低质量的深度图导致预测不可靠，则此策略可能会在 RGB 预测中引入副作用。基于这一观察，我们提出了一种自适应深度蒸馏方案，以确保所需的深度知识传输。
我们设计了一个自适应因子λ来调节深度流的影响:
因此，完整的损失函数写为：
这意味着当深度流的预测可靠时，RGB 流从深度流中学习；否则 RGB 流从 GT 中学习。我们提出的自适应深度蒸馏方案允许 RGB 流选择性地从深度流中吸收有用的深度信息。
Attentive Depth Distillation Scheme
我们选择网络注意力作为将定位知识转移到 RGB 特征的第二个桥梁。这是通过鼓励深度流的预测与 RGB 流中的注意力图之间的一致性来实现的。
为了最小化不一致性，RGB 流必须学习注意力图来接近深度流的预测。随着注意力图质量的提高，RGB 特征的干扰因素逐渐被抑制，使 RGB 流逐渐向显着对象的准确定位方向发展。然而，当深度流推断出对显着对象的不完整检测时，这种策略可能会导致不令人满意的分割结果。为了确保可靠的定位知识，我们扩大了深度流预测的覆盖范围，通过扩张操作提高其有效性。 Dilation 表示为：
综上所述，注意力深度蒸馏方案可以定义为：
Optimization
网络的训练过程如下:
- 深度流由带有真实值 的交叉熵损失监督。
- 深度流的参数保持冻结状态。RGB 流由 和 的组合进行监督。
Experiments
Ablation Study
