Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection 论文阅读

date
Jan 16, 2023
Last edited time
Mar 27, 2023 08:38 AM
status
Published
slug
Depth_Quality-Inspired_Feature_Manipulation_for_Efficient_RGB-D_Salient_Object_Detection论文阅读
tags
DL
CV
summary
type
Post
Field
Plat

Abstract

  • 动机
    • 深度图的不稳定质量是影响精度的关键因素
  • 方法
    • 我们提出了一种新的、高效的深度质量启发的特征操作(DQFM)过程,可以 作为门控过滤深度特征,大大提升模型精度。
      DQFM 利用低级别的 RGB 和深度特征的对齐,以及对深度特征流的整体关注来明确控制和加强跨模态融合。DQFM 背后的直觉是,如果深度图质量低,就给其特征一个更低的系数,有效得避免噪声和误导性的深度图特征来提升高效检测精度。

Method

notion image

DQFM Gate

让来自 RGB/深 度五个层次的特征表示为 ,融合后的特征表示为 。上述的跨模式特征融合可以表示为
其中 是由 DQW 和 DHA 计算出来的。

深度图质量启发的特征操作 (DQFM)

深度图质量启发加权 (DQW)
notion image
DQW 从低层次特征 自适应地学习加权项 ,因为这种低层次特征描述了图像边缘/边界。其中对其特征向量 计算如下。
然后使用步长为 2 的全局最大池化,然后计算 , ,得到 , 接下来应用两个全连接层, .
深度流整体注意力 (DHA)
notion image
深度流整体注意 (DHA)通过从深度流中得出整体注意图 ,在空间 上增强深度特征。
notion image

Experiment

notion image
notion image

Ablation Study

notion image
notion image
notion image

© Lazurite 2021 - 2024