Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection 论文阅读
date
Jan 16, 2023
Last edited time
Mar 27, 2023 08:38 AM
status
Published
slug
Depth_Quality-Inspired_Feature_Manipulation_for_Efficient_RGB-D_Salient_Object_Detection论文阅读
tags
DL
CV
summary
type
Post
Field
Plat
Abstract
- 动机
深度图的不稳定质量是影响精度的关键因素
- 方法
我们提出了一种新的、高效的深度质量启发的特征操作(DQFM)过程,可以 作为门控过滤深度特征,大大提升模型精度。
DQFM 利用低级别的 RGB 和深度特征的对齐,以及对深度特征流的整体关注来明确控制和加强跨模态融合。DQFM 背后的直觉是,如果深度图质量低,就给其特征一个更低的系数,有效得避免噪声和误导性的深度图特征来提升高效检测精度。
Method
DQFM Gate
让来自 RGB/深 度五个层次的特征表示为 ,融合后的特征表示为 。上述的跨模式特征融合可以表示为
其中 和 是由 DQW 和 DHA 计算出来的。
深度图质量启发的特征操作 (DQFM)
深度图质量启发加权 (DQW)
DQW 从低层次特征 和 自适应地学习加权项 ,因为这种低层次特征描述了图像边缘/边界。其中对其特征向量 计算如下。
然后使用步长为 2 的全局最大池化,然后计算 , ,得到 , 接下来应用两个全连接层, .
深度流整体注意力 (DHA)
深度流整体注意 (DHA)通过从深度流中得出整体注意图 ,在空间 上增强深度特征。