Salient Object Detection via Integrity Learning 论文阅读
date
Mar 2, 2023
Last edited time
Mar 27, 2023 08:29 AM
status
Published
slug
Salient_Object_Detection_via_Integrity_Learning论文阅读
tags
DL
CV
summary
type
Post
Field
Plat
AbstractMethod多样化特征聚合模块 DFAAblation通道完整性增强模块 ICEAblation部分整体验证模块Ablation监督策略AblationExperimentsResultAblation
Abstract
尽管当前显著性目标检测已取得重大突破，它们在预测显著区域的“完整性”上仍存在局限性。本文把“完整性”的概念分为微 观完整性和宏观完整性两个层面。具体而言，在微观层面上，模型需要找出单个显著目标的所有部分。而在宏观层面上，模型需要发现图 片中的所有显著目标。
- 本文引入了一个多样化特征聚合（DFA）模块，用来生成具有不同感受野（即，拥有不同内核形状和上下文）的特征，进而增强特征的多样性。此多样性是挖掘完整显著目标的基础。
- 基于从 DFA 得到的多样化特征，本文又引入了通道完整性增强 （ICE）模块。其目的是增强能潜在突出完整显著目标的通道，同时抑制其他的干扰通道。
- 在提取了增强的特征后，本文采用了部分-整体验证（PWV）模块来确定目标特征的部分和整体是否有强烈的一致性。
ICON 首先利用五个卷积块进行基本特征提取。然后，它将每层的深度特征传递给一个多样性特征聚合模块，以提取不同的基础多样性特征。接下来，从三个相邻的 DFA 中提取到的多样性特征被送到一个通道完整性增强模块。由此，一个完整性指导图被生成，然后用于指导对每个特征通道的注意力加权。最后，从三个特征层中产生的通道完整性增强特征被合并到一起并送入部分-整体验证模块，该模块使用胶囊路由层实现。在进一步验证物体部分和整体区域之间的一致性后，显著物体的缺失部分被补足。
Method
多样化特征聚合模块 DFA
本文采用新颖的多样化特征聚合（DFA）模块来增强提取的多级特征的多样性，使用三种具有不同内核大小和形状的卷积块。利用非对称卷积、空洞卷积和原始卷积的实际组合来捕捉各种空间特征。整个过程总结如下：
其中， 是上述过程产生的特征， 是不同类型的模块（即非对称卷积、空洞卷积和原始卷积）， 表示连接操作。
DFA 模块可以通过融合从十字卷积核、空洞卷积核和普通卷积核中学习到的知识来丰富特征空间。因此，DFA 可以覆盖多个上下文中的不同显著区域，从而增强完整性。
Ablation
在表4中，DFA明显优于或与其他FEM相当2。然而，DFA也存在一些缺点。例如，与其他FEM相比，它可能会导致更高的MAE分数。
通道完整性增强模块 ICE
ICE 模块可以进一步挖掘不同通道内的关系，并增强能潜在突出完整目标的通道。首先，对于下一个和上一个特征层，进行重新缩放，并使用上采样和下采样操作，将它们调整为 的空间分辨率。然后，通过连接三个输入特征来生成融合图 。
我们通过对 应用 正则化，提取完整性特征 。为了进一步整合完整性信息，使用参数高效的 Bottleneck设计来学习 。考虑到信道变换可能会略微增加优化难度，文献在两个卷积层内（在ReLU之前）添加了层归一化来缓解这一问题。
通过使用本文的 ICE 模块，具有更好完整性的通道可以被有效地增强。从图 5中可以看出，在将特征送入 ICE 后，前 景区域与背景被明显区分开来，ICE 产生的特征倾向于突出微观和宏观层面上的完整显著目标。
此外，模型使用两个共享参数的 ICE 模块 来帮助本文的 ICON 模型整合多层次特征线索。
Ablation
文献中将 ICE 与SE、CBAM 和 GCT 进行了比较。可以观察到，CBAM取得了可相提并论的性能，在这些模块中排名第二。然而，使用SE和GCT的替代方法将导致性能下降。
部分整体验证模块
PWV 模块旨在通过评估显著物体部分和整个区域之间的一致性来增强所学习到的完整性特征。
在 PWV 中，一个关键的问题是如何实现从低级胶囊分配给高级胶囊的投票。高层胶囊需要通过聚合相关低层胶囊 的目标部分来形成整个目标的表示，此处模型使用 EM 路由，以类似聚类的方式对低层和高层胶囊之间的关系进行建模。
Ablation
用动态路由（DR）和自路由（SR） 取 代它。本文观察到，前者（ID：14）也取得了合理的性能，但 与使用 EM 路由相比，后者（ID：15）产生的性能更差。
监督策略
除了 BCE 损失外，我们还使用了 IoU 损 失。
Ablation
Experiments
Result
Ablation
