(AAAI2022-PSOD)Weakly-Supervised Salient Object Detection Using Point Supervision 论文阅读
date
Jun 4, 2023
Last edited time
Jun 4, 2023 12:21 PM
status
Published
slug
PSOD论文阅读
tags
DL
CV
summary
感觉也8行
type
Post
Field
Plat
评价是一般
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F66cf2855-1c68-4c4a-9460-fca9abd9dae5%2FUntitled.png?table=block&id=1d2b7840-de3c-4c63-bf72-817d66368dd6&cache=v2)
本文提出了一种新颖的弱监督显著性目标检测方法,使用点监督来生成伪标签。该方法首先设计了一种自适应掩膜洪水填充算法来生成伪标签,然后开发了一个基于Transformer的点监督显著性检测模型来产生第一轮显著性图。然而,由于标签的稀疏性,弱监督模型往往会退化为一个通用的前景检测模型。为了解决这个问题,我们提出了一种非显着抑制 (NSS) 方法来优化第一轮生成的错误显着图,并将它们用于第二轮训练。
Model
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F71c88e09-a000-4a4f-a40f-b3422ea6438f%2FUntitled.png?table=block&id=a3187f59-7bee-414c-a224-6e30df066f87&cache=v2)
Adaptive Flood Filling
由于稀疏标签仅覆盖对象区域的一小部分,这限制了模型感知对象结构的能力。
我们将边缘直接应用于洪水填充。洪水填充从起始节点开始搜索其邻域(4 或 8)并提取与其相连的附近节点,直到处理完封闭区域中的所有节点(算法 1)。
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fec99a39b-cddc-46a6-99f4-189929100ed2%2FUntitled.png?table=block&id=ea35f6a4-61dc-496e-a857-eb5f9cfdb294&cache=v2)
即利用边缘图来生成伪标签
Non-Salient object Suppression (NSS)
由于弱监督模型只能使用部分像素标注来训练,因此往往会将非显著性目标也误判为显著性目标。NSS技术通过在第一轮训练后,根据伪标签和原始图像之间的差异来检测非显著性目标,并将其从伪标签中去除。这样可以减少噪声和错误信息对第二轮训练的影响,从而提高检测精度。NSS技术可以有效地过滤掉非显著性目标,使得模型更加专注于学习真正的显著性目标特征。
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fc849ea50-8df8-4c3e-867a-e48cbf1ac60f%2FUntitled.png?table=block&id=8b34a628-3f5c-4598-b544-7e53b18c3caa&cache=v2)
就是对伪标签进行筛选 只留下里面有点标记的mask
另外由于边缘估计的不准确 所以边缘可能提供错误的监督 所以把边缘部分给删掉了(b)
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fa85f1695-e519-402c-b101-4888305bfb25%2FUntitled.png?table=block&id=e35b878b-9ca3-40da-98d6-77a56a9c0ede&cache=v2)
Loss Function
- 对于边缘监督(辅助任务),使用交叉熵
- 对于显著性监督,使用 partial cross entropy + Local Saliency Coherence Loss
Exp
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fc3c8c411-98d4-4f06-8c74-490918661181%2FUntitled.png?table=block&id=07b9d201-90a7-47a4-9699-0589fd2031f4&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fae783ff4-16d9-4e94-bc6a-af7c7192744e%2FUntitled.png?table=block&id=050b62b9-9102-4bb1-b12a-d379b55ffc8a&cache=v2)