Boosting Camouflaged Object Detection with Dual-Task Interactive Transformer 论文阅读
date
Feb 22, 2023
Last edited time
Mar 28, 2023 08:05 AM
status
Published
slug
Boosting_Camouflaged_Object_Detection_with_Dual-Task_Interactive_Transformer论文阅读
tags
DL
CV
summary
我的评价是不太行
type
Post
Field
Plat
来自ICPR 2021
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Ff010e86a-d9b8-4a42-876e-f56b29a79a5d%2FUntitled.png?table=block&id=f68ce328-6328-4a64-b2be-5b1c6f970ca0&cache=v2)
我们认为,伪装物体的发现取决于对物体和边界的反复搜索。我们提出了一种双任务交互式变换器,用于检测伪装物体的准确位置及其详细边界。我们将边界特征作为 Query 来改进伪装目标检测,同时将目标特征作为 Query 来改进边界检测。
Backbone
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F0b035b28-65e7-46bd-94a8-3556199deeb7%2FUntitled.png?table=block&id=d143106f-afc5-4216-b104-c31fe8764e2b&cache=v2)
我们采用两个 SegFormers 作为编码器从输入图像中提取前景和背景特征。
Boundary Generation by Minus Operation
边界特征可以从前景和背景的模糊边界区域获得。我们设计了一种边界特征提取方法。该方法使用两个主干网络分别提取前景和背景特征。然后对前景和背景特征进行减法运算,生成边界特征。
两个主干分别负责伪装物体的前景检测和背景检测。一般来说,提取的特征有一定的前景或一定的背景部分和不确定的部分。假设前景和背景特征在[0,1]以内,某些部分的差异会趋于-1或1,而不确定部分的差异趋于0。某些前景减去某些背景和不确定部分表现出不同的分布。因此,我们使用减操作将不确定部分重新分配到边界的正确位置。也就是说,通过前景和背景特征之间的减法运算,将前景和背景的模糊边界区域转换为清晰的边界。
Dual-Task Interactive Transformer
我们的双任务交互式转换器并行处理伪装目标检测任务和边界检测任务,它采用两个对称分支,即 BD 分支和 COD 分支。
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fdb86fb13-b951-4b40-a073-b375ec98cd9c%2FUntitled.png?table=block&id=71065308-5d37-4443-9f98-42d85386e24d&cache=v2)
Feature Enhance and Aggregation
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fe999bab0-e63e-46e1-b362-be1736169510%2FUntitled.png?table=block&id=a29f0910-7280-4d23-a5f0-b5bb4c501dc9&cache=v2)
Result
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F282373d7-d4e3-42d5-be4b-87967685cd5e%2FUntitled.png?table=block&id=bede2fde-14ae-4a97-9734-27b16b9033d4&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F5444ec2d-3fea-4f1d-924c-8c36c868867e%2FUntitled.png?table=block&id=765b71f8-750e-4ca5-86dc-7da854a3e676&cache=v2)