SegFix论文阅读
date
Mar 28, 2023
Last edited time
Mar 28, 2023 07:07 AM
status
Published
slug
SegFix论文阅读
tags
DL
CV
summary
type
Post
Field
Plat
AbstractIntroductionApproachFrameworkOffset branchGround-truth generation and analysisExperiments: Semantic SegmentationResult
Abstract
我们提出了一种模型无关的后处理方案，以提高由任何现有的分割模型生成的分割结果的边界质量。基于经验观察，内部像素的标签预测更可靠，因此我们建议用内部像素的预测代替原来不可靠的边界像素预测。
我们的方法只需要通过两个步骤处理输入图像：(i) 定位边界像素，(ii) 为每个边界像素识别相应的内部像素。我们通过学习一个从边界像素到内部像素的映射来建立这种对应关系。我们的方法不需要先验信息，且能以几乎实时的速度完成处理。
Introduction
我们的工作主要是由于观察到大多数现有的最先进的分割模型不能很好地处理沿边界的误差预测。我们在图 1 中使用 DeepLabv3、Gatt-SCNN 和 HRNet 来说明一些分割错误映射的例子。
更具体地说，我们在图 2 中说明了错误像素数与到对象边界的距离的统计数据。我们可以观察到，对于所有三种方法，误差像素的数量随着距离边界距离的增大而显著减少。换句话说，对内部像素的预测更可靠。
我们提出了一种新的与模型无关的后处理机制，通过将边界像素的标签替换为相应内部像素的标签来获得分割结果，从而减少边界错误。
我们通过以下两个步骤处理输入图像（不探索分割结果）来估计像素对应关系。
第一步旨在将像素定位于物体边界上。我们仅使用卷积网络来预测指示边界像素的二进制掩模。在第二步中，我们学习一个方向，从边界像素指向内部像素，并通过沿着这个方向从边界像素向内移动一定距离来识别相应的内部像素。
Approach
Framework
首先，我们需要训练一个模型，它仅仅通过图像就能够挑选出边界像素（使用 Boundary Map），并且估计这些像素对应的内部像素（使用 Direction Map）。在训练过程中，我们不直接执行分割操作。相反，我们使用该模型从图像中生成 Offset Map，并使用 Offset Map 得到相应的像素。这些像素大部分应该是更自信的内部像素，从而可以细化任何分割模型的分割结果。
给定输入图像 ，首先提取 Feature Map ，然后预测 Binary Map （1 为边界像素和 0 为内部像素），Direction Map （每个元素存储的方向指向边界像素内部像素）。然后， 与 逐元素相乘，以产生 Offset Branch 分支的输入。
在测试阶段，我们只需要在测试集上生成一次 Offset Map，就可以将相同的 Offset Map 应用于任何现有分割模型的分割结果进行精细化处理。一般而言，我们的方法适用于任何现有的分割模型。
Offset branch
偏移分支用于将预测的方向图 转换为大小为 的偏移图 。我们在图 5(a) 中说明了映射机制。例如，当 时，“垂直”方向类别将被映射到偏移量 。最后，移动粗标签映射，生成细化的标签映射。这个过程如图 4 所示。
Ground-truth generation and analysis
我们从 Ground Truth 标签开始生成 Distance Map，接着是 Boundary Map 和 Direction Map。
Experiments: Semantic Segmentation
Result
