Benchmarking Label Noise in Instance Segmentation: Spatial Noise Matters

我们提供了一种现实场景，以评估实例分割模型在不同分割任务中的鲁棒性和泛化能力，并引入了COCO-N和Cityscapes-N。真实世界的数据集往往由于标注模糊、人为错误以及自动标注工具的偏见等因素而表现出噪声标签。在实例分割领域，这些噪声标签可以显著妨碍模型的性能，导致对象识别和分割边界的不准确。我们提供了一个公开可用的工具，用于生成噪声，以模拟来自实例分割数据集的不同百分比的标签噪声估计。此外，我们阐明了现有方法在学习真实世界噪声标签时失败的原因，并研究了使用视觉基础模型（VFM）作为自动标注工具的效果，同时通过手动监督来解决其他真实世界标注场景的问题。