(CVPR2023)Ambiguous Medical Image Segmentation using Diffusion Models 论文阅读
date
Apr 30, 2023
Last edited time
Apr 30, 2023 03:43 PM
status
Published
slug
Ambiguous-Medical-Image-Segmentation-using-Diffusion-Models-论文阅读
tags
DL
CV
summary
type
Post
Field
Plat
Abstract
- Challenge of Medical Image Segmentation
医学图像分割是指将医学图像中的不同组织或结构分离出来，以便进行进一步的分析和诊断。然而，由于医学图像本身的复杂性和噪声等因素的影响，医学图像分割往往存在模糊性问题。
- Shortage of current Medical Image Segmentation method
确定性模型因选择最有可能的假设而臭名昭著，即使存在可能导致次优分割的不确定性。仅依赖像素概率并忽略像素之间的协方差可能会导致误诊。在临床实践中，多位专家的综合解释表明可以改善诊断并减少假阴性。
- Motivation
我们提出了 CIMD（Collectivly Intelligent Medical Diffusion），它解决了医学成像的模糊分割任务。我们模型的层次结构还可以控制每个时间步的多样性，从而使分割蒙版更加真实和异构。
受当前集体洞察力医学实践的启发，我们创造了一个新指标，即 CI 分数（集体洞察力），它考虑了放射科医师的总体敏感性、普遍共识和差异。
Introduce
c-VAE
c-VAE是一种基于变分自编码器（VAE）的模型，用于图像分割。它的特点是可以生成多个可能的分割掩模，从而提高了分割结果的可靠性和准确性。
c-VAE模型使用变分推断来生成多个可能的分割掩模。它通过从一个潜在空间中采样来生成多个不同的掩模，这些掩模可以表示图像中不同区域的不同标签。与传统方法相比，c-VAE能够更好地捕捉图像中不同区域之间的关系，并且能够生成更加准确和可靠的分割结果。
- 问题
- 对先验网络依赖
- 较少多样性和模糊的分割预测
Method
Collectivly Intelligent Medical Diffusion
AMN（Annotation-Guided Masking Network）对给定输入图像的 GT 的分布进行建模。给定图像 和 GT ，我们通过用 参数化 AMN 的权重，将分割掩码的模糊性嵌入到潜在空间中。
同样，我们使用 Ambiguity Controlling Network (ACN) 对预测掩码的歧义进行建模。 ACN 对来自扩散模型调节输入图像的噪声输出进行建模。
网络 AMN 和 ACN 都是使用具有对角协方差矩阵的轴对齐高斯分布建模的。两个网络的架构细节可以在补充中找到。我们通过施加 Kullback-Leibler 散度来惩罚两个分布之间的差异，
最后所有的损失可以写为:
DDPM 的损失可以写为:
在采样的过程为:
即, 模型预测的噪声
Collective Insight Score
CI指标是一种用于评估图像分割结果的指标，其全称为Combined Sensitivity and Specificity Index。CI指标综合了敏感性和特异性两个方面的评估，可以更全面地反映分割结果的准确性。
具体来说，CI指标定义为TP/(TP+FP+FN)，其中TP表示真正例（即正确分割出的像素数），FP表示假正例（即错误地将背景像素分割为目标像素数），FN表示假反例（即错误地将目标像素分割为背景像素数）。CI指标越高，说明分割结果越准确。
Experiments
DDPM-det-Seg 指的是使用输入图像的所有分割掩码的平均值训练 DDPM 的模型。 DDPM-ProbSeg 是指针对输入图像使用不同的分割掩码训练 DDPM。