Image Deblurring with Domain Generalizable Diffusion Models 论文阅读

date

Dec 7, 2022

Last edited time

Mar 27, 2023 08:37 AM

status

Published

slug

Image_Deblurring_with_Domain_Generalizable_Diffusion_Models论文阅读

Abstract

我们研究了 image-conditioned Diffusion Probabilistic Models (icDPM) 在去模糊中的泛化能力，并提出了一个简单但有效的指导来显着减轻伪影，并提高分布外性能。

我们建议首先从输入图像中提取多尺度域可泛化表示，该表示在保留底层图像结构的同时删除特定于域的信息。然后将表示添加到条件扩散模型的特征图中，作为有助于改进泛化的额外指导。

Image deblurring

图像去模糊是一个不适定的逆问题，旨在在给定模糊观察的情况下估计一个（或多个）高质量图像。

通常，此类训练数据集是通过在一组干净的图像上应用已知的退化模型来人工生成的，这不可避免地在合成训练数据集和真实世界的模糊图像之间引入了域差距。

我们将“域差距”定义为地面真实标签已知的合成模糊输入（域内）与地面真实对应物未知的看不见/真实模糊输入（域外）之间的分布转变。

icDPM

我们比较了最近最先进的基于回归的、基于 GAN 的和 icDPM（我们的基线）模型的结果。与之前的工作类似，我们观察到 icDPM 在应用于看不见的数据和伪影时性能下降。

我们声称在图像恢复中，有效的图像调节是提高领域泛化能力的关键因素。扩散模型应以保留与生成高质量重建相关的所有信息的信号为条件，但它也需要适当的蒸馏信息，理想情况下从源图像中丢弃退化和损坏。

在这项工作中，我们专注于通过更有效的图像调节来改进条件 DPM 的域泛化。

条件 DPM ，其中图像调节通常是通过在输入级别处连接和来实现的。根据经验，我们发现这种公式对输入图像中的域偏移很敏感，并且会导致分布外图像恢复的性能较差。它甚至可能产生视觉伪影（图 6 中的“DvSR”）。

让我们用表示引导。我们的目标是设计，使得当输入的分布发生变化时，的分布不会发生显着变化。

对于模糊的输入图像，我们可以采用变换函数去除一定量的信息。我们定义为：首先将转换为灰度空间，然后进行倍的下采样。其中，。为了进一步掩盖特定领域的模糊并使指导更加稳健，我们还添加了少量高斯噪声。

为了确保指导还包含尽可能多的内容信息，我们使用可训练网络进一步将投射到表示/潜在空间中，。理想情况下，应包含与退化无关的图像信息。此信息可用于预测，即对应的清晰灰度图片。因此，我们通过最终卷积层以回归目标约束引导网络。

DPM 指导损失是每个尺度的均方误差，导致每个尺度的回归损失为：

其中是域可泛化的特征提取器，为单个卷积层，预测对应的清晰图像。

通过聚合来自输入图像和多尺度指导的信息，我们的 icDPM 是通过最小化去噪损失来训练:

整体训练损失为。

我们观察到通过增加 U-Net 容量，在感知和失真质量方面，域内去模糊性能有了显着改善。但是，域外测试结果变得更糟。通过引入引导网络，我们观察到了域内和域外的性能提升。

我们的模型全面实现了最先进的感知指标，同时通过对多个样本（“Ours-SA”）取平均值来保持有竞争力的失真指标。

我们推测这是由于颜色信息已经包含在输入图像中，可能不需要在引导模块中额外注入。