(ICLR 2022)SDEDIT: GUIDED IMAGE SYNTHESIS AND EDITING WITH STOCHASTIC DIFFERE 论文阅读
date
Jul 8, 2023
Last edited time
Jul 8, 2023 09:15 AM
status
Published
slug
SDEDIT论文阅读
tags
DDPM
summary
type
Post
Field
Plat
Abstract
Guided image synthesis
Guided image synthesis 是一种图像合成技术，它允许用户通过输入指导信息来生成或编辑图像。这些指导信息可以是用户提供的图像或其他形式的输入，例如文本或草图。该技术旨在实现合成图像的真实性和忠实度之间的平衡。
Stochastic Differential Editing
SDEdit是一种基于随机微分方程（SDE）的图像合成和编辑方法。SDEdit可以直接应用于预训练的SDE-based生成模型，从而实现基于SDE的模型的引导图像合成和编辑。
SDEdit的关键直觉是“劫持”SDE-based生成模型的生成过程。给定一个带有用户指导的输入图像，例如笔画绘画或带有笔画编辑的图像，我们可以添加适量的噪声以平滑不良的伪影和失真（例如笔画像素处的不自然细节），同时仍保留输入用户指南的整体结构。然后，我们使用这个带噪声的输入来初始化SDE，并逐步去除噪声，以获得既逼真又忠实于用户指导输入的去噪结果。
当我们添加更多的高斯噪声并运行SDE更长时间时，合成的图像更加逼真但忠实度较低。我们可以利用这个来找到逼真性和忠实度之间的正确平衡点。因此，SDEdit可以根据用户提供的指导信息生成逼真且忠实的图像，同时避免了其他方法中存在的训练数据和任务特定损失函数的需求。
Method
Image synthesis with VE-SDE
VE-SDE 的 SDE 表达为：，。
来自 EDM 的补充材料 B1 ⤵️
SDE 的前向通用表达式为：
可以得到 VE-SDE 的反向过程表达式：
Euler-Maruyama 采样：
GUIDED IMAGE SYNTHESIS AND EDITING WITH SDEDIT
SDEdit 选择特定时间 ，将标准差 的高斯噪声添加到引导 中，然后在 处求解相应的逆 SDE，以生成合成的 。
前向加噪：
Realism-faithfulness trade-off
我们观察到随着 的增加，真实性增加，但忠实度却降低。在高层次上，指南和合成图像的差异可以分解为分数和随机高斯噪声的输出。