(ICLR 2022)SDEDIT: GUIDED IMAGE SYNTHESIS AND EDITING WITH STOCHASTIC DIFFERE 论文阅读
date
Jul 8, 2023
Last edited time
Jul 8, 2023 09:15 AM
status
Published
slug
SDEDIT论文阅读
tags
DDPM
summary
type
Post
Field
Plat
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F22b381c5-ff42-4bd8-b9e8-b804d7a037f3%2FUntitled.png?table=block&id=df3a02b1-fc57-4b44-8835-73a6fc6f969d&cache=v2)
Abstract
Guided image synthesis
Guided image synthesis 是一种图像合成技术,它允许用户通过输入指导信息来生成或编辑图像。这些指导信息可以是用户提供的图像或其他形式的输入,例如文本或草图。该技术旨在实现合成图像的真实性和忠实度之间的平衡。
Stochastic Differential Editing
SDEdit是一种基于随机微分方程(SDE)的图像合成和编辑方法。SDEdit可以直接应用于预训练的SDE-based生成模型,从而实现基于SDE的模型的引导图像合成和编辑。
SDEdit的关键直觉是“劫持”SDE-based生成模型的生成过程。给定一个带有用户指导的输入图像,例如笔画绘画或带有笔画编辑的图像,我们可以添加适量的噪声以平滑不良的伪影和失真(例如笔画像素处的不自然细节),同时仍保留输入用户指南的整体结构。然后,我们使用这个带噪声的输入来初始化SDE,并逐步去除噪声,以获得既逼真又忠实于用户指导输入的去噪结果。
当我们添加更多的高斯噪声并运行SDE更长时间时,合成的图像更加逼真但忠实度较低。我们可以利用这个来找到逼真性和忠实度之间的正确平衡点。因此,SDEdit可以根据用户提供的指导信息生成逼真且忠实的图像,同时避免了其他方法中存在的训练数据和任务特定损失函数的需求。
Method
Image synthesis with VE-SDE
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F69cb4377-ca03-47c0-9546-7fc38031c63a%2FUntitled.png?table=block&id=130a595f-e734-4828-a5c4-d5b2a77563e3&cache=v2)
VE-SDE 的 SDE 表达为:,。 ![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F179e3e74-049a-4554-b61e-52a2962cfea4%2FUntitled.png?table=block&id=fa742ded-caa4-45f8-98ec-7fc7f47df13b&cache=v2)
来自 EDM 的补充材料 B1 ⤵️
SDE 的前向通用表达式为:
可以得到 VE-SDE 的反向过程表达式:
Euler-Maruyama 采样:
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F179e3e74-049a-4554-b61e-52a2962cfea4%2FUntitled.png?table=block&id=fa742ded-caa4-45f8-98ec-7fc7f47df13b&cache=v2)
GUIDED IMAGE SYNTHESIS AND EDITING WITH SDEDIT
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F4f9c512c-45e8-4e7d-a0e8-e04c92cf78f1%2FUntitled.png?table=block&id=42874904-844e-4967-a6ea-52b34afc618d&cache=v2)
SDEdit 选择特定时间 ,将标准差 的高斯噪声添加到引导 中,然后在 处求解相应的逆 SDE,以生成合成的 。
前向加噪:
Realism-faithfulness trade-off
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Ffeb7ab8d-e22a-4027-856d-a2c0761a292e%2FUntitled.png?table=block&id=53a55d36-c1d2-47d0-bf38-81dfffab01c4&cache=v2)
我们观察到随着 的增加,真实性增加,但忠实度却降低。在高层次上,指南和合成图像的差异可以分解为分数和随机高斯噪声的输出。