Diffusion Autoencoders: Toward a Meaningful and Decodable Representation 论文阅读

date

Dec 27, 2022

Last edited time

Mar 27, 2023 08:39 AM

status

Published

slug

Diffusion_Autoencoders论文阅读

tags

DDPM

summary

发现距离自己上次更新已经10天了, 不行啊, 日后可不能摸鱼了

type

Post

origin

https://www.notion.so/lazurite/Diffusion-Autoencoders-Toward-a-Meaningful-and-Decodable-Representation-9e64198846bf46288f94f428a4871d1e

Field

Plat

Diffusion Autoencoders: Toward a Meaningful and Decodable Representation

Diffusion probabilistic models (DPMs) have achieved remarkable quality in image generation that rivals GANs'. But unlike GANs, DPMs use a set of latent variables that lack semantic meaning and cannot serve as a useful representation for other tasks.

http://arxiv.org/abs/2111.15640

Diffusion Autoencoders

@inproceedings{preechakul2021diffusion, title={Diffusion Autoencoders: Toward a Meaningful and Decodable Representation}, author={Preechakul, Konpat and Chatthee, Nattanat and Wizadwongsa, Suttisak and Suwajanakorn, Supasorn}, booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2022}, }

https://diff-ae.github.io/

GitHub - phizaz/diffae: Official implementation of Diffusion Autoencoders

A CVPR 2022 (ORAL) paper ( paper, site, 5-min video): @inproceedings{preechakul2021diffusion, title={Diffusion Autoencoders: Toward a Meaningful and Decodable Representation}, author={Preechakul, Konpat and Chatthee, Nattanat and Wizadwongsa, Suttisak and Suwajanakorn, Supasorn}, booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2022}, } ⚙️ Try a Colab walkthrough: 🤗 Try a web demo: Note: Since we expect a lot of changes on the codebase, please fork the repo before using.

https://github.com/phizaz/diffae

Preechakul 等 - 2022 - Diffusion Autoencoders Toward a Meaningful and De.pdf

21174.1KB

Abstract Method Sampling with diffusion autoencoders Experiments

Abstract

Problem

DPM 使用一组缺乏语义的 latent code 作为隐表示，不能作为其他任务的有用表示。我们想要提取出能够用于解缠结、紧凑性或在潜在空间中执行有意义的线性插值的能力。

具体来说，我们想要使用 DPM 提取图像的有意义且可解码的表示，该表示包含高级语义但允许近乎精确地重建图像。

Method

我们将任何图像编码成两部分的潜在代码，其中第一部分在语义上是有意义的和线性的，第二部分捕获随机细节，允许近乎精确的重建。

Method

为了追求有意义的潜在代码，我们设计了一个以附加潜在变量为条件的条件 DDIM 图像解码器，以及学习语义编码器输入图像映射到语义上有意义的。在这里，条件 DDIM 解码器将潜在变量作为输入，它由高级语义编码和低级随机编码组成，通过反转生成过程推断DDIM。在此框架中，DDIM 充当解码器和随机编码器。

💡

DDIM 可以被认为是一个图像解码器，它将潜在代码解码回输入图像。

使用反向使用DDIM, 我们可以得到公式:

依次执行确定性的前向扩散, 并把得到的结果视为另一个编码, 因为移除了可以通过预测的信息。通过使用语义编码器和随机编码器, 可以完成对高级语义以及低级图像信息的重建。

Sampling with diffusion autoencoders

为了能够从训练的模型当中采样, 使用一个 lantent DDIM 来拟合分布 . 生成过程从这个 DDIM 模型当中采样一个 , 并从高斯分布当从采样一个 .