Diffusion Model & AutoEncoder

(NIPS2022-PDAE)Unsupervised Representation Learning from Pre-trained Diffusion Probabilistic Models

Unsupervised Representation Learning from Pre-trained Diffusion...

Diffusion Probabilistic Models (DPMs) have shown a powerful capacity of generating high-quality image samples. Recently, diffusion autoencoders (Diff-AE) have been proposed to explore DPMs for...

http://arxiv.org/abs/2212.12990

GitHub - ckczzj/PDAE: Official PyTorch implementation of PDAE (NeurIPS 2022)

Official PyTorch implementation of PDAE (NeurIPS 2022) - GitHub - ckczzj/PDAE: Official PyTorch implementation of PDAE (NeurIPS 2022)

https://github.com/ckczzj/PDAE

Abstract

Method

Forward Process Posterior Mean Gap

假设在相同的实验设置下，将 $Σ_θ$ 都设置为未训练的时间相关常数，那么有条件的DPMs将达到更低的优化扩散损失。实验结果在图1中证明了这一事实，即 $μ_θ(x_t, y, t)$比$μ_θ(x_t, t)$更接近$\tilde μ_t(x_t, x_0)$。

实质上，这个后验均值差是由于前向过程信息丢失导致的，因此仅通过$x_{t−1}$无法恢复。然而，如果我们为DPMs引入一些关于$x_0$的知识，如$y$，那么这个差距将变小。$y$ 所包含的$x_0$ 的信息越多，这个差距就越小。

 

条件采样的扩散模型公式如下：

$$\epsilon_{\theta}(x_t, t) = \epsilon_{\theta}(x_t, t) - \sqrt{1 - \bar{\alpha}_t} \cdot \nabla x_t \log p_{\phi}(y|x_t)$$

我们在这里训练一个梯度估计器 $G_\psi(x_t, z, t)$ 来模拟 $\nabla_{x_t} \log p(z|x_t)$。通过使用预训练的DPM，我们可以组装一个条件DPM: $p_{\theta,\psi}(x_{t-1}|x_t, z) = \mathcal{N}(x_{t-1}; \mu_{\theta}(x_t, t) + \Sigma_{\theta}(x_t, t) \cdot G_{\psi}(x_t, z, t), \Sigma_{\theta}(x_t, t))$ 作为解码器。在训练完毕的 $G_{\psi}(x_t, z, t)$ 之后，我们可以将其视为最优分类器 $p(z|x_t)$ 的得分，并根据预训练的 $\epsilon_{\theta}(x_t, t)$，使用分类器引导采样方法进行DDPM采样。

Experiments

(ICLR2023Oral-DDAE)Denoising Diffusion Autoencoders are Unified Self-supervised Learners

Denoising Diffusion Autoencoders are Unified Self-supervised Learners

Inspired by recent advances in diffusion models, which are reminiscent of denoising autoencoders, we investigate whether they can acquire discriminative representations for classification via...

https://arxiv.org/abs/2303.09769

GitHub - FutureXiang/ddae: [ICCV 2023 Oral] Official Implementation of "Denoising Diffusion Autoencoders are Unified Self-supervised Learners"

[ICCV 2023 Oral] Official Implementation of "Denoising Diffusion Autoencoders are Unified Self-supervised Learners" - GitHub - FutureXiang/ddae: [ICCV 2023 Oral] Official Implemen...

https://github.com/FutureXiang/ddae

受到最近扩散模型的发展启发，本研究探讨了这些模型是否能通过生成预训练来获得用于分类的有区别的表示。实验证明，扩散模型中的网络，即去噪扩散自编码器（DDAE），是一种统一的自监督学习器。通过对无条件图像生成进行预训练，DDAE已经在其中间层学到了强线性可分的表示。与辅助编码器不同，扩散预训练成为一种生成和判别双重学习的通用方法。

通过测量中间激活的线性探测和微调准确性，我们评估了扩散预训练网络，即去噪扩散自编码器（DDAE），作为特征提取器。对于线性探测，我们将带有特定尺度（或时间步长）的带噪图像传递给DDAE，并检查不同层的激活情况。对于微调，我们将DDAE截断到最佳表示层作为图像编码器，并进行无附加噪声的微调。

 

(CVPR2022Oral-DiffAE)Diffusion Autoencoders: Toward a Meaningful and Decodable Representation

Diffusion Autoencoders: Toward a Meaningful and Decodable Representation 论文阅读

发现距离自己上次更新已经10天了, 不行啊, 日后可不能摸鱼了

https://lazurite.vercel.app/Diffusion_Autoencoders论文阅读