Expression of DDIM in Angular Parameterization

date
Mar 8, 2023
Last edited time
Mar 27, 2023 08:28 AM
status
Published
slug
Expression_of_DDIM_in_Angular_Parameterization
tags
DL
summary
type
Post
origin
https://www.notion.so/lazurite/Expression-of-DDIM-in-Angular-Parameterization-92e447c4193144ca81c344a4c1fcc9cb?pvs=4
Field
Plat
Progressive Distillation for Fast Sampling of Diffusion Models
Diffusion models have recently shown great promise for generative modeling, outperforming GANs on perceptual quality and autoregressive models at density estimation. A remaining downside is their...
Progressive Distillation for Fast Sampling of Diffusion Models
https://openreview.net/forum?id=TIdIXIpzhoI
Progressive Distillation for Fast Sampling of Diffusion Models
Salimans 和 Ho - 2022 - PROGRESSIVE DISTILLATION FOR FAST SAMPLING OF DIFF.pdf
3321.0KB
Variational Diffusion Models
Diffusion-based generative models have demonstrated a capacity for perceptually impressive synthesis, but can they also be great likelihood-based models? We answer this in the affirmative, and...
Variational Diffusion Models
https://arxiv.org/abs/2107.00630
Variational Diffusion Models
Kingma 等 - 2022 - Variational Diffusion Models.pdf
2431.6KB
一个高斯扩散过程从数据 开始，得到了一系列越来越嘈杂的潜变量 ，其中 从 （最不嘈杂）到 （最嘈杂）变化。在给定 的条件下，对于任何 ，潜变量 的分布可以表示为：
定义信噪比 (SNR)：
则采样过程 可以写为:

EXPRESSION OF DDIM IN ANGULAR PARAMETERIZATION

令 , 我们可以得到
💡
这个假设需要满足的条件为 , 是原始DDPM中的假设
然后我们现在可以将 的 velocity 定义为:
Rearranging we then get
另外:
💡
由
因此从 采样得到 可以表示为:
或
💡
重写 DDIM 更新规则得到:
最后，我们使用三角恒等式
得到
从这个角度来看，DDIM 通过在 的基础上沿 方向在一个圆上移动它来演化 。 之间的关系如图所示。
notion image
 

© Lazurite 2021 - 2024