Adversarial Diffusion Distillation 论文阅读
date
Nov 29, 2023
Last edited time
Nov 29, 2023 01:54 PM
status
Published
slug
Adversarial Diffusion Distillation 论文阅读
tags
DDPM
summary
type
Post
Field
Plat
我们的方法在概念上很简单：我们提出了对抗扩散蒸馏（ADD）的通用方法，将预训练扩散模型的推理步骤减少到1-4个采样步骤，同时保持高采样保真度，并潜在地进一步改善模型的整体性能。为此，我们引入了两种训练目标的组合：（i）对抗损失和（ii）对应于评分蒸馏采样（SDS）的蒸馏损失。对抗损失强制模型在每次前向传递时直接生成位于真实图像流形上的样本，避免了在其他蒸馏方法[43]中通常观察到的模糊和其他伪像。蒸馏损失使用另一个预训练的（且固定的）DM作为教师，有效利用预训练DM的广泛知识，并保留大型DM中观察到的强组合性。
我们的训练过程如图2所示，涉及三个网络：ADD-student是从预训练的UNet-DM初始化的，其权重为 ，鉴别器具有可训练的权重 ，而 DM teacher则具有冻结的权重 。在训练过程中，ADD-student从噪声数据 生成样本 。噪声数据点是通过前向扩散过程 从真实图像数据集 产生的。在我们的实验中，我们使用与学生DM相同的系数 和 ，并从选定的学生时间步长集 中均匀地采样 。在实践中，我们选择 。
对于对抗目标，生成的样本 和真实图像 被传递给鉴别器，鉴别器旨在区分它们。为了从DM teacher中提取知识，我们将学生样本 通过教师的前向过程进行扩散得到 ，并使用教师的去噪预测 作为蒸馏损失 的重建目标。因此，总体目标为：
Exp
这个 Loss term 的消融很奇怪，只要 就有很好的效果。并且不用蒸馏扩散模型。
