Improving Sample Quality of Diffusion Models Using Self-Attention Guidance 论文阅读
date
Nov 23, 2023
Last edited time
Nov 23, 2023 03:36 PM
status
Published
slug
Improving Sample Quality of Diffusion Models Using Self-Attention Guidance 论文阅读
tags
DDPM
summary
yysy，挺有意思
type
Post
Field
Plat
利用带有上下文引导机制（CFG）的条件生成FID更低的原理，可以将无条件生成视为条件生成。具体来说，就是把 的 attention map 部分视为条件，将 mask 后的 的预测视为无条件生成，再将两者结合到一起。
Intro
去噪扩散模型（Denoising diffusion models，简称DDMs）因其出色的生成质量和多样性而备受关注。这一成功在很大程度上归功于在类别或文本条件下使用的扩散引导方法，例如分类器和无分类器的引导。
为了提高生成图像的质量，我们引入了新颖的无条件和无训练策略。自注意力引导（Self-Attention Guidance，简称SAG）利用扩散模型的中间自注意力图来增强其稳定性和效能。具体来说，SAG只对扩散模型在每次迭代中注意到的区域进行对抗性模糊，并相应地进行引导。
Method
Classifier-Free Guidance 可以写为：
我们可以提取包含在 中的显著信息 作为 ，可以为扩散模型的逆过程提供指导。在此基础上，我们提出了SAG，利用扩散模型的自注意图。我们以对抗性方式模糊自注意的信息，即隐藏扩散模型关注的补丁的信息。然后，我们使用隐藏的信息来指导扩散模型。
Exp
