Diffusion as Prior
date
Jun 12, 2023
Last edited time
Nov 30, 2023 09:02 AM
status
Published
slug
Diffusion-as-Prior
tags
summary
type
Post
Field
Plat
We have weighted loss function on the timestept :
对于参数转换生成图像 ，其中 为输入模型的参数。可以通过最小化这个训练损失，来优化输入参数 ，使得生成的图像看起来是扩散模型生成的。
解释一下，就是对于生成的图像 ，若与训练扩散模型的训练集一样，能够使得训练损失最小化，则可以认为这个生成的图像 类似于训练集中的图片。
Diffusion models as plug-and-play priors 中直接最小化这个损失，但是 DeamFusion 中认为这个损失函数效果并不好。
DeamFusion 使用的损失为：
可以证明与下式等价：
这个直接的说就是跟扩散模型一样采样一个时间点 ，然后计算噪声误差，然后把这个误差传播回去计算梯度，就是网络更新的方向。