(ICML2023)NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion 论文阅读
date
Jun 1, 2023
Last edited time
Jun 1, 2023 08:23 AM
status
Published
slug
NerfDiff论文阅读
tags
DL
3D
DDPM
summary
eq7看不懂了
type
Post
Field
Plat
当前的 Single-image View Synthesis 方法存在一些问题。其中最主要的问题是合成图像的质量不够高，特别是在遮挡区域和未见区域。此外，现有方法也难以保持输入图像的一致性，导致合成图像与输入图像之间存在明显的差异。
NerfDiff是我们提出的一种用于单张图像视角合成的模型。它结合了NeRF和3D-aware条件扩散模型的优点，通过两个阶段的训练和微调来实现高质量、高保真度的图像合成。
在训练阶段，我们在一组场景上联合训练基于相机空间三平面的 NeRF 和 3D 感知条件扩散模型 (CDM)。我们在微调阶段给定输入图像初始化 NeRF 表示。在第二阶段中，我们使用第一阶段训练好的单张图像NeRF作为初始模型，并将其与3D-aware CDM联合优化。具体来说，我们使用CDM生成多个视角下的图像，并将这些图像与输入图像进行比较，以计算渲染损失函数。同时，我们还引入了NeRF-guided distillation 技术来提高CDM生成的多视角图像质量，并保持与输入图像之间的一致性。
Architecture
NeRF Guided Distillation
NeRF Guided Distillation 用于提高3D-aware CDM生成的多视角图像的质量，并保持与输入图像之间的一致性。具体来说，它通过交替更新NeRF表示和指导多视角扩散过程来解决单张图像视角合成中的不确定性问题。
但是看不懂
- Given an input image .
- , , is the noised target for .
- is the volume rendered image.
- is a prior distribution on the relative camera poses to the input and , are the corresponding images at the relative camera .
