(CVPR2023)DiffRF: Rendering-Guided 3D Radiance Field Diffusion 论文阅读
date
May 30, 2023
Last edited time
Jun 4, 2023 08:20 AM
status
Published
slug
DiffRF论文阅读
tags
DL
CV
DDPM
summary
感觉8行
type
Post
Field
Plat
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F14ead633-79da-4984-9c8d-28110fbe78b6%2FUntitled.png?table=block&id=bcba7c53-abc5-423f-a9ae-f2a303580c5e&cache=v2)
Abstract
问题
由于从一组姿态图像生成的辐射场可能存在歧义和伪影,因此获得真实的辐射场样本是非常困难的。
方法
我们通过将去噪公式与渲染损失配对来解决这一挑战,使我们的模型能够学习有利于良好图像质量的偏差先验,而不是试图复制像浮动伪影这样的拟合错误。具体来说,我们建议通过在估计上增加额外的体积渲染损失,使来自去噪扩散概率模型 (DDPM) 的噪声预测公式偏向于合成更高的图像质量。这使我们的方法能够学习辐射场先验,在采样过程中不太容易出现拟合伪影或噪声累积。
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F2d80b118-1da7-4f06-847c-aa880f6be095%2FUntitled.png?table=block&id=bdcfe316-23f1-4c18-9761-44a0424179e3&cache=v2)
DiffRF的训练目标包括两个互补的损失函数:一个是辐射场生成损失 ,另一个是针对从生成的辐射场中提高渲染质量的RGB损失 。
Radiance field generation loss
为 Radiance field.
Radiance field rendering loss
Exp
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F260fd201-7e38-4349-bfc3-833424fec3e0%2FUntitled.png?table=block&id=1d5dee01-a0a3-4afe-bc4f-330c07bcebd4&cache=v2)