RGBD2: Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models 论文阅读

RGBD2: Generative Scene Synthesis via Incremental View Inpainting...

We address the challenge of recovering an underlying scene geometry and colors from a sparse set of RGBD view observations. In this work, we present a new solution termed RGBD$^2$ that...

https://arxiv.org/abs/2212.05993

GitHub - Karbo123/RGBD-Diffusion: RGBD2: Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models

RGBD2: Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models - GitHub - Karbo123/RGBD-Diffusion: RGBD2: Generative Scene Synthesis via Incremental View Inpainting u...

https://github.com/Karbo123/RGBD-Diffusion

Abstract

Method

1. 首先，RGBD2 通过多个 RGBD 图像作为输入，利用反向投影构建一个中间场景网格，该网格包含颜色属性，可以在任意指定的相机视角下从表示中渲染 RGBD 图像。

2. 然后，从测试时间渲染轨迹中选择一个相机姿态后，中间网格被渲染以生成该姿态下的新 RGBD 图像。通常，测试时间视图通常仅与已知相机略有重叠，导致自然部分渲染的 RGBD 图像。为了填补不完整视图中的空白，我们采用了一个修复网络，该网络实现为一个 RGBD 扩散模型(Repaint)。然后将修复后的输出反向投影到 3D 空间中，形成补充整个中间场景网格的部分网格。我们重复这些步骤，直到覆盖所有测试时间相机视角，中间场景网格在此过程中逐渐变得完整。我们的管道的最终输出是从最后一步获得的网格结果。

3. 最后，通过将每个渲染的 RGBD 视图反向投影为部分表面，并将其补充到中间网格中，RGBD2 维护一个中间表面网格，用于渲染新的 RGBD 视图，该网格随后通过一个修复网络变得完整。这种增量视图修复过程与反向投影、网格融合和网格渲染过程交替进行，以实现不同时间帧之间的全局 3D 一致性。

RePaint: Inpainting using Denoising Diffusion Probabilistic Models 论文阅读

https://lazurite.vercel.app/RePaint论文阅读

EXP