Magic3D: High-Resolution Text-to-3D Content Creation 论文阅读
date
Jun 12, 2023
Last edited time
Jun 12, 2023 12:41 PM
status
Published
slug
Magic3D论文阅读
tags
DL
DDPM
3D
summary
type
Post
Field
Plat
NV 版的 DreamFusion
Abstract
DreamFusion存在两个固有限制，(a) NeRF 的优化极其缓慢和 (b) NeRF 上的低分辨率图像空间监督，导致处理时间长的低质量 3D 模型。
这篇文章通过使用两阶段优化框架来解决这两个问题。首先，使用低分辨率扩散先验和稀疏的3D哈希网格结构获得粗略模型。然后，使用高分辨率的潜在扩散模型和有效的可微渲染器进一步优化纹理3D网格模型。这种方法被称为Magic3D，可以在40分钟内创建高质量的3D网格模型，比DreamFusion快2倍，同时也实现了更高的分辨率。
Method
Magic3D的第一阶段使用了一个基于扩散模型的粗略模型，该模型类似于DreamFusion中使用的基础扩散模型（Nv家的）。该模型通过在低分辨率的64×64图像上渲染图像并计算损失来计算场景模型的梯度。然后，使用稀疏的3D哈希网格结构来获得粗略的3D模型。
损失函数用的也是 DreamFusion 里面的：
在第二阶段，使用高分辨率的 LDM 和有效的可微渲染器进一步优化纹理3D网格模型，以获得更高质量的3D模型。
Experiments
