PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space
arXiv · HuggingFace · ▲61
摘要（原文）
3D reconstruction and generation are commonly tackled by separate paradigms: pixel-based regression for reconstruction, and latent diffusion for generation. Recent works attempt to unify them in latent space, but with notable drawbacks: the diffusion objective is defined on latent features rather than the underlying 3D representation, and both branches suffer from information loss introduced by latent encoding, while requiring a pretrained Variational Autoencoder (VAE) or Representation Autoencoder (RAE). In this paper, we reformulate these two tasks under a unified pixel-space diffusion paradigm and introduce PixWorld, a single model that jointly addresses 3D reconstruction and generation. By supervising diffusion directly on rendered images, PixWorld removes the above limitations and aligns optimization with 3D scene fidelity. Beyond photometric and perceptual supervision that operates at the 2D image level and lacks 3D geometric awareness, we further introduce a geometry perception loss that aligns rendered views with their ground truth in the geometry-aware feature space of a pretrained 3D foundation model, providing 3D structural supervision. PixWorld consistently outperforms prior latent-space generation methods and matches state-of-the-art reconstruction methods, demonstrating the superiority of a unified pixel-space approach.
摘要（中译）
3D重建和生成通常由不同的范式处理：基于像素的回归用于重建，潜在扩散用于生成。最近的工作试图在潜在空间中统一它们，但存在明显的缺点：扩散目标定义在潜在特征上，而不是潜在的3D表示，并且两个分支都受到潜在编码引入的信息损失的影响，同时需要预训练的变分自动编码器（Variational Autoencoder，VAE）或表示自动编码器（Representation Autoencoder，RAE）。在本文中，我们在统一的像素空间扩散范式下重新阐述了这两个任务，并引入了PixWorld，这是一个单一模型，同时解决了3D重建和生成问题。通过直接在渲染图像上进行扩散监督，PixWorld消除了上述限制，并使优化与3D场景保真度保持一致。除了在2D图像级别操作并缺乏3D几何意识的光度和感知监督之外，我们还进一步引入了几何感知损失，该损失将渲染视图与其在预训练的3D基础模型的几何感知特征空间中的真实值对齐，提供3D结构监督。PixWorld始终优于先前的潜在空间生成方法，并与最先进的重建方法相匹配，证明了统一的像素空间方法的优势。
背景剖析
背景剖析
1. 技术背景
3D场景构建是计算机视觉的核心目标之一，广泛应用于游戏开发、机器人导航、虚拟现实（VR/AR）等领域。例如，在元宇宙中，需要生成逼真的虚拟环境；在自动驾驶中，需从传感器数据重建真实场景。当前研究分为两类：3D重建（从真实图像恢复场景结构）和3D生成（根据条件合成新场景）。前者依赖多视图图像回归3D模型，后者则通过扩散模型等生成合理场景。两者共同支撑未来数字世界的构建，但长期作为独立方向发展。
2. 之前的问题
传统方法存在明显局限：
- 信息损失与依赖预训练：现有生成方法多在潜在空间（如VAE/RAE编码的特征空间）操作，导致3D输出与真实场景的信息丢失，且需要额外训练预训练模型（如VAE），增加计算成本。
- 优化目标不匹配：生成任务的扩散目标基于潜在特征而非直接优化3D结构，而重建任务受限于像素级监督（如光度损失），无法保证几何结构的准确性。
- 缺乏统一框架：尽管Gen3R等尝试统一两者，但仍依赖潜在空间，无法直接对齐3D场景的真实保真度。
3. 本文的解法
PixWorld提出了一种像素空间扩散范式，直接通过可微分渲染监督3D高斯表示，避免潜在空间的信息损失。具体来说：
- 统一框架：将重建和生成整合到单一模型中，通过划分多视图输入为“干净”（用于重建）和“噪声”（用于生成）子集，共同优化像素对齐的3D高斯表示。
- 几何感知损失：引入预训练3D基础模型的几何特征空间损失，确保渲染视图与真实场景在几何结构上对齐，弥补像素级监督的不足。
4. 切入角度
与前人工作相比，PixWorld的关键差异在于：
- 直接像素空间监督：绕过潜在空间，直接优化3D表示，消除信息损失和预训练依赖。
- 几何结构对齐：通过几何感知损失提供3D结构监督，而非仅依赖2D外观损失。
- 端到端统一：无需切换任务或模型，单次前向传播即可同时处理生成和重建，显著提升效率和性能。
这一设计使PixWorld在生成和重建任务上均达到当前最优，证明了像素空间扩散作为统一范式的优势。
