DiffSplat：北京大学和字节跳动的研究团队共同开发的3D生成框架

DiffSplat是由北京大学联合字节跳动推出的新型3D生成框架，旨在通过优化大规模文本到图像扩散模型（diffusion models），直接生成高质量的3D高斯点阵（Gaussian Splats）。该框架通过高效利用网络规模的2D先验知识，同时保持3D一致性，突破了传统3D内容生成方法的限制。

DiffSplat功能特点：

1、高效生成3D高斯点阵

DiffSplat能够直接从文本提示或单视图图像生成3D高斯点阵，保持3D一致性。

生成过程仅需1~2秒，显著提升了3D内容生成的效率。

2、轻量级重建模型

提出了一种轻量级重建模型，能够快速生成多视图高斯点阵网格，用于可扩展的数据集构建。

3、3D渲染损失

引入3D渲染损失，确保生成的3D内容在任意视图下都能保持一致性。

4、兼容图像扩散模型

DiffSplat与图像扩散模型兼容，能够无缝适应多种图像生成技术，从而提升3D生成的质量。

5、强大的文本和图像条件生成能力

在文本和图像条件下的3D生成任务中表现出色，能够根据详细的文本描述或单张图像生成高质量的3D模型。

6、支持多种下游应用

生成的3D内容可以直接用于多种下游应用，如3D打印、虚拟现实（VR）、增强现实（AR）等领域。

DiffSplat项目地址：

1、项目官网：https://chenguolin.github.io/projects/DiffSplat/

2、GitHub仓库：https://github.com/chenguolin/DiffSplat

3、arXiv技术论文：https://arxiv.org/pdf/2501.16764

DiffSplat应用场景：

1、3D内容创作：快速生成3D模型的初步版本，用于概念验证或进一步的精细调整。

2、文本到3D生成：根据详细的文本描述生成与之匹配的3D模型。

3、图像到3D重建：从单张图像生成3D模型，适用于影视特效、游戏开发等领域。

4、下游应用支持：支持3D打印、VR和AR等领域的应用。

标签：