NutWorld：将日常单目视频高效地转换为动态3D高斯的新型视频处理框架

NutWorld 是由新加坡国立大学、南洋理工大学和 Skywork AI 联合推出的一种新型视频处理框架，能够将日常单目视频高效地转换为动态3D高斯表示（Dynamic Gaussian Splatting）。该框架通过单次前向传播，将视频中的动态世界表示为空间和时间上连续的高斯原语流。

NutWorld功能特点：

1、高效的单次前向传播：

 - NutWorld 通过单次前向传播即可将单目视频转换为动态3D高斯表示，显著提高了处理效率。

 - 在处理90帧视频时，仅需1.8秒即可完成重建，相比传统方法加速了1000倍。

2、结构化的STAG表示：

 - 引入了空间-时间对齐高斯（STAG）表示，无需优化即可建模场景，提供高效的动态表示。

 - 通过深度和流正则化策略，增强几何一致性和动态场景的建模能力。

3、高保真视频重建：

 - NutWorld 在视频重建质量上表现出色，能够处理复杂运动、遮挡和几何一致性问题。

4、支持多种下游应用：

 - 视频目标分割：能够将目标mask从一帧传播到后续帧，无需特定任务的训练。

 - 帧插值：通过校准光流正则化，支持任意帧率的插值，生成平滑的中间帧。

 - 一致性深度预测：保持时间一致的空间配置，防止深度坍缩。

 - 视频编辑：与多模态语言模型（MLLM）集成，支持精确的逐帧绘画和风格化编辑。

 - 新视角合成：通过深度先验减轻空间歧义，支持新视角渲染和特效。

5、时空一致性：

 - NutWorld 在空间和时间一致性方面显著优于现有方法，能够处理复杂场景。

NutWorld应用场景：

1、视频重建：高效重建高质量的视频内容。

2、视频编辑与特效：支持实时视频编辑和新视角合成。

3、目标分割与跟踪：在视频中实现目标的自动分割和跟踪。

4、深度预测：提供一致的深度预测，适用于3D视频应用。

NutWorld 通过其创新的动态3D高斯表示和高效的单次前向传播，为单目视频处理领域带来了新的突破，展现出强大的多功能性和实用性。

NutWorld项目网址：

1、GitHub仓库：https://github.com/Nut-World/NutWorld/

2、arXiv技术论文：https://arxiv.org/pdf/2502.03465

标签：