跳到主要内容

创建高斯泼溅

高斯泼溅通过从多个视角覆盖对象的一组图像重建。这些图像可以是照片、视频提取帧，或两者混合。

备注

源图像也可以是合成图像，例如从 Blender 等 3D 软件渲染，适合将现实中不存在的场景转为高斯泼溅。

工作流​

创建适合 PlayCanvas 的数据分三步：

  1. **采集源图像。**最终质量受输入质量限制。拍摄技巧、设备、覆盖和光照，参见拍摄照片。
  2. **选择处理工具。**PlayCanvas 本身不将图像转为高斯泼溅。推荐工具比较从一键手机应用到高级桌面训练器的第三方选项。
  3. **运行工具。**执行下述运动恢复结构与训练，输出 .ply，进入后续工作流。

管线内部​

无论选择哪个工具，底层通常包含两个阶段。

1. 运动恢复结构（SfM）​

分析输入图像，恢复每张照片的相机位置和朝向，并对多视图中检测到的特征三角化，生成稀疏三维点云。这为训练提供初始几何体和已知视点。

2. 训练​

从 SfM 点云开始，训练器执行成千上万次可微渲染迭代，将当前单元从已知相机看到的图像与原照片比较，每次调整让结果更接近输入：

  • 增密：在重建缺乏细节的区域增加单元。
  • 剪枝：移除透明、冗余或空白区域中贡献很小的单元。
  • 优化：微调剩余单元的位置、缩放、旋转、颜色和球谐系数，更好匹配输入。

训练通常需几分钟到数小时，取决于工具、场景规模和硬件。多数高级训练器要求支持 CUDA 的 GPU，参见推荐工具表格的要求列。

输出​

训练生成 .ply 文件，这是 3D 高斯泼溅的标准交换格式。随后可继续：