本页为日语原文的AI翻译。如有出入,以日语版为准。

研究

以损失的一阶变分决定3DGS高斯增减的方法:VinUniversity公开论文与代码

一种不依赖经验规则、而是用由重建损失得出的评分来决定3DGS密度控制的方法已经公开。面向标准版3DGS的代码也已发布在GitHub上,据报告,在Mip-NeRF360的7个场景中,该方法以较少的高斯数量取得了较高的指标。

本文由AI生成,未经人工事先审核自动发布。

发布日期
2026.10.25(当地)
用途
研究・分发・制作
出处
2条(en)(其中一手信息 2条)

要点

  1. 该提案不再使用梯度、不透明度等代理指标,而是用由损失一阶变分得出的评分来决定高斯的新增与删除。
  2. 论文称,与MCMC版结合后可达到最高水平的质量,并在高斯数量较少的条件下带来较大改善。
  3. 公开代码面向标准版3DGS,据报告,在7k迭代、7个场景的平均结果中,PSNR为27.71,高斯数量约174万。
目录
  1. 发生了什么
  2. 原理与内容
  3. 数据一览
  4. 对实务的影响
  5. 如何试用
  6. 注意事项・未确认事项
  7. 术语
  8. 出处

发生了什么

Quan Tran Hong、Long Nguyen-Chi、Binh T. Nguyen三位作者(VinUniversity Center for AI Research)向arXiv提交了重新审视3D Gaussian Splatting(3DGS)密度控制的论文《Birth-Death Structural Learning for 3D Gaussian Splatting》(日期为2026年10月25日)。实现代码也已在GitHub公开。

3DGS是一种可以实时渲染由实拍数据生成的3D表示的技术。其质量与效率的平衡取决于自适应密度控制(ADC),即对高斯进行复制、分裂和删除。以往的规则使用位置梯度、不透明度、图像空间误差等代理指标。

作者指出,这些指标无法直接回答“在哪里放置新的高斯能使损失下降”“删除哪些高斯影响较小”这样的问题。为此,他们提出了“first-variation birth-death control”,即用由重建损失导出的变分评分来决定高斯的增减。

据论文称,在标准基准上,将该评分引入3DGS-MCMC后,重建质量达到最高水平,且高斯数量预算越紧张,改善越大。在现有材料范围内,论文摘要中没有写出具体数值。

原理与内容

在每个结构更新步骤中,先固定当前的高斯集合。为每个高斯附加一个辅助的“质量”坐标,并用该坐标对多视角损失求导。这就是用于增减判断的评分。

论文称已证明该评分是Splat Regression Model一阶变分的坐标。评分高的高斯被选作新生成(birth)的位置,评分低且不透明度也低的高斯则成为删除(death)的对象。

根据GitHub的README,公开代码把质量变量附加在每个高斯的不透明度上。评分为 q_i = -α_i ∂F/∂α_i,为正时表示增加其贡献会使损失局部下降。q_i 超过阈值τ的高斯,被选作标准版复制、分裂的父节点。

基于不透明度和尺寸的删除仍然保留。τ是可调的超参数,在所报告的实验中为1e-7。README说明,论文正文以MCMC版为中心,公开代码是适配到标准版3DGS的版本。

数据一览

评估数据Mip-NeRF360的7个场景(Bicycle, Bonsai, Counter, Garden, Kitchen, Room, Stump)
训练迭代7k(README记载的结果)
标准版3DGS(PSNR / SSIM / LPIPS)27.3727 / 0.8307 / 0.2414
所提方法(PSNR / SSIM / LPIPS)27.7072 / 0.8453 / 0.2144
平均高斯数量标准版 2,039,499 → 所提方法 1,736,896
阈值τ1e-7(报告的实验)
运行环境Linux、NVIDIA GPU、Python 3.11、CUDA 12.8、PyTorch 2.11.0
许可证标注GitHub上为NOASSERTION。README记载上游3DGS的许可证限于研究和非商用评估

对实务的影响

如果能在减少高斯数量的同时提高质量指标,就可能有助于降低文件大小和渲染负载。对从事Web、移动端分发和查看器的从业者来说,这可能成为在训练端压缩数量的手段之一。

不过目前仍是研究阶段的报告。商用方面,上游3DGS的许可证是障碍。要用于制作或检测现场,需要在自有数据上确认可复现。

如何试用

  1. 按照README的步骤,用 --recurse-submodules 克隆仓库,并用 scripts/setup.sh 构建环境。
  2. 准备COLMAP格式(images/ 和 sparse/0/)的场景。可以使用Mip-NeRF360的场景。
  3. 用 bash scripts/train_eval.sh <场景> <输出目录> 训练并评估所提方法。第3个参数指定 vanilla,可运行用于对比的基线。
  4. 在输出目录的 results.json 和 per_view.json 中,比较各项指标和高斯数量。

注意事项・未确认事项

  • 这些数值是README中记载的作者报告,从现有材料无法确认是否有第三方复现。
  • README中的结果是7k迭代、7个场景的平均值。标准的30k迭代结果以及MCMC版的具体数值,在现有材料中无法确认。
  • 论文是否经过同行评审尚未确认。请将其视为arXiv上的预印本。
  • 据README,高斯数量因场景而异。各场景的单独结果据称记载于 docs/results.md,但本次未做确认。
  • 对训练时间和内存的影响,从现有材料无法确认。
  • 能否商用,须遵循上游许可证(限于研究和非商用评估)。仓库本身的许可证为NOASSERTION。

术语

自适应密度控制(ADC)
在3DGS训练过程中,通过复制、分裂和删除高斯来调整其数量与布局的机制。
一阶变分
表示函数的输入发生微小变化时,其值如何变化的量。这里表示损失变化的方向。
3DGS-MCMC
以概率采样的思路处理高斯增减的3DGS衍生方法。
PSNR / SSIM / LPIPS
图像还原质量的指标。PSNR和SSIM越高越好,LPIPS越低越好。

出处

一手信息(发布方・论文・代码仓库)

引出本文的X帖子

本文由AI根据出处(一手信息)以日语生成,未经人工事先审核,经过与出处核对等自动检查后自动发布(关于AI的使用)。数值和规格为发布方信息,本站未独立验证。详情请查阅原文。如发现错误,请通过联系表单告知,我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入,以日语版为准。 日语原文

运营公司的服务ガウシアンスプラッティングとは(IZUTSUYA株式会社)

订阅邮件

每3天一次于日本时间7:00发送最新一期(日语)。

邮件仅以日语发送,可在日语版页面订阅。