本页为日语原文的AI翻译。如有出入,以日语版为准。

研究

面向第一人称视角视频、支持切割与开合动作的4DGS方法"Topo-4DGS"

由Bocconi大学和TUM等机构组成的研究团队,发布了可处理物体分裂、结合的第一人称视角视频的4DGS方法Topo-4DGS,以及评测用基准TopoEgo。代码和数据计划公开。

本文由AI生成,未经人工事先审核自动发布。

发布日期
2026.11.11(当地)
用途
研究・机器人
出处
2条(en)(其中一手信息 2条)

要点

  1. 论文指出,现有4DGS以“使形状变形”为前提,因此在切断、开合等表面增减的场景中画质会崩坏
  2. Topo-4DGS为各个部位分配各自独立的刚体运动,并随表面的出现与消失来启用或停用高斯
  3. 同时提出了包含24个序列的基准TopoEgo。代码和数据“计划公开”,目前尚未公开
目录
  1. 发生了什么
  2. 原理与内容
  3. 数据一览
  4. 对实务的影响
  5. 如何试用
  6. 注意事项・未确认事项
  7. 术语
  8. 出处

发生了什么

这是2026年11月11日提交至arXiv的论文《Topology-Aware 4D Gaussian Splatting for Egocentric Videos》。作者为Leonardo Vanni、Stefano Gasperini、Federico Tombari、Chiara Plizzari共4人,所属机构标注为Bocconi大学、慕尼黑工业大学和Google。

原理与内容

论文处理的课题是:从第一人称视角(egocentric)的单目视频中,以3D方式重建运动的物体和场景。现有4DGS(沿时间方向运动的3D Gaussian Splatting)通过使固定的高斯集合变形来表示运动。因此,在物体破裂、粘合、打开、闭合等拓扑(连接方式)发生变化时,图像会出现严重破绽,这是作者们设定的问题。\n\n所提出的方法Topo-4DGS,同时对各部位的运动以及随时间变化的表面存在范围进行建模。根据图注说明,其构成包括以下3部分:\n・Motion Bifurcation:在事件时刻,将物体的单一刚体运动分支为K条分段刚体的轨迹。\n・Spacetime Clustering Field:将空间侧的分支与在事件处切换的时间侧分支相结合,平滑地决定每个高斯分配给哪种运动。\n・Topological Boundary Resolution:为新形成的面或暴露出的面准备高斯,并在时间上停用不再需要的面或被遮挡的面。\n\n评测用的TopoEgo由EPIC-KITCHENS和Ego4D的视频制作而成。事件分为分裂(fission)、结合(fusion)、打开(open)、闭合(close)4种。每个片段带有事件

数据一览

基准规模24个序列、36个动态物体、34个已标注事件
事件类型fission(分裂)、fusion(结合)、open、close
数据来源EPIC-KITCHENS、Ego4D
对比方法EgoGaussian、DeGauss、Deformable 3DGS、4DGS(含去除手部的设置)
评价指标物体区域的PSNR(EPIC-KITCHENS的fission):Topo-4DGS 23.84、Def-3DGS(w/o hands) 22.70、4DGS(w/o hands) 22.10、EgoGaussian 20.48
刚体物体对照集Topo-4DGS:PSNR 27.92、SSIM 0.833、LPIPS 0.174。EgoGaussian为27.34、0.804、0.186
公开状况代码和基准均为“soon”(计划公开)

对实务的影响

在烹饪、组装等人会改变物体形状的作业视频的4D重建方面,其技术前提有可能被重新审视。论文将这一课题定位为对具身AI(embodied AI)很重要的问题。机器人从人的作业视频中学习动作的研究,以及作业流程的记录与分析等,是可以设想的应用领域。不过,这些并非材料中写明的应用,仅是读者一侧的判断。\n\n如果基准得以公开,将成为在统一条件下比较含拓扑变化的4DGS的基础。目前代码和数据均未发布,因此无法在实际工作中试用。

如何试用

  1. 在论文页面(topoego.github.io)上确认代码和基准的公开情况
  2. 公开后,使用TopoEgo的片段重建脚本,基于EPIC-KITCHENS和Ego4D的官方发布数据构建评测集并进行比较
  3. 若用手头的视频试验,重点查看切断或开合瞬间前后帧的画质

注意事项・未确认事项

  • 代码和数据尚未公开,目前无法复现或进行追加验证
  • 性能优势为作者报告的数值,第三方验证无法从材料中确认
  • 从表中看,在Ego4D的fusion上,4DGS(w/o hands)为23.46,Topo-4DGS为23.82,存在差距较小的项目
  • 评测以TopoEgo的物体区域PSNR为主,实时性、训练时间、计算资源等无法从材料中确认
  • “首个基准”的定位是作者的主张
  • TopoEgo仅有24个序列,规模相对较小
  • X上的帖子仅用作话题线索,事实依据论文和项目页面

术语

4DGS
在3D Gaussian Splatting基础上加入时间维度,用于表示和渲染运动场景的方法的统称。
第一人称视角视频(egocentric)
由佩戴的摄像头拍摄、接近本人视线的第一人称视角影像。
拓扑变化
物体破裂、粘合、开合等,表面连接方式发生改变的现象。
刚体运动
不改变形状,仅通过旋转和平移而运动。
PSNR
表示重建图像与真值图像接近程度的指标,数值越高越好。

出处

一手信息(发布方・论文・代码仓库)

引出本文的X帖子

本文由AI根据出处(一手信息)以日语生成,未经人工事先审核,经过与出处核对等自动检查后自动发布(关于AI的使用)。数值和规格为发布方信息,本站未独立验证。详情请查阅原文。如发现错误,请通过联系表单告知,我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入,以日语版为准。 日语原文

运营公司的服务ガウシアンスプラッティングとは(IZUTSUYA株式会社)

订阅邮件

每3天一次于日本时间7:00发送最新一期(日语)。

邮件仅以日语发送,可在日语版页面订阅。