本页为日语原文的AI翻译。如有出入,以日语版为准。
面向第一人称视角视频、支持切割与开合动作的4DGS方法"Topo-4DGS"
由Bocconi大学和TUM等机构组成的研究团队,发布了可处理物体分裂、结合的第一人称视角视频的4DGS方法Topo-4DGS,以及评测用基准TopoEgo。代码和数据计划公开。
本文由AI生成,未经人工事先审核自动发布。
- 发布日期
- 2026.11.11(当地)
- 用途
- 研究・机器人
- 出处
- 2条(en)(其中一手信息 2条)
要点
- 论文指出,现有4DGS以“使形状变形”为前提,因此在切断、开合等表面增减的场景中画质会崩坏
- Topo-4DGS为各个部位分配各自独立的刚体运动,并随表面的出现与消失来启用或停用高斯
- 同时提出了包含24个序列的基准TopoEgo。代码和数据“计划公开”,目前尚未公开
发生了什么
这是2026年11月11日提交至arXiv的论文《Topology-Aware 4D Gaussian Splatting for Egocentric Videos》。作者为Leonardo Vanni、Stefano Gasperini、Federico Tombari、Chiara Plizzari共4人,所属机构标注为Bocconi大学、慕尼黑工业大学和Google。
原理与内容
论文处理的课题是:从第一人称视角(egocentric)的单目视频中,以3D方式重建运动的物体和场景。现有4DGS(沿时间方向运动的3D Gaussian Splatting)通过使固定的高斯集合变形来表示运动。因此,在物体破裂、粘合、打开、闭合等拓扑(连接方式)发生变化时,图像会出现严重破绽,这是作者们设定的问题。\n\n所提出的方法Topo-4DGS,同时对各部位的运动以及随时间变化的表面存在范围进行建模。根据图注说明,其构成包括以下3部分:\n・Motion Bifurcation:在事件时刻,将物体的单一刚体运动分支为K条分段刚体的轨迹。\n・Spacetime Clustering Field:将空间侧的分支与在事件处切换的时间侧分支相结合,平滑地决定每个高斯分配给哪种运动。\n・Topological Boundary Resolution:为新形成的面或暴露出的面准备高斯,并在时间上停用不再需要的面或被遮挡的面。\n\n评测用的TopoEgo由EPIC-KITCHENS和Ego4D的视频制作而成。事件分为分裂(fission)、结合(fusion)、打开(open)、闭合(close)4种。每个片段带有事件
数据一览
| 基准规模 | 24个序列、36个动态物体、34个已标注事件 |
|---|---|
| 事件类型 | fission(分裂)、fusion(结合)、open、close |
| 数据来源 | EPIC-KITCHENS、Ego4D |
| 对比方法 | EgoGaussian、DeGauss、Deformable 3DGS、4DGS(含去除手部的设置) |
| 评价指标 | 物体区域的PSNR(EPIC-KITCHENS的fission):Topo-4DGS 23.84、Def-3DGS(w/o hands) 22.70、4DGS(w/o hands) 22.10、EgoGaussian 20.48 |
| 刚体物体对照集 | Topo-4DGS:PSNR 27.92、SSIM 0.833、LPIPS 0.174。EgoGaussian为27.34、0.804、0.186 |
| 公开状况 | 代码和基准均为“soon”(计划公开) |
对实务的影响
在烹饪、组装等人会改变物体形状的作业视频的4D重建方面,其技术前提有可能被重新审视。论文将这一课题定位为对具身AI(embodied AI)很重要的问题。机器人从人的作业视频中学习动作的研究,以及作业流程的记录与分析等,是可以设想的应用领域。不过,这些并非材料中写明的应用,仅是读者一侧的判断。\n\n如果基准得以公开,将成为在统一条件下比较含拓扑变化的4DGS的基础。目前代码和数据均未发布,因此无法在实际工作中试用。
如何试用
- 在论文页面(topoego.github.io)上确认代码和基准的公开情况
- 公开后,使用TopoEgo的片段重建脚本,基于EPIC-KITCHENS和Ego4D的官方发布数据构建评测集并进行比较
- 若用手头的视频试验,重点查看切断或开合瞬间前后帧的画质
注意事项・未确认事项
- 代码和数据尚未公开,目前无法复现或进行追加验证
- 性能优势为作者报告的数值,第三方验证无法从材料中确认
- 从表中看,在Ego4D的fusion上,4DGS(w/o hands)为23.46,Topo-4DGS为23.82,存在差距较小的项目
- 评测以TopoEgo的物体区域PSNR为主,实时性、训练时间、计算资源等无法从材料中确认
- “首个基准”的定位是作者的主张
- TopoEgo仅有24个序列,规模相对较小
- X上的帖子仅用作话题线索,事实依据论文和项目页面
术语
- 4DGS
- 在3D Gaussian Splatting基础上加入时间维度,用于表示和渲染运动场景的方法的统称。
- 第一人称视角视频(egocentric)
- 由佩戴的摄像头拍摄、接近本人视线的第一人称视角影像。
- 拓扑变化
- 物体破裂、粘合、开合等,表面连接方式发生改变的现象。
- 刚体运动
- 不改变形状,仅通过旋转和平移而运动。
- PSNR
- 表示重建图像与真值图像接近程度的指标,数值越高越好。
出处
一手信息(发布方・论文・代码仓库)
- Topology-Aware 4D Gaussian Splatting for Egocentric VideosarXiv(arxiv.org)・en
- Topology-Aware 4D Gaussian Splatting for Egocentric Videos(プロジェクトページ)topoego.github.io(topoego.github.io)・en
引出本文的X帖子
本文由AI根据出处(一手信息)以日语生成,未经人工事先审核,经过与出处核对等自动检查后自动发布(关于AI的使用)。数值和规格为发布方信息,本站未独立验证。详情请查阅原文。如发现错误,请通过联系表单告知,我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入,以日语版为准。 日语原文
运营公司的服务ガウシアンスプラッティングとは(IZUTSUYA株式会社)