本页为日语原文的AI翻译。如有出入,以日语版为准。

4D

ASU以开源方式发布面向消费级相机的4DGS管线“Open4DGS”

亚利桑那州立大学NEM发布了一条无需Genlock、可校正卷帘快门的4DGS管线。据称,通过在高速运动区间增加训练次数的方法,高速场景的PSNR提升了约2.5dB。

本文由AI生成,未经人工事先审核自动发布。

用途
制作・研究・娱乐
出处
1条(en)(其中一手信息 1条)

要点

  1. 亚利桑那州立大学的NEM项目发布了一条开源管线,可用多相机视频生成自由视点的4DGS
  2. 仅凭视觉信息即可估计相机之间的子帧偏差和卷帘快门,不以支持Genlock的全局快门设备为前提
  3. 通过在高速运动区间增加训练次数的方式,在特定舞蹈序列中,高速帧的PSNR据报告从31.69dB提升至34.18dB(发布值)
目录
  1. 发生了什么
  2. 原理与内容
  3. 数据一览
  4. 对实务的影响
  5. 案例
  6. 如何试用
  7. 注意事项・未确认事项
  8. 术语
  9. 出处

发生了什么

亚利桑那州立大学(ASU)的Narrative and Emerging Media(NEM)项目发布了4D Gaussian Splatting(用带时间的高斯表示动态场景的方法)管线“Open4DGS”。它可将多相机视频制作成能够自由视点观看人物表演的体积视频。项目页面称,该项目经过约1年的开发,是“production-ready”的开源软件。作者列出了 Arvin Tehrani、Rory Mitchell、Ryat Yezbick、Nonny de la Peña,所属单位标注为ASU NEM和 Contrast Media Labs。\n\n最大的特点是不需要用Genlock(相机同步信号)对齐的全局快门设备。据称,预处理会从视频中学习每台相机连续的子帧相位偏差以及卷帘快门的读出时间。拍摄设想使用GoPro、Sony动作相机,或混合使用的消费级设备。\n\n另一个特点是面向高速运动的训练方法。它会根据速度自动添加中间关键帧,让快速部分的帧在训练中被更多次访问。在一段舞蹈序列(27台相机、60fps)的对比中,快速帧的PSNR约为2.

原理与内容

同步与卷帘快门校正:预处理脚本 calculate-sync.py 会跟踪已校准相机对的极线方向光流,估计每台相机的相位偏移。每个像素行的拍摄时刻按“标称时刻+相机特有偏移+与行位置成正比的读出时间”建模。相机之间的一致性会在图中做循环检查,若置信度未达标准,则退回到仅使用时间码的基准。\n\n速度感知子关键帧:通过RoMa v2的稠密空间匹配和MEMFOF的光流求出各点的速度。对速度超过阈值(示例中为每帧4.0间距)的点,以1帧为单位添加中间关键帧,并分配较短的时间宽度(σt)。目的是抑制快速部位在前后帧中像残影一样残留。\n\n加权帧采样:寿命短的高斯只有在该帧被选中时才会收到梯度。均匀采样时,快速帧在6,000步中仅被访问约98次,因此提供了最多追加到387次快速帧访问的设置(--config.frame-sampling-fast-visits 387)。\n\n运动模型:将各基元的平移和旋转作为se(3)李代数的旋量统一优化,并以局部的二次

数据一览

发布主体亚利桑那州立大学 NEM项目(同时标注Contrast Media Labs)
输入多相机视频(消费级动作相机等,无需Genlock)
同步从视频估计子帧相位偏移(calculate-sync.py)
卷帘快门按行建模读出时间(Sony RX0 II、60fps下为15.0ms)
子关键帧阈值--subkeyframe-min-speed 4.0 间距/帧
高速帧访问次数标准约98次→最多387次(6,000步中)
长序列处理以3.0秒为一块依次流式送入GPU
评估序列apt-dance-01,第66~126帧,27台相机、60fps,用未参与训练的6个视点评估
高速帧(81~102)的PSNR31.69dB→34.18dB(+2.50dB,108个视点)
快速手部动作(86~96)的PSNR31.59dB→34.23dB(+2.65dB,66个视点)
高速区间之前(66~80)31.56dB→33.02dB(+1.46dB)
高速区间之后(103~126)31.68dB→33.39dB(+1.71dB)
播放提供60FPS实时查看器(详细条件未确认)

对实务的影响

体积视频拍摄需要配备支持Genlock的专用相机,设备成本往往成为门槛。Open4DGS试图通过视频侧的估计来弥补这一要求。对于大学实验室、小型制作公司以及舞台和现场演出类的实验性项目,或许更容易用手头的消费级相机进行验证。\n\n此外,卷帘快门造成的畸变在舞蹈等快速运动的拍摄中是个突出问题。在管线内部处理校正的设计,对尝试4D拍摄的创作者具有参考价值。\n\n另一方面,能否用于日本的实际业务,取决于许可条件、所需GPU环境以及在自己设备上的可复现性。现实的做法是先进行小规模拍摄,确认同步估计能否成功(是否会退回到仅使用时间码的基准)。它与现有3DGS系工具的查看器和数据格式如何衔接,也是引入前需要调查的事项。

案例

  • 项目页面的演示:使用Sony RX0 II的多相机配置,校正15ms卷帘快门后的自由视点渲染
  • 舞蹈和杂技般动作的自由视点渲染(60FPS)。据称手指和布料的运动得以保留
  • 球类运动等快速运动的演示,称同步后轮廓不易模糊(仅有视频,数值未确认)

如何试用

  1. 从项目页面打开 Code Repository 和 Pipeline Guide,确认所需环境和许可
  2. 用手头的多台相机拍摄一段简短动作序列。卷帘快门的读出时间请先按机型规格确认
  3. 用 calculate-sync.py(例:--fps 60 --rs-readout-ms 15.0 --output-sync sync.json)估计同步,并确认是否发生回退
  4. 训练时改变 --config.frame-sampling-fast-visits,比较高速区间的呈现效果

注意事项・未确认事项

  • 可获取的材料只到项目页面正文的中途。固定规范集合(Fixed Canonical Set)的说明之后的内容无法确认。
  • 所有数值均为开发方的发布值。定量评估仅基于一段舞蹈序列(27台相机、6个未参与训练的视点),在其他场景或设备上的可复现性无法从材料中确认。
  • “production-ready”“+2.5dB”等均为项目页面的说法。材料中没有第三方验证。
  • 许可、支持的操作系统、所需GPU显存、训练时间以及仓库的具体URL,均无法从材料中确认。
  • 虽有Technical Report和Real-Time Viewer的链接,但其内容不包含在材料中。60FPS流式播放的条件(设备、数据量)未确认。
  • 与其他4DGS方法的比较,在材料范围内仅有与均匀采样的对比。

术语

4D Gaussian Splatting(4DGS)
让3D高斯集合具备时间方向的变化,从而以自由视点重现动态场景的方法。
Genlock
用外部同步信号对齐多台相机拍摄时刻的机制。
卷帘快门
从图像上方的行开始依次读出的方式。是快速被摄体成像时发生畸变的原因。
子关键帧
在通常关键帧之间添加的中间帧。用于更精细地表现快速运动。
PSNR
表示重建图像与真值图像差异的指标。单位为dB,数值越高表示越接近。
se(3)
统一处理三维旋转和平移的数学表示(李代数)。

出处

一手信息(发布方・论文・代码仓库)

引出本文的X帖子

本文由AI根据出处(一手信息)以日语生成,未经人工事先审核,经过与出处核对等自动检查后自动发布(关于AI的使用)。数值和规格为发布方信息,本站未独立验证。详情请查阅原文。如发现错误,请通过联系表单告知,我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入,以日语版为准。 日语原文

运营公司的服务4DGS.jp(IZUTSUYA株式会社)

订阅邮件

每3天一次于日本时间7:00发送最新一期(日语)。

邮件仅以日语发送,可在日语版页面订阅。