面向腕部相机VLA，用3DGS生成训练数据，以主板拆解的到达动作进行验证

发生了什么

本文介绍的是2026年10月26日提交到arXiv的论文《Robot-Aligned 3D Gaussian Splatting for Precise Reaching with Wrist-Camera VLA Policies》，作者为Zuoxu Wang和Xiao Liang。VLA是指根据图像和语言指令输出动作的机器人策略。

论文指出，在VLA的训练中，数据采集是一大障碍。论文称，在需要精确定位末端执行器（机器人末端）、以及需要相机画面与动作对齐的任务中，这一问题尤其严重。

研究对象是电子废弃物的拆解。该环境中外观相似的零件密集排列，许多零件很薄、反光或结构复杂。因此很难为每个物体制作准确的网格和接触模型，论文认为完整的数字孪生仿真很困难。

于是作者将范围限定在接触物体之前的“到达动作”。他们用3DGS重建真实工作空间，从与机器人对齐的多种姿态渲染腕部相机的观测。再将其与平滑、结构化的到达轨迹结合，作为VLA微调用的视觉与动作监督数据。

此外，论文还在VLA中加入了以指令为条件的“到达验证器”。它用于估计与目标的接近程度，在物理接触之前可靠地停止动作。

实验在主板拆解上进行。论文报告称，不使用外部侧面相机，仅凭腕部相机的观测就实现了精确到达。

原理与内容

流程如下。(1) 用3DGS重建真实工作空间。(2) 从与机器人对齐的姿态渲染大量腕部相机画面。(3) 与平滑的到达轨迹结合，生成图像与动作的配对数据。(4) 用这些数据微调VLA。(5) 到达验证器估计与目标的接近程度，在接触前结束动作。

其特点是不制作网格和接触模型，仅靠外观的再现来扩充训练数据。涉及接触的操作不在范围内，仅限于到达阶段。

数据一览

对实务的影响

这是把3DGS用于以外观再现为核心的Real2Sim数据生成的一个例子。它显示出一种可能：即使在反光物体或薄型物体这类难以网格化的现场，也可以通过短时间的拍摄生成训练数据。

对于正在考虑在拆解、分拣、检查等零件密集的现场引入机器人的人来说，这可作为降低数据采集成本的一个参考选项。不过目前只是论文阶段的结果。

如何试用

1. 在论文页面和项目网站上，确认方法的图示和视频，以及是否公开了代码。
2. 若要在自己的环境中尝试，可先用3DGS重建一个小型工作台，再渲染相当于腕部相机的视角，确认能否作为现有VLA微调的输入。

注意事项・未确认事项

• 所依据的材料仅有arXiv摘要和提交信息，未确认论文正文的细节。重建步骤、拍摄张数、评估的试验次数等，无法从材料中确认。
• 成功率为作者的报告值，第三方验证无法从材料中确认。
• 验证仅限于主板拆解中的到达动作。涉及接触的抓取以及拆解本身的成功率，材料中没有记载。
• “不到10分钟”是主动的人工采集时间。重建和生成所需的计算时间无法从材料中确认。
• 代码和数据的公开情况未确认。摘要中记载了项目网站的URL，但未确认其内容。

术语

VLA

Vision-Language-Action。以图像和语言指令为输入、输出机器人动作的模型。

3DGS

3D Gaussian Splatting。用大量高斯分布表示场景并高速渲染的3D重建方法。

腕部相机

安装在机械臂腕部的相机，可获得从末端视角看到的画面。

π0.5

论文中使用的VLA模型。本材料中无法确认其详细信息。

到达验证器

估计与指令所指对象的接近程度，并判断是否在接触前结束动作的附加模块。

出处

一手信息（发布方・论文・代码仓库）

• Robot-Aligned 3D Gaussian Splatting for Precise Reaching with Wrist-Camera VLA PoliciesarXiv（arxiv.org）・en

引出本文的X帖子

• 在X上查看@OWW的帖子x.com

本文由AI根据出处（一手信息）以日语生成，未经人工事先审核，经过与出处核对等自动检查后自动发布（关于AI的使用）。数值和规格为发布方信息，本站未独立验证。详情请查阅原文。如发现错误，请通过联系表单告知，我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入，以日语版为准。 日语原文