本页为日语原文的AI翻译。如有出入，以日语版为准。
GOFish：仅用鱼眼图像即可同时获得超过180°的3DGS与碰撞用网格的方法
Amazon等机构的研究团队公开了GOFish方法，仅凭鱼眼图像即可生成全视野3DGS以及位置对齐的网格。该方法旨在不使用LiDAR的情况下获得可用于仿真的数字孪生。
本文由AI生成，未经人工事先审核自动发布。
- 发布日期
- 2026.10.30（当地）
- 用途
- 机器人・研究・制作
- 出处
- 1条（en）（其中一手信息 1条）
要点
- 据称该方法直接用鱼眼图像训练，可渲染超过180°的视野，并从同一场景中提取网格
- 据报告，在200°的FIORD和205°的FullCircle数据集上，PSNR分别比此前最佳方法高2.28dB和1.97dB
- 无需LiDAR，目标是获得具备实时渲染、全视野光线追踪和碰撞形状的数字孪生
发生了什么
GOFish（Full Field-of-View Gaussian Splatting and Mesh Extraction）是一项从鱼眼图像生成3D Gaussian Splatting（3DGS）和网格的研究。作者隶属于Amazon、马里兰大学、卡内基梅隆大学等机构。项目页面提供了论文、arXiv、代码、模型和讨论串的链接。
原理与内容
关于现有支持鱼眼的方法，项目页面列举了3DGUT，并指出3DGUT存在两个问题。一是将视野截断为160°，并按光轴方向的深度排序，因此超过90°时顺序会发生颠倒。二是对图块（tile）覆盖范围采用近似，因此会出现环状缺失和图块状伪影。 GOFish根据标定信息确定有效的图像区域。凡是有效光线能够到达的高斯都作为渲染对象，并在每个像素上使用光线距离，由近到远进行合成。densification（高斯的增加方式）在图像空间中测量梯度，据称用一个阈值即可恢复全视野的细节。 Calibrated Mip Filtering利用相机的雅可比矩阵，将与视点无关的场景侧滤波和各视点的像素足迹（footprint）分开。像素足迹仅在渲染时应用。据称这样既不会把各视点的模糊残留在场景和网格中，也能抑制高斯数量。 Wide-Angle Appearance Modeling扩展了现有的PPISP。它将单调的径向轮廓与低分辨率的平场（flat-field）结合，把边缘部分的急剧衰减作为相机侧的特性处理。据称这可以防止边缘的暗部被烘焙进高斯的颜色，并进而传递到网格中。
数据一览
| 目标输入 | 鱼眼图像（称无需LiDAR） |
|---|---|
| 输出 | 3DGS场景和位置对齐的网格 |
| 评估数据 | FIORD（200°）、FullCircle（205°）、ScanNet++、Tanks & Temples |
| PSNR提升（发布值） | FIORD上比最佳现有方法高+2.28dB，FullCircle上高+1.97dB |
| 外观模型的效果（发布值） | 在FIORD上比标准PPISP高+3.17dB |
| 网格评估（发布值） | 在FIORD和ScanNet++主集上F-score最高 |
| 对比对象 | Fisheye-GS、3DGUT+PPISP、3DGEER、DirectFisheye-GS、3DGRT+PPISP、GOF、PGSR、SOF、MiLo、CoMe等 |
对实务的影响
机器人、自动驾驶车辆和360°相机经常使用鱼眼镜头。因此，在由拍摄视频构建真实世界重建环境的流程中，能够用到视野边缘可能成为一项优势。不过，能否在实际现场使用，取决于代码和模型的公开内容，以及在自有数据上的验证结果。
如何试用
- 从项目页面确认Code和Models的链接，查看公开状况和许可证。
- 该方法需要鱼眼镜头的标定值，因此请确认能否准备好手头相机的内参。
注意事项・未确认事项
- 所有数值均为作者在项目页面上的发布值，现有材料中无法确认第三方验证。
- “首个”方法的定位同样是作者的主张。
- 处理时间、GPU要求、实时渲染的帧率和训练时间在材料中没有具体数值，尚未确认。
- 虽然有代码和模型的链接，但许可证和公开状况无法从材料中确认。
- ScanNet++和Tanks & Temples的定量数值以及表格的详细数值，无法从材料正文中读取。
- 材料中的arXiv编号为“2610.37818”，但未确认论文本身。
术语
- 3D Gaussian Splatting（3DGS）
- 用大量3D高斯表示场景并实现高速渲染的方法。
- 鱼眼镜头
- 可拍摄约180°或更大视野的广角镜头。
- PSNR
- 表示图像还原精度的指标，数值越高越接近原图。
- F-score
- 以精确率和召回率评估网格等形状准确度的指标。
- 数字孪生
- 以可用于仿真等的形式，在数字空间中再现现实中的场所或物体。
- 碰撞网格
- 机器人等用于判断与物体接触的面形状。
出处
一手信息（发布方・论文・代码仓库）
- GOFish: Full Field-of-View Gaussian Splatting and Mesh ExtractionGOFish プロジェクトページ（3dgofish.github.io）・en
引出本文的X帖子
- 在X上查看@tuallen_的帖子x.com
本文由AI根据出处（一手信息）以日语生成，未经人工事先审核，经过与出处核对等自动检查后自动发布（关于AI的使用）。数值和规格为发布方信息，本站未独立验证。详情请查阅原文。如发现错误，请通过联系表单告知，我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入，以日语版为准。 日语原文
运营公司的服务ガウシアンスプラッティングとは（IZUTSUYA株式会社）