01研究
Amazon等机构的研究团队公开了GOFish方法,仅凭鱼眼图像即可生成全视野3DGS以及位置对齐的网格。该方法旨在不使用LiDAR的情况下获得可用于仿真的数字孪生。
对实务的影响机器人、自动驾驶车辆和360°相机经常使用鱼眼镜头。因此,在由拍摄视频构建真实世界重建环境的流程中,能够用到视野边缘可能成为一项优势。不过,能否在实际现场使用,取决于代码和模型的公开内容,以及在自有数据上的验证结果。
出处:3dgofish.github.io阅读全文
02工具
LibreYOLO 的文档介绍了如何运行 Speridlabs Idol,该模型可从单张物体图像生成 3D Gaussian Splats。输出格式为 .ply 和 .splat,代码与权重的主要许可证为 Apache-2.0。
对实务的影响3DGS 通常由大量照片重建而成。如果能从一张图像生成,可能会拓宽游戏和展览素材制作的入口。不过,这是对不可见面进行推测的生成,与测量实物的记录用途性质不同,因此仅凭现有材料无法评估其精度。由于可输出 .ply 和 .splat,能够载入现有的 3DGS 查看器,这一点在实际工作中应当比较易于使用。
出处:libreyolo.com阅读全文
03工具
speridlabs 发布了模型「Idol」,可根据单张物体图像生成最多约 105 万个高斯。峰值显存为 7.2GB,输出为标准 3DGS 的 PLY 文件。
对实务的影响由于可以用单张图像生成 3DGS,在游戏和影像制作中,可考虑用于制作小物件和背景资产的草稿。输出为标准 .ply,据称可用现有的 3DGS 查看器打开。
出处:huggingface.co阅读全文