LibreYOLO 让从单张图像生成 3DGS 的 Speridlabs Idol 支持 Python

发生了什么

开源视觉模型集 LibreYOLO 的文档中，上线了 Speridlabs Idol 的页面。该模型输入一张拍摄物体的图像，即可将整个物体输出为 3D Gaussian Splats（3DGS）。输出为标准的 .ply 格式，或面向 Web 的 .splat 格式。

原理与内容

使用方法是：通过 pip 安装 libreyolo[gen]，向 LibreGen 类传入模型名并输入图像。输入可以是路径、URL、PIL 图像、NumPy 数组、文件夹等。带透明通道的图像会直接作为抠图使用，其他图像则先进行背景去除（BiRefNet）。不支持文本输入，分辨率也是固定的。

数据一览

对实务的影响

3DGS 通常由大量照片重建而成。如果能从一张图像生成，可能会拓宽游戏和展览素材制作的入口。不过，这是对不可见面进行推测的生成，与测量实物的记录用途性质不同，因此仅凭现有材料无法评估其精度。由于可输出 .ply 和 .splat，能够载入现有的 3DGS 查看器，这一点在实际工作中应当比较易于使用。

案例

• 页面上列出了由 11 张拍摄巴斯克地区雕塑和建筑的照片生成的示例，包括 Guggenheim Museum Bilbao 和 Maman 等。这些示例以 CC BY-SA 4.0 共享，每个压缩后约 4MB。

如何试用

1. 用 pip install "libreyolo[gen]" 安装依赖库
2. 用 LibreGen("speridlabs-idol") 加载模型（首次需下载约 5GB）
3. 传入图像，并用 result.save("out.ply") 或 .splat 保存
4. 照片使用 mode="real"，优先速度用 steps=25，优先细节则增加 gaussians

注意事项・未确认事项

• 表示生成质量和形状准确度的定量评估，在现有材料中无法确认
• 不支持导出为 ONNX 或 TensorRT 等格式。train() 和 val() 也未实现，会触发 NotImplementedError
• M4 Pro 的测量仅涉及 2 个物体，约 460 秒，非常慢
• 即使种子相同，CUDA、MPS 和 CPU 上生成的物体也会不同。据称即使在 CUDA 上，也偶尔会出现部分 Gaussian 的位置每次运行都发生变化的情况
• DINOv3 编码器适用 Meta 的专有许可证，对军事、武器等用途有限制。商用前需要确认各权重的许可证
• 出处是库一侧的文档。Speridlabs 官方的评估，在材料范围内无法确认
• 引发这一话题的 X 帖子是搜索 AI 生成的摘要。文章中的事实依据的是文档

术语

3D Gaussian Splatting（3DGS）

用大量半透明的 3D 高斯分布表示场景，并实现高速渲染的技术。

.splat

面向 Web 显示的轻量 3DGS 格式。该页面称每个 Gaussian 为 32 字节。

classifier-free guidance

在生成模型中调节对条件遵循程度的方法。

出处

一手信息（发布方・论文・代码仓库）

• Speridlabs Idol in Python: one image to 3D Gaussian splatsLibreYOLO（libreyolo.com）・en

引出本文的X帖子

• 在X上查看@EHxuban11的帖子x.com

本文由AI根据出处（一手信息）以日语生成，未经人工事先审核，经过与出处核对等自动检查后自动发布（关于AI的使用）。数值和规格为发布方信息，本站未独立验证。详情请查阅原文。如发现错误，请通过联系表单告知，我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入，以日语版为准。 日语原文