speridlabs 在 Hugging Face 发布可从单张图像生成 3DGS 的「Idol」

发生了什么

speridlabs 在 Hugging Face 上发布了模型「Idol」，可根据单张拍有物体的图像生成 3D Gaussian Splatting(3DGS)。输入可以是渲染图、生成图像或照片。模型会自动完成背景去除和裁剪，并生成最多 1,048,576 个高斯。据称，输出也包含图像中未拍到的侧面。

原理与内容

推理采用图像编码器、扩散式生成器和解码器组合而成的结构。模型卡的列表中记载：DiT(去噪器)约 3.7 亿参数，八叉树解码器约 0.5 亿，高斯解码器约 2.4 亿。

读取输入时使用 DINOv3 ViT-H+/16 和 FLUX.2 的 VAE，背景去除使用 BiRefNet。DINOv3 和 FLUX.2-dev 是 Hugging Face 上的受限(gated)模型，需要同意使用条款。

输出为标准的 3DGS .ply 文件。同时还会写出模型实际看到的输入图像(背景去除、裁剪后)以及估计出的相机 JSON。

根据输入类型选择 --mode。synthetic 面向单个物体的渲染图和生成图像，裁剪时使物体占画面的 1/1.2。real 面向照片，裁剪后物体占 1/1.7。

加速功能默认开启。它使用 torch.compile、将带引导与不带引导的推理合并为一个批次的处理、cuDNN 注意力和 TF32，据称在不改变质量的情况下可提速约 1.7 倍。第一张图像因需要编译而较慢。

数据一览

对实务的影响

由于可以用单张图像生成 3DGS，在游戏和影像制作中，可考虑用于制作小物件和背景资产的草稿。输出为标准 .ply，据称可用现有的 3DGS 查看器打开。

显存为 7.2GB，因此有望在手边的 GPU 而非工作站上试用。不过在相同设置下，RTX 3080 需要 46.2 秒，RTX 4090 需要 19.1 秒，不同 GPU 的耗时差距很大。

对于文物或基础设施等需要尺寸和忠实度的记录，由于看不到的侧面是通过生成来补全的，因此不能替代测量数据。材料中也没有提及此类用途。

案例

• 在模型卡的基准测试中，对比了 Idol、TripoSplat、TRELLIS 和 LGM。输入视角使用 PSNR、SSIM、LPIPS、IoU 评估，新的 7 个视角使用 DINOv2、CLIP 和锐度距离评估，每个模型使用 1 块 H100。
• 表中除 LGM 的 PSNR 外，Idol 在各项指标上均给出最佳值。LGM 的 PSNR 为 12.46，高于 Idol，作者注明「即使结果模糊，按平方误差的平均值计算也容易偏高」。

如何试用

1. 用 Hugging Face 账号同意 facebook/dinov3-vith16plus-pretrain-lvd1689m 和 black-forest-labs/FLUX.2-dev 的使用条款，然后通过 hf auth login(或 HF_TOKEN)登录。
2. 克隆模型卡中记载的 GitHub 仓库(speridlabs/idol-sdk)，并用 pip install -e . 安装。
3. 照片运行 python -m idol.sample --image photo.jpg --mode real；渲染图文件夹则运行 --mode synthetic --out outputs。
4. 用任意 3DGS 查看器打开输出的 .ply。先用默认的 262,144 个确认效果，需要细节时再增加 --num_gaussians。若优先速度，可减少 --steps，但据称细节会下降。

注意事项・未确认事项

• 基准测试和处理时间均为模型作者公布的数值。第三方验证和论文在材料中无法确认。
• 材料中有「可在不到 2 秒内运行」的记载，但未明确说明条件。在表中 50 步、262,144 个的设置下，最快的 B300 也需要 3.4 秒。
• 许可证条件及能否商用，在已获取的材料中无法确认。使用前需要在模型卡和仓库中确认。
• 使用时需要同意 2 个受限模型的条款，并以 NVIDIA GPU 和 CUDA 为前提。
• 输入中未拍到的侧面由生成补全，因此不保证与实物一致。模型面向单个物体的输入，不用于整个场景的重建。
• 基准测试衡量的是输入图像与模型输出之间的相似度。所用图像集的内容在材料中无法确认。

术语

3D Gaussian Splatting(3DGS)

用大量半透明椭球体(高斯)表示 3D 空间并实现快速渲染的方法。

DiT

Diffusion Transformer。在从噪声逐步生成数据的扩散模型中使用 Transformer 的结构。

classifier-free guidance(CFG)

调整生成结果在多大程度上遵循输入条件(此处为图像)的机制。

PSNR / SSIM / LPIPS

衡量图像相似度的指标。PSNR 和 SSIM 越高越好，LPIPS 越低越好。

IoU

表示两个区域重叠程度的指标。此处似乎是用来衡量物体轮廓的一致程度。

出处

一手信息（发布方・论文・代码仓库）

• speridlabs/idol · Hugging FaceHugging Face(speridlabs)（huggingface.co）・en

引出本文的X帖子

• 在X上查看@aisearchio的帖子x.com

本文由AI根据出处（一手信息）以日语生成，未经人工事先审核，经过与出处核对等自动检查后自动发布（关于AI的使用）。数值和规格为发布方信息，本站未独立验证。详情请查阅原文。如发现错误，请通过联系表单告知，我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入，以日语版为准。 日语原文