speridlabs发布「Idol」:单张图像最多生成约105万个高斯的3DGS模型

发生了什么

speridlabs在Hugging Face上发布了可根据单张物体图像生成3D Gaussian Splatting(3DGS)的模型「Idol」。输入可以是渲染图像、生成式AI图像或照片,输出为通用的3DGS .ply文件。据称,包括图中未拍到的侧面在内,最多可生成1,048,576个Gaussian。

处理流程为背景去除、物体裁剪(crop)和Gaussian生成。发布方称,该模型可在消费级GPU上运行,VRAM占用为7.2GB,在一定条件下运行时间不到2秒。

代码位于GitHub的「idol-sdk」仓库,权重(约3GB)会在首次运行时从Hugging Face自动下载。页面上显示,最近一个月的下载量为20,689次,衍生模型6个,量化版4个,使用该模型的Spaces有14个。

原理与内容

模型由多个部分构成。核心是负责去噪的DiT(370.6M参数)、Octree解码器(50.8M)和Gaussian解码器(237.3M)。

输入处理使用了负责背景去除的BiRefNet(220.7M)、负责图像特征提取的DINOv3 ViT-H+/16(840.6M)以及FLUX.2的VAE(84.1M)。整体约1.80B参数。

推理通过扩散模型采样进行,默认50步。减少步数可以加快速度,但据称会丢失细节。通过cfg_strength(默认3.0)可调整对输入图像的忠实度,通过rescale_t(默认3.0)可调整在整体形状与细节之间分配多少时间。

在GPU上,默认启用加速设置:用torch.compile编译denoiser,将有引导/无引导的处理合并为一个batch,并在attention中使用cuDNN和TF32。发布方称,在保持输出质量的前提下可提速约1.7倍。由于需要编译,第一张会较慢。

输入模式有两种。synthetic(默认)面向渲染图和生成图像,裁剪时让物体占画面的1/1.2。real面向照片,留出更宽的边距,使物体占1/1.7。

数据一览

对实务的影响

在游戏、XR和原型制作中,多了一种用单张图像在短时间内制作3DGS素材的选择。输出为标准.ply,便于交给现有的Splat查看器和转换工具。

由于权重和代码已公开,可在本地GPU上试用。对于不想把数据发送到云端API的场景,也便于在自有环境中进行评估。

不过,生成的背面和侧面是根据图像推测出来的。若用于准确记录实物形状和颜色的用途(文物记录、检查、测量等),需要注意其与多张拍摄重建在性质上不同。

如何试用

1. 用Hugging Face账号同意facebook/dinov3-vith16plus-pretrain-lvd1689m和black-forest-labs/FLUX.2-dev(仅获取VAE)的使用条款,然后用hf auth login登录。
2. clone GitHub上的idol-sdk,并用pip install -e . 安装。
3. 照片使用python -m idol.sample --image photo.jpg --mode real运行;渲染图或生成图像则指定文件夹并使用--mode synthetic。
4. 用任意Gaussian Splat查看器打开输出的.ply进行确认。通过<name>_input.png还可以查看背景去除和裁剪的结果。
5. 若要复现相同结果,请固定--seed。Gaussian数量可通过--num_gaussians更改。

注意事项・未确认事项

• 基准测试和速度均为发布方自行测得的数值。第三方验证在现有材料中无法确认。
• 所谓“不到2秒”的条件,材料中没有明确说明。在所载表格中,262,144 Gaussian、50步时最快的是B300的3.4秒。实际会因环境和设置而有很大差异。
• 各GPU所需时间为:RTX 3080 46.2秒,L4 54.6秒。即便峰值VRAM为7.2GB,实际可用的速度仍取决于GPU。
• 基准测试的指标包括输入视角的PSNR和SSIM等,以及新视角的DINOv2、CLIP和sharpness distance。仅凭这些数值,无法判断生成结果的外观质量。
• 使用时需要同意DINOv3和FLUX.2-dev这两个受限访问模型的条款。这两者以及Idol本身的许可条件,在现有材料中无法确认。实际使用前请查看各页面的条款。
• 以NVIDIA GPU(CUDA)为前提,材料中没有关于在AMD GPU或Mac上运行的记载。
• 论文或技术报告的链接在现有材料中无法确认。训练数据和训练方法的细节尚未公布。

术语

3D Gaussian Splatting(3DGS)

用大量半透明的3D高斯(椭球体)表示场景并实现高速渲染的3D表示方法。可保存为PLY等文件。

PLY

广泛用于保存点云、网格和3DGS的文件格式。

DiT

Diffusion Transformer的缩写。使用Transformer的去噪(扩散)模型。

Classifier-free guidance(CFG)

用于调整生成结果与条件(此处为输入图像)匹配严格程度的方法。

LPIPS / PSNR / SSIM

衡量图像还原度的指标。PSNR和SSIM越高、LPIPS越低,通常认为越接近原图。

VRAM

GPU上的显存。可作为判断GPU能否运行模型的参考。

出处

一手信息（发布方・论文・代码仓库）

• speridlabs/idol · Hugging FaceHugging Face（speridlabs）（huggingface.co）・en

引出本文的X帖子

• 在X上查看@Z3nlyte的帖子x.com

本文由AI根据出处（一手信息）以日语生成，未经人工事先审核，经过与出处核对等自动检查后自动发布（关于AI的使用）。数值和规格为发布方信息，本站未独立验证。详情请查阅原文。如发现错误，请通过联系表单告知，我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入，以日语版为准。 日语原文