speridlabs、1枚の画像から3DGSを生成する「Idol」をHugging Faceで公開

何が起きたか

speridlabsは、物体を写した1枚の画像から3D Gaussian Splatting(3DGS)を生成するモデル「Idol」を、Hugging Faceで公開しました。入力はレンダリング画像、生成画像、写真のいずれかです。背景除去と切り抜きを自動で行い、最大1,048,576個のガウシアンを生成します。画像に写っていない側面も含めて出力するとしています。

仕組みと中身

推論は、画像エンコーダ、拡散型の生成器、デコーダを組み合わせた構成です。モデルカードの一覧には、DiT(ノイズ除去器)が約3.7億パラメータ、オクツリーデコーダが約0.5億、ガウシアンデコーダが約2.4億と記載されています。

入力の読み取りには、DINOv3 ViT-H+/16とFLUX.2のVAEを使います。背景除去にはBiRefNetを使います。DINOv3とFLUX.2-devはHugging Face上のゲート付きモデルで、利用規約への同意が必要です。

出力は標準的な3DGSの.plyです。あわせて、モデルが見た入力画像(背景除去・切り抜き後)と、推定されたカメラのJSONも書き出します。

入力の種類に応じて--modeを選びます。syntheticは単体物体のレンダリングや生成画像向けで、物体が画面の1/1.2を占めるように切り抜きます。realは写真向けで、1/1.7を占める切り抜きです。

高速化は既定でオンです。torch.compile、ガイドあり・なしの推論を1バッチにまとめる処理、cuDNNアテンションとTF32を使い、品質を変えずに約1.7倍になるとしています。最初の1枚はコンパイルのため遅くなります。

数字で見る

実務への影響

3DGSを1枚の画像から作れるため、ゲームや映像制作で、小物や背景アセットの下書きを作る用途が考えられます。出力は標準の.plyなので、既存の3DGSビューアで開けるとされています。

VRAM 7.2GBなので、ワークステーションではなく手元のGPUでも試せる見込みです。ただし、同じ設定でRTX 3080は46.2秒、RTX 4090は19.1秒と、GPUで時間に大きな差があります。

文化財やインフラのように寸法・忠実性が必要な記録では、見えない側面を生成で補うため、計測データの代わりにはなりません。材料にもそうした用途への言及はありません。

事例

• モデルカードのベンチマークでは、Idol、TripoSplat、TRELLIS、LGMを比較しています。入力視点ではPSNR・SSIM・LPIPS・IoU、新規7視点ではDINOv2・CLIP・シャープネス距離で評価し、1モデルにつきH100を1基使っています。
• 表ではIdolが、LGMのPSNRを除く各指標で最良の値を示しています。LGMのPSNRは12.46でIdolより高く、作者は「ぼやけた結果でも二乗誤差の平均では高くなりやすい」と注記しています。

試すには

1. Hugging Faceのアカウントで、facebook/dinov3-vith16plus-pretrain-lvd1689m と black-forest-labs/FLUX.2-dev の利用規約に同意し、hf auth login(またはHF_TOKEN)でログインします。
2. モデルカードに記載のGitHubリポジトリ(speridlabs/idol-sdk)をクローンし、pip install -e . でインストールします。
3. 写真なら python -m idol.sample --image photo.jpg --mode real、レンダリング画像のフォルダなら --mode synthetic --out outputs を実行します。
4. 出力された.plyを任意の3DGSビューアで開きます。まず既定の262,144個で確認し、細部が必要なら--num_gaussiansを増やします。速度優先なら--stepsを減らしますが、細部は落ちるとされています。

注意点・未確認のこと

• ベンチマークと処理時間はすべてモデル作者の掲載値です。第三者による検証や論文は、材料からは確認できません。
• 「2秒未満で動作しうる」との記載がありますが、条件は材料に明記されていません。表の50ステップ・262,144個の設定では、最速のB300でも3.4秒です。
• ライセンス条件や商用利用の可否は、取得できた材料からは確認できません。利用前にモデルカードとリポジトリで確認が必要です。
• 利用にはゲート付きの2モデルへの同意が必要で、NVIDIA GPUとCUDAが前提です。
• 入力に写っていない側面は生成で補われるため、実物と一致する保証はありません。物体単体の入力が想定されており、シーン全体の再構成用ではありません。
• ベンチマークは入力画像とモデルの出力との類似度を測るものです。評価に使った画像セットの内容は、材料からは確認できません。

用語

3D Gaussian Splatting(3DGS)

多数の半透明な楕円体(ガウシアン)で3D空間を表し、高速に描画する手法です。

DiT

Diffusion Transformer。ノイズから段階的にデータを生成する拡散モデルに、Transformerを使った構成です。

classifier-free guidance(CFG)

生成結果を入力条件(ここでは画像)にどれだけ強く従わせるかを調整する仕組みです。

PSNR / SSIM / LPIPS

画像の類似度を測る指標です。PSNRとSSIMは高いほど、LPIPSは低いほど良いとされます。

IoU

2つの領域の重なり具合を表す指標です。ここでは物体のシルエットの一致度を測っているとみられます。

出典

一次情報（発表元・論文・リポジトリ）

• speridlabs/idol · Hugging FaceHugging Face(speridlabs)（huggingface.co）・en

きっかけになったXのポスト

• @aisearchio のポストをXで見るx.com

この記事は、AIが出典（一次情報）をもとに日本語で作成し、人による事前の確認を経ずに、出典との照合などの自動の検査を通ったものを公開しています（AIの利用について）。数値や仕様は発表元の情報で、当社が独自に検証したものではありません。詳しくは原典をご確認ください。誤りのご指摘はお問い合わせからお願いします。確認のうえ速やかに訂正します。