ComfyUI用ノードRenderPasses公開、背景画1枚から深度・法線等をNuke用EXRに

何が起きたか

neuropixelplus が GitHub で公開した「ComfyUI-RenderPasses」は、アニメやVFXの背景画（プレート）を合成作業に使えるレンダーパスへ変換する ComfyUI 用ノードです。入力は絵画や生成画像、承認済みの背景など、奥行きや法線を持たない平面画像です。これらからパスを再構成し、1つの多層EXRと、開いてすぐ使えるNukeスクリプトにまとめるとしています。

処理はフォルダ内の背景をまとめて扱い、2段階で進みます。1段目の「Look」では、マスタープロンプト1つを全背景に適用してリライトや仕上げを行います。エンジンは Krea 2、Klein 3、Fibo 2、Krea 2 V2、MOSS などから選べ、SeedVR2 による4Kアップスケールも任意で使えます。2段目では、選んだ画像から各パスを生成します。出力は背景ごとのファイルに加え、pases_nuke.exr と pases.nk です。

背景がまだ無い場合は、Krea 2 を使う「Create」ボタンでプロンプトから新規作成できます。リポジトリのリリースは v0.1.0（2026-10-30）で、これが初の公開版です。ライセンスはAGPL-3.0、取得時点のスター数は1でした。必要な ComfyUI のバージョンは 0.43 以上と書かれています。

仕組みと中身

各パスは別々のモデルで作られます。深度（16bit）はDepth Anything V2で推定し、エッジを考慮した補正をかけます。法線とアルベドは、Qwen-Image-Edit 上で動く Marigold v2 の LoRA で作ります。生ライティングは、ビューティ画像をアルベドで割って求めます。

位置（P）とカメラレンズは MoGe-2 が担当します。メトリックな点マップ、画角、焦点距離を推定し、付属の RenderPassesMoGeEXR ノードでEXRに書き出します。レイヤー分解には Qwen-Image-Layered か Stable-Layers を使います。

視差（パララックス）用の面は、深度でスライスした各面の背後の隠れた領域を Klein で描き足し、2.5Dプレビューにします。自動のオブジェクト／Cryptomatte（実験的）は、ローカルのVLMが要素を列挙し、SAM 3 がマスクを作る流れです。フォグとキャビティは深度と法線から CPU で計算します。

制作向けには、PSDのレイヤーからCryptomatteを作る方式があります。可視のリーフレイヤー1枚が1つの CryptoObject になり、名前はグループ階層を含む形になります。カバレッジは、レイヤーのアルファ×レイヤーマスク×不透明度を、PSDの重なり順に手前から合成して求めます。1ピクセルあたり最大4個のIDを持てます。PSDがカメラ枠より大きい場合は、SIFT特徴とスケール・シフトのフィッティングで枠位置を見つけ、全レイヤーをその枠で切り出します。

PSDの代わりに、単色のIDマスク（PNG）と凡例（JSON）を渡す方法もあります。AIによるライトパス（クレイ、フィル/GI、オクルージョン、影、スペキュラ、エミッション、キャラ・小道具・植物のマット）は、画像編集モデルで作り、元の画像に位置合わせします。データ系のパス（深度・法線・マット）の4K化は、テクスチャを新たに作らないよう通常のリサンプリングを使うとしています。

数字で見る

実務への影響

アニメやVFXの現場では、承認済みの背景が1枚絵で渡されることがあります。その場合、合成側でのリライト、フォグ、ぼかし、カメラの動きの追加が難しくなります。RenderPassesは、その平面素材から合成用のパスを作る手段を提供します。

出力がNukeスクリプトとCryptomatteを前提にしているため、既存の合成ワークフローに組み込みやすい構成です。一方、PSD由来のレイヤーを使う方式は、エッジ品質の面で自動推定より制作向きだと開発側が位置づけています。

ゲームの背景制作や生成3Dの周辺でも、1枚絵から深度や位置、視差面を取り出す流れの参考になります。ただし、使えるかどうかは組み込むモデルの商用可否によって大きく変わります。

試すには

1. ComfyUI（0.43以上）の custom_nodes に ComfyUI-RenderPasses を git clone し、requirements.txt を pip で入れます。ComfyUI を再起動すると、上部バーに RenderPasses ボタンが出ます。
2. アプリを開くと導入チェックが走り、不足しているモデルと置き場所（models/ 以下のフォルダ）が一覧されます。使うエンジンとパスに必要なモデルだけを入れれば足ります。
3. 背景フォルダのパスを指定するか、画像をドラッグ＆ドロップします。マスタープロンプトとエンジン、解像度を選んで Render を押し、気に入った画像を選んで Extract passes を実行します。最後に pases_nuke.exr と pases.nk をダウンロードし、Nukeで開きます。
4. 制作用のマットが必要なら、各背景の「Layers from PSD / mask…」から対応するPSDを指定します。事前に psd-tools を入れておきます。詳しい手順は、リポジトリの docs/GUIDE.md にあります。

注意点・未確認のこと

• モデルごとのライセンスは利用者の責任と明記されています。Klein 3 の系統は非商用（FLUX Kommunity）、Fibo 2 は CC BY-NC と表に記載されており、商用利用の可否は選ぶエンジンに依存します。
• RenderPassesの表は Depth Anything V2 のライセンスを Apache-2.0 としています。一方、Depth Anything V2 のREADMEは、Small が Apache-2.0、Base/Large/Giant が CC-BY-NC-4.0 だとしています。この表が参照する vitl（Large）がどちらに当たるかは、利用前にモデルのライセンスで確認してください。
• 自動のCryptomatteは「実験的」とされ、エッジは制作品質ではないと書かれています。精度、速度、必要なGPUメモリなどの定量的な評価は、取得できた範囲では確認できません。
• 取得できた本文は途中で終わっており、PSD機能の後半部分や3Dガウススプラットの出力仕様は確認できていません。説明文とリリースノートに3D splatへの言及はありますが、詳細は未確認です。
• v0.1.0 の初公開版で、スター数は1でした。ベータ版相当として扱うのが妥当で、動作の安定性は未確認です。
• Beauty HDR は別途用意が必要なLTXモジュールを前提にしており、同梱されていません。

用語

レンダーパス

ビューティ画像を深度・法線・アルベド・影などの要素に分けて出力した画像。合成時に個別に調整できます。

Cryptomatte

オブジェクトや素材ごとのIDとカバレッジをEXRに格納し、合成で任意の物体を選べるようにする仕組みです。

アルベド

光の当たり方を除いた、物体表面本来の色のことです。

多層EXR

複数のパスを1ファイルに格納できる高ダイナミックレンジの画像形式です。

Nuke

映像制作で広く使われるノードベースの合成ソフトです。

Depth Anything V2

1枚の画像から相対深度を推定する基盤モデルです。Small/Base/Large/Giantの規模があります。

MoGe-2

1枚の画像からメトリックな点マップ、画角、焦点距離を推定するモデルです。

出典

一次情報（発表元・論文・リポジトリ）

• neuropixelplus/ComfyUI-RenderPassesGitHub（github.com）・en
• DepthAnything/Depth-Anything-V2GitHub（github.com）・en

この記事は、AIが出典（一次情報）をもとに日本語で作成し、人による事前の確認を経ずに、出典との照合などの自動の検査を通ったものを公開しています（AIの利用について）。数値や仕様は発表元の情報で、当社が独自に検証したものではありません。詳しくは原典をご確認ください。誤りのご指摘はお問い合わせからお願いします。確認のうえ速やかに訂正します。