本页为日语原文的AI翻译。如有出入,以日语版为准。
ComfyUI节点RenderPasses发布,可由单张背景图生成深度、法线等并输出为Nuke用EXR
一款ComfyUI节点已在GitHub上发布,可从单张背景图推定深度、法线、反照率(albedo)、Cryptomatte等,并汇总为多层EXR和Nuke脚本。它组合了可在本地运行的开放权重模型。
本文由AI生成,未经人工事先审核自动发布。
- 发布日期
- 2026.10.30(当地)
- 用途
- 制作・游戏・研究
- 出处
- 2条(en)(其中一手信息 2条)
要点
- 从平面背景图生成深度、法线、反照率、位置、Cryptomatte等通道,并输出为多层EXR和Nuke脚本。
- 深度使用Depth Anything V2,位置和镜头信息使用MoGe-2等,组合了多个开放权重模型。
- v0.1.0是首个公开版本,许可证为AGPL-3.0。所集成各模型的许可证需由用户自行确认。
发生了什么
neuropixelplus 在GitHub上发布的“ComfyUI-RenderPasses”是一个ComfyUI节点,可将动画和VFX的背景图(plate)转换为可用于合成作业的渲染通道。输入是绘画、生成图像、已获批准的背景等不含深度和法线的平面图像。据称,它会由这些图像重建各通道,并汇总为一个多层EXR和一个打开即可使用的Nuke脚本。
处理以文件夹内的背景为单位批量进行,分为两个阶段。第一阶段“Look”将一个主提示词(master prompt)应用于所有背景,进行重新打光和润色。引擎可从 Krea 2、Klein 3、Fibo 2、Krea 2 V2、MOSS 等中选择,也可选用 SeedVR2 进行4K放大。第二阶段由所选图像生成各通道。输出除每个背景对应的文件外,还有 pases_nuke.exr 和 pases.nk。
如果还没有背景,可以使用 Krea 2 的“Create”按钮根据提示词新建。仓库的发布版本为 v0.1.0(2026-10-30),这是首个公开版本。许可证为AGPL-3.0,获取时的star数为1。文档写明所需的 ComfyUI 版本为 0.43 及以上。
原理与内容
各通道由不同的模型生成。深度(16bit)由Depth Anything V2推定,并进行考虑边缘的校正。法线和反照率使用运行在 Qwen-Image-Edit 上的 Marigold v2 的 LoRA 生成。原始光照(raw lighting)通过将beauty图像除以反照率求得。
位置(P)和相机镜头由 MoGe-2 负责。它推定度量尺度的点图(point map)、视角和焦距,并通过随附的 RenderPassesMoGeEXR 节点写出为EXR。图层分解使用 Qwen-Image-Layered 或 Stable-Layers。
视差(parallax)用的面,是用 Klein 补绘按深度切片的各面背后被遮挡的区域,作为2.5D预览。自动的对象/Cryptomatte(实验性)流程是:本地VLM列举元素,SAM 3 生成蒙版。雾(fog)和凹陷(cavity)由深度和法线在CPU上计算。
面向制作,有一种由PSD图层生成Cryptomatte的方式。每个可见的叶子图层成为一个CryptoObject,名称包含组层级。覆盖率(coverage)按PSD的叠放顺序从前向后合成图层alpha×图层蒙版×不透明度而得。每个像素最多可持有4个ID。如果PSD比相机画框大,则通过SIFT特征以及缩放与平移的拟合找到画框位置,并按该画框裁切所有图层。
也可以不用PSD,而是传入单色的ID蒙版(PNG)和图例(JSON)。AI光照通道(clay、fill/GI、遮蔽、阴影、高光、自发光,以及角色、道具、植物的matte)由图像编辑模型生成,并与原图对齐。据称,数据类通道(深度、法线、matte)的4K化使用普通重采样,以免新生成纹理。
数据一览
| 所需环境 | ComfyUI 0.43及以上(MoGe、SAM 3、SeedVR2、Fibo 2、MOSS、Marigold、TextGenerate、Qwen-Image-Layered 使用ComfyUI自带节点) |
|---|---|
| 许可证 | AGPL-3.0(节点本体) |
| 输出 | pases_nuke.exr(多层)、pases.nk、每个背景的各通道 |
| 深度 | Depth Anything V2(16bit)+考虑边缘的校正。未安装时用 MoGe 替代 |
| PSD输入 | .psd / .psb(最大1.2GB),或ID蒙版PNG+图例JSON |
| 重新打光用引擎 | Krea 2、Klein 3、Fibo 2、Krea 2 V2、MOSS、MOSS・depth + color |
| 放大 | SeedVR2 4K(图像类通道) |
| 最新版本 | v0.1.0(2026-10-30) |
对实务的影响
在动画和VFX现场,已获批准的背景有时以单张图的形式交付。这种情况下,合成一侧很难进行重新打光、加雾、模糊以及添加镜头运动。RenderPasses提供了一种由这类平面素材生成合成用通道的手段。
由于输出以Nuke脚本和Cryptomatte为前提,其结构便于融入现有的合成工作流。另一方面,开发方认为,在边缘质量方面,使用PSD图层的方式比自动推定更适合制作。
在游戏背景制作和生成式3D相关领域,从单张图中提取深度、位置和视差面的流程也有参考价值。不过,能否使用在很大程度上取决于所集成模型是否允许商用。
如何试用
- 在ComfyUI(0.43及以上)的 custom_nodes 中 git clone ComfyUI-RenderPasses,并用pip安装 requirements.txt。重启ComfyUI后,顶部栏会出现RenderPasses按钮。
- 打开应用后会运行安装检查,列出缺少的模型及其存放位置(models/ 下的文件夹)。只需安装所用引擎和通道所需的模型即可。
- 指定背景文件夹的路径,或拖放图像。选择主提示词、引擎和分辨率后点击Render,挑选满意的图像并执行Extract passes。最后下载 pases_nuke.exr 和 pases.nk,在Nuke中打开。
- 如果需要制作用的matte,可从各背景的“Layers from PSD / mask…”指定对应的PSD。需事先安装 psd-tools。详细步骤见仓库的 docs/GUIDE.md。
注意事项・未确认事项
- 文档明确写明各模型的许可证由用户自行负责。表中记载 Klein 3 系列为非商用(FLUX Kommunity),Fibo 2 为 CC BY-NC,因此能否商用取决于所选引擎。
- RenderPasses的表将Depth Anything V2的许可证列为 Apache-2.0。而Depth Anything V2的README称,Small 为 Apache-2.0,Base/Large/Giant 为 CC-BY-NC-4.0。该表所引用的 vitl(Large)属于哪一种,使用前请通过模型许可证确认。
- 自动Cryptomatte被称为“实验性”,并写明边缘不是制作级品质。就已获取的范围而言,精度、速度、所需GPU显存等定量评估均无法确认。
- 所获取的正文在中途截断,PSD功能的后半部分以及3D高斯泼溅的输出规格未能确认。说明文和发布说明中提到了3D splat,但详情未确认。
- 这是 v0.1.0 的首个公开版本,star数为1。适合按测试版(beta)水平对待,运行稳定性未确认。
- Beauty HDR 以需另行准备的LTX模块为前提,未随附提供。
术语
- 渲染通道(render pass)
- 将beauty图像按深度、法线、反照率、阴影等要素拆分后输出的图像。合成时可分别调整。
- Cryptomatte
- 将每个对象或材质的ID和覆盖率存入EXR,使合成时能任意选取物体的机制。
- 反照率(albedo)
- 去除光照影响后的物体表面本来的颜色。
- 多层EXR
- 可在一个文件中存放多个通道的高动态范围图像格式。
- Nuke
- 在影像制作中被广泛使用的基于节点的合成软件。
- Depth Anything V2
- 从单张图像推定相对深度的基础模型。有Small/Base/Large/Giant等规模。
- MoGe-2
- 从单张图像推定度量尺度的点图、视角和焦距的模型。
出处
一手信息(发布方・论文・代码仓库)
- neuropixelplus/ComfyUI-RenderPassesGitHub(github.com)・en
- DepthAnything/Depth-Anything-V2GitHub(github.com)・en
本文由AI根据出处(一手信息)以日语生成,未经人工事先审核,经过与出处核对等自动检查后自动发布(关于AI的使用)。数值和规格为发布方信息,本站未独立验证。详情请查阅原文。如发现错误,请通过联系表单告知,我们将尽快确认并更正。 本页为日语原文的AI翻译。如有出入,以日语版为准。 日语原文
运营公司的服务3DGS Universal Viewer(3Dasset.io)(IZUTSUYA株式会社)