Skip to content

HunyuanDiT2DControlNetModel

HunyuanDiT2DControlNetModel 是 Hunyuan-DiT 的 ControlNet 实现。

ControlNet 由 Lvmin Zhang、Anyi Rao 和 Maneesh Agrawala 在 Adding Conditional Control to Text-to-Image Diffusion Models 中提出。

通过 ControlNet 模型,你可以提供一个额外的控制图像来条件化和控制 Hunyuan-DiT 的生成。例如,如果你提供一个深度图,ControlNet 模型生成的图像将保留深度图中的空间信息。这是一种更灵活和准确的方式来控制图像生成过程。

论文的摘要如下:

我们提出了 ControlNet,一种神经网络架构,用于向大型预训练的文本到图像扩散模型添加空间条件控制。ControlNet 锁定生产就绪的大型扩散模型,并重用其深度和强大的编码层,这些编码层通过数十亿张图像预训练,作为强大的骨干网络来学习各种条件控制。神经架构通过“零卷积”(零初始化的卷积层)连接,这些层从零开始逐步增长参数,并确保不会有害噪声影响微调。我们使用 Stable Diffusion 测试了各种条件控制,例如边缘、深度、分割、人体姿态等,使用单个或多个条件,有或没有提示。我们展示了 ControlNets 的训练在小规模(<50k)和大规模(>1m)数据集上都很稳健。大量结果表明,ControlNet 可能有助于更广泛的应用来控制图像扩散模型。

此代码由腾讯混元团队实现。你可以在 腾讯混元 上找到 Hunyuan-DiT ControlNets 的预训练检查点。

加载 HunyuanDiT2DControlNetModel 的示例

py
from diffusers import HunyuanDiT2DControlNetModel
import torch
controlnet = HunyuanDiT2DControlNetModel.from_pretrained("Tencent-Hunyuan/HunyuanDiT-v1.1-ControlNet-Diffusers-Pose", torch_dtype=torch.float16)

HunyuanDiT2DControlNetModel

[[autodoc]] HunyuanDiT2DControlNetModel