算力平台:
SD3ControlNetModel
SD3ControlNetModel 是用于 Stable Diffusion 3 的 ControlNet 实现。
ControlNet 模型由 Lvmin Zhang、Anyi Rao 和 Maneesh Agrawala 在 Adding Conditional Control to Text-to-Image Diffusion Models 中提出。它通过在模型中引入额外的输入条件(如边缘图、深度图、分割图和姿态检测的关键点),提供了对文本到图像生成过程的更高程度的控制。
论文的摘要如下:
我们提出了 ControlNet,一种神经网络架构,用于向大型预训练的文本到图像扩散模型添加空间条件控制。ControlNet 锁定生产就绪的大型扩散模型,并重用其深度且稳健的编码层(这些层在数十亿张图像上进行了预训练)作为强大的骨干网络,以学习各种条件控制。该神经架构通过“零卷积”(零初始化的卷积层)连接,这些层从零开始逐步增长参数,并确保微调过程中不会受到有害噪声的影响。我们使用 Stable Diffusion 测试了各种条件控制,例如边缘、深度、分割、人体姿态等,使用单个或多个条件,有或没有提示。我们展示了 ControlNet 的训练在小规模(<50k)和大规模(>1m)数据集上都很稳健。大量结果表明,ControlNet 可能有助于更广泛地应用图像扩散模型。
从原始格式加载
默认情况下,[SD3ControlNetModel
] 应通过 [~ModelMixin.from_pretrained
] 加载。
py
from diffusers import StableDiffusion3ControlNetPipeline
from diffusers.models import SD3ControlNetModel, SD3MultiControlNetModel
controlnet = SD3ControlNetModel.from_pretrained("InstantX/SD3-Controlnet-Canny")
pipe = StableDiffusion3ControlNetPipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", controlnet=controlnet)
SD3ControlNetModel
[[autodoc]] SD3ControlNetModel
SD3ControlNetOutput
[[autodoc]] models.controlnets.controlnet_sd3.SD3ControlNetOutput