FluxControlNetModel

FluxControlNetModel 是 Flux 中 ControlNet 的实现。1

ControlNet 模型由 Lvmin Zhang、Anyi Rao 和 Maneesh Agrawala 在 Adding Conditional Control to Text-to-Image Diffusion Models 中提出。它通过在模型中引入额外的输入条件（如边缘图、深度图、分割图和姿态检测的关键点），提供了对文本到图像生成过程的更高程度的控制。

论文的摘要如下：

我们提出了 ControlNet，一种神经网络架构，用于向大型预训练的文本到图像扩散模型添加空间条件控制。ControlNet 锁定生产就绪的大型扩散模型，并重用其深度且稳健的编码层（这些层在数十亿张图像上进行了预训练）作为强大的骨干网络，以学习各种条件控制。该神经架构通过“零卷积”（零初始化的卷积层）连接，这些层从零开始逐步增长参数，并确保微调过程中不会受到有害噪声的影响。我们使用 Stable Diffusion 测试了各种条件控制，例如边缘、深度、分割、人体姿态等，使用单个或多个条件，有或没有提示。我们展示了 ControlNet 的训练在小规模（<50k）和大规模（>1m）数据集上都表现稳健。大量结果表明，ControlNet 可能有助于更广泛地应用图像扩散模型。

从原始格式加载

默认情况下，[FluxControlNetModel] 应通过 [~ModelMixin.from_pretrained] 加载。

from diffusers import FluxControlNetPipeline
from diffusers.models import FluxControlNetModel, FluxMultiControlNetModel

controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)

controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
controlnet = FluxMultiControlNetModel([controlnet])
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)