基于Stable Diffusion XL的ControlNet-XS

ControlNet-XS由Denis Zavadski和Carsten Rother在ControlNet-XS中提出。它基于一个观察结果，即原始ControlNet中的控制模型可以变得更小，但仍能产生良好的结果。

与原始ControlNet模型类似，你可以提供一个额外的控制图像来调节和控制Stable Diffusion的生成。例如，如果你提供一个深度图，ControlNet模型将生成一张保留深度图空间信息的图像。这是一种更灵活和准确的方式来控制图像生成过程。

ControlNet-XS生成的图像质量与常规ControlNet相当，但速度提高了20-25%（参见基准测试），并且内存使用量减少了约45%。

以下是项目页面的概述：

随着计算能力的增强，当前的模型架构似乎倾向于简单地放大所有组件，而未验证这种做法的必要性。在本项目中，我们研究了ControlNet [Zhang et al., 2023]的尺寸和架构设计，用于通过基于稳定扩散的模型控制图像生成过程。我们展示了一种新架构，其参数仅为基础模型的1%，却达到了最先进的结果，在FID评分方面显著优于ControlNet。因此我们称之为ControlNet-XS。我们提供了用于控制StableDiffusion-XL [Podell et al., 2023]（模型B，48M参数）和StableDiffusion 2.1 [Rombach et al. 2022]（模型B，14M参数）的代码，所有代码均在openrail许可证下提供。

该模型由UmerHA贡献。❤️

StableDiffusionXLControlNetXSPipeline

[[autodoc]] StableDiffusionXLControlNetXSPipeline - all - call

StableDiffusionPipelineOutput

[[autodoc]] pipelines.stable_diffusion.StableDiffusionPipelineOutput