图像到图像

Stable Diffusion 模型还可以通过传递文本提示和初始图像来生成新图像，从而应用于图像到图像的生成。

[StableDiffusionImg2ImgPipeline] 使用了 Chenlin Meng、Yutong He、Yang Song、Jiaming Song、Jiajun Wu、Jun-Yan Zhu 和 Stefano Ermon 在 SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations 中提出的扩散去噪机制。

论文的摘要如下：

引导图像合成使普通用户能够以最小的努力创建和编辑照片般逼真的图像。关键挑战在于平衡对用户输入（例如，手绘彩色笔画）的忠实度和合成图像的真实性。现有的基于 GAN 的方法试图通过条件 GAN 或 GAN 反转来实现这种平衡，这通常需要额外的训练数据或针对个别应用的损失函数，因此具有挑战性。为了解决这些问题，我们引入了一种新的图像合成和编辑方法，即基于扩散模型生成先验的随机微分编辑（SDEdit），通过迭代地通过随机微分方程（SDE）去噪来合成逼真的图像。给定带有任何类型用户引导的输入图像，SDEdit 首先向输入添加噪声，然后通过 SDE 先验对结果图像进行去噪以增加其真实性。SDEdit 不需要特定任务的训练或反转，并且可以自然地实现真实性和忠实度之间的平衡。根据人类感知研究，在多个任务中，包括基于笔画的图像合成和编辑以及图像合成，SDEdit 在真实性方面比最先进的基于 GAN 的方法高出 98.09%，在总体满意度评分上高出 91.72%。

StableDiffusionImg2ImgPipeline

[[autodoc]] StableDiffusionImg2ImgPipeline - all - call - enable_attention_slicing - disable_attention_slicing - enable_xformers_memory_efficient_attention - disable_xformers_memory_efficient_attention - load_textual_inversion - from_single_file - load_lora_weights - save_lora_weights

StableDiffusionPipelineOutput

[[autodoc]] pipelines.stable_diffusion.StableDiffusionPipelineOutput

FlaxStableDiffusionImg2ImgPipeline

[[autodoc]] FlaxStableDiffusionImg2ImgPipeline - all - call

FlaxStableDiffusionPipelineOutput

[[autodoc]] pipelines.stable_diffusion.FlaxStableDiffusionPipelineOutput