稳定视频扩散

稳定视频扩散由Andreas Blattmann、Tim Dockhorn、Sumith Kulal、Daniel Mendelevitch、Maciej Kilian、Dominik Lorenz、Yam Levi、Zion English、Vikram Voleti、Adam Letts、Varun Jampani和Robin Rombach在Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets中提出。

论文的摘要如下：

我们提出了稳定视频扩散——一种用于高分辨率、最先进的文本到视频和图像到视频生成的潜在视频扩散模型。最近，为2D图像合成训练的潜在扩散模型通过插入时间层并在小而高质量的视频数据集上进行微调，被转化为生成视频模型。然而，文献中的训练方法差异很大，该领域尚未就策划视频数据的统一策略达成一致。在本文中，我们确定了成功训练视频LDM的三个不同阶段：文本到图像预训练、视频预训练和高品质视频微调。此外，我们证明了生成高质量视频需要精心策划的预训练数据集，并提出了一个系统的策划过程来训练一个强大的基础模型，包括标注和过滤策略。然后，我们探讨了在高质数据上微调基础模型的影响，并训练了一个与闭源视频生成相竞争的文本到视频模型。我们还展示了我们的基础模型为下游任务（如图像到视频生成）提供了强大的运动表示，并适应特定于相机运动的LoRA模块。最后，我们证明了我们的模型提供了强大的多视图3D先验，并可以作为微调多视图扩散模型的基础，该模型以联合生成多个视图的方式生成对象，以馈送方式超越基于图像的方法，计算预算仅为它们的一小部分。我们在https URL上发布了代码和模型权重。

提示

视频生成是内存密集型的，减少内存使用的一种方法是设置管道UNet上的enable_forward_chunking，这样你就不必一次运行整个前馈层。在循环中将其分解为块更有效。

查看文本或图像到视频指南，了解更多关于某些参数如何影响视频生成以及如何通过减少内存使用来优化推理的详细信息。

StableVideoDiffusionPipeline

[[autodoc]] StableVideoDiffusionPipeline

StableVideoDiffusionPipelineOutput

[[autodoc]] pipelines.stable_video_diffusion.StableVideoDiffusionPipelineOutput