本文由 资源共享网 – ziyuan 发布，转载请注明出处，如有问题请联系我们！视频生成系统源码（AI智能python源码）

实现了先进视频生成技术的低成本普及，还提供了一个精简且用户友好的方案，简化了视频制作的复杂性

从图像扩散模型到视频扩散模型的三阶段训练。我们提供每个阶段的权重。

支持训练加速，包括Transformer加速、更快的 T5 和 VAE 以及序列并行。在对 64x512x512 视频进行训练时，Open-Sora 可将训练速度提高55%。详细信息请参见训练加速。

我们提供用于数据预处理的视频切割和字幕工具。有关说明请点击此处，我们的数据收集计划请点击 数据集。

我们发现来自VideoGPT的 VQ-VAE 质量较低，因此采用了来自Stability-AI 的高质量 VAE。我们还发现使用添加了时间维度的采样会导致生成质量降低。更多讨论，请参阅我们的 报告。

我们研究了不同的架构，包括 DiT、Latte 和我们提出的 STDiT。我们的STDiT在质量和速度之间实现了更好的权衡。更多讨论，请参阅我们的 报告。

支持剪辑和 T5 文本调节。

通过将图像视为单帧视频，我们的项目支持在图像和视频（如 ImageNet 和 UCF101）上训练 DiT。更多说明请参见 指令解析。

利用DiT、Latte 和 PixArt 的官方权重支持推理。

有说明文档