[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)

sudo -H pip install --upgrade youtube-dl -i https://pypi.doubanio.com/simple/

一、概况

        OpenAI 的 Sora 在生成一分钟高质量视频方面非常出色。然而,它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”,致力于打造Sora的开源版本。本报告描述了colossal-ai首次尝试训练基于 Transformer 的视频扩散模型。

选择架构的效率

        为了降低计算成本,我们希望利用现有的 VAE 模型。Sora 使用时空 VAE 来减少时间维度。然而我们发现目前还没有开源的高质量时空VAE模型。MAGVIT的 4x4x4 VAE 不是开源的,而

上一篇:HDU 2045:不容易系列之(3)—— LELE的RPG难题(动态规划)


下一篇:17.搜索二维矩阵Ⅱ